딥러닝 기초

이미지, 음성, 텍스트등과 같은 데이터들은 비선형 데이터일 뿐만 아니라 높은 차원의 데이터이다. 선형 모델로 이러한 데이터들을 다루는 데에는 한계가 존재 이러한 문제들을 심층신경망이 해결할 수 있다. 심층신경망? 비선형 데이터를 풀기 위해서 계층을 깊게 쌓아올린 것이다. 이때 서로 다른 선형 계층을 깊게 쌓아 구성할 수 있다. 이때, 여러개의 선형 계층을 쌓아올려봤자 결과로 또 다른 선형계층이 나올 뿐..! 따라서 이러한 방법으로는 비선형 문제를 풀 수 없다. >그렇다면 어떻게 해결할 수 있을까?심층신경망 학습은 어떻게 할까?심층신경망이 너무 깊어지면?y=ReLU(x)=max(0,x) 음수 구간에서는 전부 0의 값을 가지고, 양수 구간에서는 전부 기울기가 1인 형태가 된다. 하지만, 음수 구간에서 전부 ..

세상에는 많은 종류의 데이터가 있다. 우리는 데이터를 모아서 알수 없는 함수 f* 를 근사하고 싶어 한다. > 그렇다면 어떤 모델로 그 함수를 근사할 수 있을까?W와 b를 가중치 파라미터로 갖고 있다는 말이다. 모델의 가중치 파라미터들의 집합을 이제 θ라고 표현하도록 하겠다. θ ={ W ,b } 이름이 선형계층이듯이 선형관계 데이터를 주로 나타낼 때 사용이 된다. 예를 들어 키와 몸무게를 생각해보자. 보통은 키가 크면 몸무게가 많이 나간다. 또는 공부량과 성적간의 관계를 생각해보면 마찬가지다. 이러한 관계를 "선형 관계"라고 말한다. 선형회귀 선형적 관계를 가진 데이터들을 예측하는 문제를 선형회귀라고 부른다. 아래 사진을 보자 파란색 점이 실제 데이터를 의미하며 빨간 점선은 이러한 파란색 점들의 선형 ..