[TIL] 210422 - Deep LearniNg (~C1W4L04)

이 글은...

Andrew Ng 교수의 Deep Learning 강좌 C1W4L04까지의 내용을 정리한 것이다. 심층 신경망이 좋은 결과를 낼 수 있는 이유에 대해 설명하였다.

내용 요약

심층 신경망이 더 많은 특징을 잡아낼 수 있는 이유

심층 신경망이 왜 잘 작동할 수 있는지에 대한 직관을 심어주는 내용이었다. 크게 두 가지 직관을 설명하였다.

첫 번째 직관은 신경망이 깊을수록 아주 단순한 특징부터 시작해 복합적인 특징을 학습할 수 있다는 것이다. 얼굴 인식을 예로 들면 처음에는 여러 방향의 경계 특징(edge)을 인식하다가 층이 깊어질수록 눈, 코, 입, 귀와 같은 특징을, 마지막에는 얼굴 전체 학습하여 특정할 수 있다. 음성 인식에서는 단순한 노이즈 수준의 특징부터 시작해 음소 단위, 단어, 문장 순으로 점차 고수준의 특징을 학습하게 된다. 이처럼 신경망의 깊이가 깊을수록 저수준(low level)의 특징에서 고수준(high level)의 특징을 학습할 수 있다.

두 번째 직관은 순환 이론에 따른 것으로 은닉층의 크기가 작고 깊은 신경망과 같은 성능을 내는 얕은 신경망을 아주 큰 은닉층이 필요하다는 것이다. 순환 이론에 대한 자세한 내용을 이해하지는 못했지만 정리하자면 신경망의 깊이가 깊어질수록 계산이 효율적으로 돌아간다는 것이다.