[TIL] 210419 - Deep LearniNg (~C1W4L02)

이 글은...

Andrew Ng 교수의 Deep Learning 강좌 C1W4L02까지의 내용을 정리한 것이다. 심층 신경망에서의 정방향 전파 수행 방법을 살펴본다.

edwith에 공개된 강의 순서대로 공부하다 보면 내용이 조금 이상한 점이 있다. 앞서 배운 C1W4L01 내용 뒤에 C1W4L06이 나오기 때문이다. 해당 강의 내용은 순서에 맞게 나중에 정리하도록 한다.

내용 요약

심층 신경망에서의 정방향 전파

얕은 신경망에서의 정방향 전파와 다른 점이 없다. 단인 세트에 대한 계산식은 아래와 같다.

$z^{[l]} = w^{[l]}a^{[l-1]}+b^{l}$

$a^{[l]} = g^{[l]}(z^{[l]})$

그리고 이것을 벡터화한 식도 얕은 신경망의 것과 다르지 않다.

$Z^{[l]} = W^{[l]}A^{[l-1]}+b^{l}$

$A^{[l]} = g^{[l]}(Z^{[l]})$

활성화 함수 $g()$는 층마다 다를 수 있는데, 은닉층에서는 특별한 이유가 없다면 ReLU를 사용한다. 단, 마지막 출력층은 sigmoid를 사용한다. 전체 레이어의 0층에 해당하는 입력층을 이전에는 $X$라고 표현했다면 이제 이것을 $A^{[0]}$라고 표기한다.