[TIL] 210423 - Deep LearniNg (~C1W4L05)

이 글은...

Andrew Ng 교수의 Deep Learning 강좌 C1W4L05까지의 내용을 정리한 것이다. 심층 신경망의 계산 과정을 대략적으로 흝어보았다.

내용 요약

심층 신경망 네트워크 구성하기

$l$번째 층을 기준으로 볼 때 입력은 $a^{[l-1]}$이고 출력은 $a^{[l]}$이 된다. 이 때 계산 과정에서 얻게되는 $w^{[l]}$, $b^{[l]}$ 그리고 $z^{[l]}$은 역전파 계산에 사용되므로 캐싱하도록 한다.

역방향으로 계산될 경우에 입력은 $da^{[l]}$이고 출력은 $da^{[l-1]}$이다. 이 계산과정에서 캐싱해두었던 $w^{[l]}$, $b^{[l]}$ 그리고 $z^{[l]}$를 사용하면 효율적으로 처리할 수 있다. 역방향 전파의 계산 과정에서 얻어지는 $dw^{[l]}$, $db^{[l]}$를 이용해서 새로운 $w$와 $b$로 업데이트 한다.