Backpropagation

• 자동 미분법(Automatic differentiation): 
  • 모델을 연결하는 비순환 그래프(DAG)는 미분 가능한 함수들로 구성되어 있습니다. 따라서 미분의 연쇄법칙을 사용하여 자동으로 미분합니다.

• 과정:
  1. 각 노드에서 Jacobian-vector product을 계산합니다.
  2. 비순환 그래프(DAG) 역순으로 전파합니다.

• 장점:
  • Gradient 를 손으로 직접 계산할 필요가 없어졌습니다.
  • [front-end]와 [back-end]의 분리
    • [front-end] 비순환 그래프(DAG)를 만듬으로서 뉴럴넷(모델)을 디자인하는데 집중합니다.
    • [back-end] 디자인 된 비순환 그래프(DAG)는 타겟 컴퓨터 장치를 위한 효과적인 코드로 컴파일됩니다. Framework 개발자들이 타겟에 맞춰 알맞게 구현하면 사용자들은 Back-end를 신경쓰지 않고 쓸 수 있습니다.  

 

 

본 내용은 부스트코스 조경현 교수의 딥러닝을 이용한 자연어 처리 강의 내용입니다.