[machine-learning] 신경망 훈련시 Epoch vs Iteration

이들의 차이점을 이해하려면 그라디언트 하강 알고리즘과 그 변형을 이해해야합니다 .

실제 답변을 시작하기 전에 몇 가지 배경을 만들고 싶습니다.

배치는 전체 데이터 세트입니다. 크기는 사용 가능한 데이터 세트의 총 교육 예제 수입니다.

미니 배치 크기 는 학습 알고리즘이 단일 패스 (정방향 및 역방향)로 처리하는 예제 수입니다.

미니 일괄 부여의 데이터 세트의 작은 부분 미니 배치 크기 .

반복 은 알고리즘에서 본 데이터 배치 수 (또는 단순히 알고리즘이 데이터 세트에서 수행 한 패스 수)입니다.

Epochs 는 학습 알고리즘이 전체 데이터 세트를 보는 횟수입니다. 이제는 데이터 집합을 미니 배치로 처리 할 수 ​​있으므로 반복 횟수와 같지 않을 수 있습니다 . 본질적 으로 단일 패스는 데이터 집합의 일부만 처리 할 수 ​​있습니다. 이러한 경우 반복 횟수 는 에포크 횟수와 같지 않습니다 .

배치 그라디언트 디센트의 경우, 전체 배치는 각 트레이닝 패스에서 처리됩니다. 따라서 그래디언트 디센트 옵티마이 저는 미니 배치 그래디언트 디센트보다 부드러운 수렴을 제공하지만 시간이 더 걸립니다. 배치 구배 하강은 존재하는 경우 최적을 찾도록 보장됩니다.

확률 적 그라디언트 디센트는 미니 배치 크기 가 1 인 미니 배치 그라디언트 디센트의 특별한 경우입니다 .

답변