Keras를 사용하여 프로젝트를 위해 신경망을 훈련하고 있습니다. Keras는 조기 중지 기능을 제공했습니다. 조기 중지를 사용하여 신경망이 과적 합되는 것을 방지하기 위해 어떤 매개 변수를 관찰해야하는지 알 수 있습니까?
답변
조기 중지는 기본적으로 손실이 증가하기 시작하면 (즉, 유효성 검사 정확도가 감소하기 시작하면) 훈련을 중지하는 것입니다. 문서 에 따르면 다음과 같이 사용됩니다.
keras.callbacks.EarlyStopping(monitor='val_loss',
min_delta=0,
patience=0,
verbose=0, mode='auto')
값은 구현 (문제, 배치 크기 등)에 따라 다르지만 일반적으로 과적 합을 방지하기 위해 사용합니다.
monitor
인수를 로 설정하여 유효성 검사 손실을 모니터링합니다 (교차 유효성 검사 또는 최소한 훈련 / 테스트 세트를 사용해야 함)'val_loss'
.min_delta
일부 시대의 손실을 개선으로 정량화할지 여부에 대한 임계 값입니다. 손실의 차이가. 이하min_delta
이면 개선이없는 것으로 정량화됩니다. 손실이 악화 될 때 관심이 있으므로 0으로 두는 것이 좋습니다.patience
인수는 손실이 증가하기 시작하면 (개선이 중지됨) 중지되기 전 에포크 수를 나타냅니다. 이것은 구현에 따라 다르며, 매우 작은 배치
또는 큰 학습률 을 사용하는 경우 손실 지그재그 (정확도는 더 시끄러움)이므로 큰patience
인수를 설정하는 것이 좋습니다 . 큰 배치 와 작은 학습률 을 사용하면 손실이 더 부드러워 져 더 작은patience
인수를 사용할 수 있습니다 . 어느 쪽이든 2로 남겨 두어 모델에 더 많은 기회를 줄 것입니다.verbose
인쇄 할 내용을 결정하고 기본값 (0)으로 둡니다.mode
인수는 모니터링 된 수량의 방향 (감소 또는 증가)에 따라 달라집니다. 손실을 모니터링하므로min
. 하지만 keras가 우리를 위해 처리하도록 놔두고auto
그래서 저는 이와 같은 것을 사용하고 조기 중지를 사용하거나 사용하지 않고 오류 손실을 플로팅하여 실험합니다.
keras.callbacks.EarlyStopping(monitor='val_loss',
min_delta=0,
patience=2,
verbose=0, mode='auto')
콜백 작동 방식에 대한 모호성을 위해 더 설명하려고합니다. fit(... callbacks=[es])
모델 을 호출하면 Keras는 지정된 콜백 객체에 미리 지정된 함수를 호출합니다. 이 함수를 호출 할 수 있습니다 on_train_begin
, on_train_end
, on_epoch_begin
, on_epoch_end
와 on_batch_begin
, on_batch_end
. 조기 중지 콜백은 모든 Epoch 종료시 호출되며, 최상의 모니터링 값을 현재 값과 비교하고 조건이 충족되면 중지됩니다 (최적 모니터링 값을 관찰 한 이후 몇 Epoch가지나 갔는지 인내 인수 이상입니까? 마지막 값은 min_delta 등보다 큽니다.).
@BrentFaust가 주석에서 지적했듯이 모델의 학습은 조기 중지 조건이 충족되거나 epochs
매개 변수 (기본값 = 10) 가 충족 될 때까지 계속됩니다 fit()
. 조기 중지 콜백을 설정해도 모델이 epochs
매개 변수 이상으로 학습되지 않습니다 . 따라서 fit()
더 큰 epochs
값으로 함수를 호출 하면 Early Stopping 콜백에서 더 많은 이점을 얻을 수 있습니다.