[machine-learning] binary_crossentropy와 categorical_crossentropy가 동일한 문제에 대해 다른 성능을 제공하는 이유는 무엇입니까?

범주 형 및 이진 교차 엔트로피 간의 이러한 명백한 성능 불일치의 이유는 xtof54 사용자가 아래의 답변 에서 이미보고 한 것입니다 .

evaluate2 개 이상의 레이블이있는 binary_crossentropy를 사용할 때 Keras 방법으로 계산 된 정확도 가 잘못되었습니다.

이에 대해 자세히 설명하고 실제 근본적인 문제를 설명하고 설명하며 해결책을 제시하고 싶습니다.

이 동작은 버그가 아닙니다. 근본적인 이유는 단순히 모델 컴파일에 포함시킬 때 선택한 손실 함수에 따라 Keras가 실제로 어느 정확도를 사용 할지 추측 하는 방법에있어 미묘하고 문서화되지 않은 문제 metrics=['accuracy']입니다. 즉, 첫 번째 컴파일 옵션 동안

model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

두 번째 것은 유효합니다.

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

당신이 기대하는 것을 생산하지는 않지만 그 이유는 이진 교차 엔트로피 (적어도 원칙적으로는 절대적으로 유효한 손실 함수입니다)를 사용하지 않기 때문입니다.

왜 그런 겁니까? 당신이 선택하면 측정 소스 코드를 , Keras는 하나의 정확도 측정하지만, 그 중 몇 가지 것들, 정의하지 않습니다 binary_accuracy와 categorical_accuracy. 후드 아래에서 발생 하는 것은 손실 함수로 이진 교차 엔트로피를 선택하고 특정 정확도 메트릭을 지정하지 않았기 때문에 Keras (잘못 …)는에 관심이 있다고 추측하고 binary_accuracy이것이 반환되는 것입니다. 실제로 당신은에 관심이 categorical_accuracy있습니다.

Keras 의 MNIST CNN 예제 를 사용하여 다음과 같이 수정 된 경우인지 확인하십시오.

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])  # WRONG way

model.fit(x_train, y_train,
          batch_size=batch_size,
          epochs=2,  # only 2 epochs, for demonstration purposes
          verbose=1,
          validation_data=(x_test, y_test))

# Keras reported accuracy:
score = model.evaluate(x_test, y_test, verbose=0) 
score[1]
# 0.9975801164627075

# Actual accuracy calculated manually:
import numpy as np
y_pred = model.predict(x_test)
acc = sum([np.argmax(y_test[i])==np.argmax(y_pred[i]) for i in range(10000)])/10000
acc
# 0.98780000000000001

score[1]==acc
# False    

이 문제를 해결하려면, 즉 실제로 이진 크로스 엔트로피를 손실 함수로 사용하려면 (적어도 원칙적으로는 아무 문제가 없습니다) 문제에 필요한 범주 정확도를 얻으려면 명시 적으로 요청해야 categorical_accuracy합니다. 다음과 같이 모델 컴파일 :

from keras.metrics import categorical_accuracy
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=[categorical_accuracy])

MNIST 예제에서 위에서 보여준 것처럼 테스트 세트를 훈련, 스코어링 및 예측 한 후에는 두 메트릭이 동일해야합니다.

# Keras reported accuracy:
score = model.evaluate(x_test, y_test, verbose=0) 
score[1]
# 0.98580000000000001

# Actual accuracy calculated manually:
y_pred = model.predict(x_test)
acc = sum([np.argmax(y_test[i])==np.argmax(y_pred[i]) for i in range(10000)])/10000
acc
# 0.98580000000000001

score[1]==acc
# True    

시스템 설치:

Python version 3.5.3
Tensorflow version 1.2.1
Keras version 2.0.4

업데이트 : 내 게시물을 보낸 후이 답변 에서이 문제가 이미 확인되었습니다 .

답변

binary_crossentropy = len(class_id_index) * categorical_crossentropy

class_weight = 1 / class_frequency

binary_crossentropy = len(class_id_index) * categorical_crossentropy