캘리브레이션 플롯

Calibration Plot; Calibration Curve

캘리브레이션 플롯은 머신 러닝 등의 예측 모델에서 예측 확률이 실제 결과와 얼마나 잘 일치하는지를 평가하기 위해 사용되는 도구이다. 특히 확률적 예측 모델에서 유용하며, 분류 모델의 신뢰도를 평가하는 데 자주 활용된다.

Calibration Plot의 구성

• X축: 모델의 예측 확률 (예: 0.0에서 1.0 사이의 값)
• Y축: 실제 관찰된 빈도(또는 확률)

일반적으로, 예측이 잘 조정된 모델일수록 X축과 Y축이 일치하여, 그래프는 45도 대각선에 가까워진다. 이를 완벽하게 보정된 모델이라고 하며, 모델이 0.7의 확률로 예측하면 실제 결과도 약 70% 정도로 맞아떨어져야 한다.

Calibration Plot의 해석

1. Underconfident 모델: 예측 확률이 실제보다 낮아 그래프가 45도 대각선 아래로 형성된다.
2. Overconfident 모델: 예측 확률이 실제보다 높아 그래프가 45도 대각선 위쪽으로 나타난다.
3. 잘 보정된 모델: 그래프가 45도 대각선과 거의 일치한다.