인공지능 예측 결과, 제대로 읽을 수 있나요? 7문제 퀴즈

혼동 행렬에서 대각선은 실제 클래스와 예측 클래스가 같은 칸이다. 따라서 대각선 합은 일치한 사례 수를 뜻한다. 행 합은 실제 클래스별 전체 수, 열 합은 예측 클래스별 전체 수이고, 대각선 바깥 합은 오분류 수다.

확률은 표본별 양성 가능성에 대한 추정치이므로 0.95가 0.55보다 더 강한 양성 확신을 뜻한다. 임계값이 0.5라면 두 표본 모두 양성으로 분류되지만, 임계값은 목표 비용에 따라 달라질 수 있다. A는 개별 확률을 모델 전체 정확도로 바꿔 읽은 해석이라 틀렸다. C는 0.55를 반올림 오류로 단정했지만 정당한 확률 추정치일 수 있다. D는 두 확률의 차이가 실제 라벨의 차이를 확정한다고 본 점이 틀렸다.

최빈 클래스 기준선은 라벨 분포만 보고 가장 흔한 클래스로 모두 예측했을 때의 성능을 뜻한다. 모델이 이 기준보다 얼마나 더 나은지 보아야 단순 기준 대비 개선을 알 수 있다. 불균형 데이터에서 정확도만 보면 다수 클래스 때문에 좋아 보일 수 있어 특히 필요하다.

분위수는 값을 오름차순으로 정렬했을 때 특정 비율이 그 값 아래나 위에 오는 경계값이다. 그래서 p10은 약 10%가 그보다 작거나 같은 값, p90은 약 10%가 그보다 크거나 같은 값이다. 평균에서 일정 거리만큼 떨어진 값이나 표준오차와는 다른 개념이다.

예측 구간은 새 관측치가 들어갈 명목 확률을 뜻한다. 명목 80%인데 실제 적중률이 60%라면 구간이 너무 좁거나 잔차 분포·이분산·모형 가정이 어긋난 과신일 수 있다. 다만 이 숫자만으로 모델 폐기나 무조건 구간 확대가 결론은 아니고 보정 상태를 점검해야 한다.

MAE는 각 표본의 절대 오차를 평균한 값이다. 절대값을 취하므로 양·음 오차가 상쇄되지 않고, 목표 변수와 같은 단위로 읽을 수 있다. 제곱 오차 평균과 달리 단위가 제곱되지 않는다.

데이터 누수는 실제 예측 시점에는 알 수 없는 정보가 학습에 섞여 성능이 부풀려지는 문제다. 예측 시점 뒤에 공개된 미래 정보로 만든 특성을 학습에 넣으면 이에 해당한다. 훈련 세트에서만 전처리 기준을 정하거나 미래 구간을 검증용으로 떼어 두는 것은 누수를 피하는 일반적인 방법이다. 민감한 정보를 다루는지와는 별개의 문제다.