무엇을 예측했나
남극 팔머 군도의 세 섬에서 측정한 펭귄 344마리의 몸 치수로 종을 맞히는 문제입니다. 종은 Adelie, Chinstrap, Gentoo 세 가지이고, 개체 수는 각각 152마리, 68마리, 124마리로 고르지 않습니다. 부리 길이와 부리 깊이, 지느러미 길이, 체중, 성별, 측정한 섬 정보를 함께 썼고, 측정 연도는 종 구분과 무관해 제외했습니다. 숫자 몇 개로 범주를 가르는 문제인 만큼, 숫자 사이의 간격이 곧 판단 근거가 됩니다.
어떻게 예측했나
344마리를 학습용 275마리와 테스트용 69마리로 80대 20으로 나눴고, 종 비율을 유지한 층화 분할이라 학습에는 Adelie 122마리, Gentoo 99마리, Chinstrap 54마리, 테스트에는 Adelie 30마리, Gentoo 25마리, Chinstrap 14마리가 들어갔습니다. 수치 결측 2행과 성별 결측 11행은 모두 학습 쪽에 있었고, 테스트 개체에는 빠진 값이 없었습니다. 쓰인 특성은 섬, 부리 길이, 부리 깊이, 지느러미 길이, 체중, 성별 여섯 가지입니다. 이 표를 EXAONE Tabular로 예측해 종별 확률을 받았습니다. 테스트 정답을 가린 채 따지는 이유는, 이미 본 답을 되짚는지가 아니라 처음 보는 개체에서도 판단이 통하는지 보려는 것입니다.
결과 읽기
테스트 69마리 중 68마리를 맞혀 정확도 0.9855, macro F1(세 종 각각의 성과를 같은 무게로 평균 낸 값) 0.9829를 기록했습니다. 백분율로는 각각 98.55%, 98.29%이고, 정확도는 전체에서 맞힌 비율, macro F1은 한 종만 잘 맞히고 나머지를 포기하는 전략을 걸러 보려는 지표입니다. 참고로 세 종 가운데 가장 많은 Adelie만 찍는 단순 기준선의 정확도는 0.4348, 백분율로 43.48%이므로 이 결과는 그보다 약 55.07%p 높습니다. 다만 이 기준선은 EXAONE Tabular가 낸 값이 아니라, 가장 흔한 종을 항상 고르는 셈과 견주려고 계산한 비교값입니다.
어디서 헷갈렸나
혼동 행렬은 실제로 어느 종이었던 개체를 모델이 어느 종으로 봤는지 엇갈려 놓은 표입니다. 이 표에서는 실제로 Chinstrap인 14마리 모두 Chinstrap으로, Gentoo 25마리도 25마리 모두 Gentoo로 맞혔습니다. 헷갈린 자리는 하나뿐으로, 실제 Adelie 30마리 가운데 29마리를 맞히고 1마리를 Chinstrap으로 봤습니다. 실제 그 종인 개체 중 맞힌 비율인 재현율로 보면 Adelie는 0.9667이고, 모델이 Chinstrap이라고 답한 15마리 중 실제로 Chinstrap이었던 비율인 정밀도로 보면 0.9333입니다. 왜 이 한 건이 경계에 놓였는지는 데이터에서 확인되는 만큼만 말할 수 있습니다. Adelie와 Chinstrap은 부리 깊이 평균 18.3mm 대 18.4mm, 지느러미 길이 190.0mm 대 195.8mm, 체중 3700.7g 대 3733.1g으로 닮았고, 부리 길이 평균 38.8mm 대 48.8mm에서 주로 갈립니다. 두 종이 함께 기록된 섬이 있다는 점도 겹침을 만듭니다. 반면 Gentoo는 부리 깊이 평균 15.0mm로 얕고 지느러미 217.2mm, 체중 5076.0g으로 커서 상대적으로 뚜렷합니다. 다만 모델이 어떤 특성을 얼마나 봤는지는 결과에 나오지 않으므로, 특정 특성이 원인이라고 단정하지 않습니다.
확률 읽기
모델은 개체마다 종별 확률을 함께 냈습니다. 69마리 가운데 67마리는 가장 높은 확률이 0.99 이상, 68마리는 0.9 이상이었고, 최고 확률의 평균은 0.996이었습니다. 다만 모두 같은 거리는 아니어서, 맞은 개체 중에도 확신이 낮은 쪽이 나옵니다. 실제 Adelie인 암컷 한 마리는 Dream 섬에서 측정됐고 부리 길이 42.2mm, 부리 깊이 18.5mm, 지느러미 길이 180.0mm, 체중 3550.0g이었는데 Chinstrap 0.8213, Adelie 0.1785, Gentoo 0.0002로 Chinstrap을 골랐습니다. 테스트 전체에서 최고 확률이 가장 낮았던 개체로, 확률이 1에서 멀어졌다는 게 덜 확신했다는 신호로 읽힙니다. 또 다른 한 마리는 Dream 섬 수컷, 부리 길이 43.2mm로 Adelie 0.9682, Chinstrap 0.0317, Gentoo 0.0001을 받아 맞혔지만 두 번째로 낮은 확신이었습니다. 두 사례 모두 두 종이 함께 기록된 섬에서 나왔고, 부리 길이가 Adelie 평균 38.8mm와 Chinstrap 평균 48.8mm 사이에 있습니다. 이는 가능한 해석 가운데 하나일 뿐, 판단 근거가 공개되지 않았으므로 원인이라고 말할 수는 없습니다.
한계와 주의
테스트가 69마리뿐이라 1건 차이가 정확도 약 1.45%p를 움직입니다. 그래서 완벽하게 맞혔다거나 사람보다 뛰어나다고 말할 자리는 아니고, 68마리 맞힘은 이 표본 안의 기록입니다. 섬 정보도 종과 강하게 얽혀 있습니다. Biscoe에는 Adelie 44마리와 Gentoo 124마리, Dream에는 Adelie 56마리와 Chinstrap 68마리, Torgersen에는 Adelie 52마리만 있습니다. 섬만 알아도 종이 좁혀지는 구조이므로, 다른 지역이나 다른 조사 환경의 펭귄에 그대로 옮겨 적용하기는 어렵습니다.