무엇을 예측했나
이 데이터는 캘리포니아 주택 데이터셋에서 가져온 2,000행 표본입니다. 원본은 20,640개 블록 그룹 기록을 모은 것이고, 그중 2,000개를 무작위로 골라 분석했습니다. 각 행은 1990년 미국 인구조사 기반의 블록 그룹을 나타내며, 소득, 주택 연식, 방 수, 침실 수, 인구, 가구원 수, 위도, 경도 같은 여덟 가지 정보를 담고 있습니다. 목표는 블록 그룹의 주택 가치 중앙값을 맞히는 것입니다. 이 값의 단위는 10만 달러라서 2.0은 20만 달러를 뜻합니다. 주택 가치 중앙값은 블록 그룹 안 주택들의 가치를 줄 세웠을 때 가운데에 오는 요약값입니다. 표본의 평균은 2.0663, 중앙값은 1.799였고, 범위는 0.3부터 5.0까지였습니다. 결측치와 제거한 행은 없었습니다. 즉 이 실험의 질문은 여덟 가지 정보로 주택 가치 중앙값을 얼마나 잘 예측할 수 있는지, 그리고 예측이 얼마나 불확실한지를 범위로 함께 보여 줄 수 있는지였습니다.
어떻게 예측했나
2,000행은 학습용 1,600행과 테스트용 400행으로 나뉘었습니다. EXAONE Tabular는 표 데이터를 재학습 없이 예측하는 방식으로, 학습 행을 함께 주고 테스트 행을 맞히도록 한 결과입니다. 예측은 한 숫자로만 나오지 않았습니다. 점 예측은 p50과 같은 값으로 제시됐고, 함께 p10과 p90 같은 구간 값도 나왔습니다. 즉 “이 정도일 가능성이 크다”는 중심값과 “이 범위 안을 예상한다”는 범위를 같이 보여 주는 셈입니다. 학습 행과 테스트 행을 나누어 둔 덕분에, 학습에 쓰지 않은 행에서 결과가 어떻게 나오는지 볼 수 있습니다. 결측과 제거 행이 없어 행을 버리지 않고 진행한 분석이라는 점도 결과 해석에 중요합니다.
결과 읽기
MAE 0.2833(약 28,330달러)은 예측값이 실제값과 평균적으로 얼마나 어긋났는지를 보여 줍니다. 택배 도착 예정 시각이 평균적으로 얼마나 어긋났는가를 읽는 것과 비슷합니다. 가장 단순한 방법, 곧 학습 데이터 평균으로 예측하는 것과 비교하면 MAE가 0.9161(약 91,610달러)이었습니다. 누구에게나 평균값만 말해 주는 안내와 비교한 셈입니다. EXAONE Tabular의 MAE 0.2833은 그 기준선의 0.309배로, 두 값을 나란히 비교하면 오차가 69.1% 줄어든 것입니다. 이 비교값은 모델이 직접 내놓은 지표가 아니라 두 MAE를 비교해 얻은 결과입니다. RMSE 0.4599는 오차를 제곱해 평균한 뒤 뿌리 내린 값으로, 큰 오차에 더 민감한 지표입니다. R² 0.8471은 들쭉날쭉한 값의 움직임을 모델이 얼마나 따라갔는지를 보여 주는 결정계수로, 1에 가까울수록 설명력이 크다고 읽을 수 있습니다. 다만 이런 지표는 테스트한 400행에서의 요약이며, 모든 주택이나 모든 시기를 아우르는 성적표는 아닙니다.
예측 구간 읽기
p10은 실제값이 이보다 낮을 가능성을 모델이 약 10%로 보는 값이고, p50은 위아래 가능성이 반반인 가운데 값이며, p90은 실제값이 이보다 높을 가능성을 약 10%로 보는 값입니다. 택배 도착 시각을 “빠르면 이때, 보통 이때, 늦으면 이때 도착한다고 알려 주는 식”에 가깝습니다. 이번 테스트에서 p10부터 p90까지의 80% 구간은 400행 중 333행을 포함해 적중률 83.25%였습니다. 약속한 80%보다 조금 높으므로 구간이 약간 넉넉한, 보수적인 쪽으로 해석할 수 있습니다. 만약 적중률이 80%보다 낮았다면 모델이 생각하는 불확실성보다 실제 불확실성이 크거나 구간이 실제보다 좁아 과신하는 쪽으로 읽을 수 있습니다. 참고로 50% 구간의 적중률은 56%, 평균 폭은 0.4783이었습니다. 구간 폭은 행마다 달랐고, 80% 구간의 평균 폭은 0.9667, 중앙값 폭은 0.8122였습니다. 가장 좁은 구간은 0.0874, 가장 넓은 구간은 3.439였습니다. 폭이 넓다는 것은 모델이 같은 확신을 내비치기 어렵다는 뜻이고, 좁다는 것은 상대적으로 확신이 큼을 뜻합니다. 다만 좁은 구간이 항상 맞다는 뜻은 아닙니다.
구간이 넓었던 구역과 좁았던 구역
예측값 수준별로 보면 1.5 미만인 122행의 평균 폭은 0.5819, 1.5~3.0인 200행은 1.0827, 3.0 이상인 78행은 1.2711이었습니다. 폭과 예측값의 상관은 0.337이었지만, 폭과 중위 소득의 상관은 -0.004로 거의 없었습니다. 소득 사분위별 평균 폭도 0.8465에서 1.027 사이로 차이가 작았습니다. 넓은 사례에서는 p10 1.0663, p50 2.1664, p90 4.5053으로 범위가 넓었고 실제값 3.0은 구간 안에 들었습니다. 좁은 사례는 중위 소득 15.0001(1만 달러 단위)인 블록으로, p10 4.9627부터 p90 5.0501까지 폭 0.0874였고 실제값은 5.0이었습니다. 다만 이 좁은 사례는 상한값으로 기록된 행이라 이 확신을 그대로 믿기 어렵습니다. 폭이 넓은 행은 모델이 예측을 하나로 좁히기 어려운 사례로 볼 수 있고, 좁은 행은 상대적으로 안정적으로 보인 경우입니다. 소득과의 관계는 거의 없었으므로 구간 폭을 소득만으로 설명하기는 어렵습니다.
한계와 주의
먼저 표본은 전체 20,640개 중 2,000개를 무작위로 뽑은 것이라 전체 캘리포니아 주택을 똑같이 대표한다고 단정할 수 없습니다. 표본이 뽑힌 방식과 실제 주택의 분포가 다를 수 있으므로, 이 결과를 모든 주택에 그대로 일반화하기는 어렵습니다. 또한 1990년 인구조사 기반의 블록 그룹 집계라서 개별 주택의 현재 가격이나 시세가 아닙니다. 지금의 부동산 상황과는 다른 시대의 자료라는 점을 잊으면 안 됩니다. 타깃은 5.00001에서 잘린 상한값이 있는데, 표본 89행(4.45%), 학습 67행, 테스트 22행이 이에 해당합니다. 테스트 상한 22행 중 19행(86.36%)이 구간 안에 들었지만 실제 가치가 50만 달러를 넘을 수 있어 이 적중을 그대로 믿기 어렵습니다. p90이 상한을 넘은 행도 28개 있었습니다. 상한값 때문에 실제 오차가 더 크게 드러날 수 있다는 점도 고려해야 합니다. 마지막으로 이 구간은 확실한 가격 범위가 아니라 모델의 예측 범위이며, 이번 테스트에서는 실제값의 83.25%를 담았습니다. 부동산 투자 판단의 근거로 삼아서는 안 됩니다.