신문 기사 한 편과 엑셀 표 하나를 나란히 놓았다고 상상해 보자. 기사 문장은 단어와 단어가 이어지는 흐름으로 읽히고, 표는 행과 열이 만드는 격자 안에서 각 칸이 저마다 다른 의미를 갖는다. 둘 다 데이터지만, AI가 이들을 다루는 방식은 꽤 다르다. 이 차이를 알면 “AI가 분석했다”는 말을 더 비판적으로 읽을 수 있다.
언어 모델은 문장을 토큰의 연쇄로 읽는다
언어 모델(텍스트를 이해하거나 생성하도록 학습된 AI)은 문장을 통째로 한 번에 삼키기보다 토큰(token)이라는 작은 단위로 나눈다. 토큰은 단어보다 작을 수도, 길 수도 있다. 예컨대 “펭귄은 날지 못한다”는 조사와 어미가 붙은 조각들로 잘게 나뉘거나 “펭귄” 같은 덩어리로 묶일 수 있다. 중요한 것은 모델이 다음 토큰의 확률 분포를 예측한다는 점이다. “오늘 날씨가 정말 ___” 뒤에는 “좋다”, “춥다”, “흐리다” 같은 후보가 각기 다른 확률로 놓인다. 이 과정을 반복하면 문장이 이어진다. 아주 빠른 속도로 한 조각씩 이어 쓸 후보들 중 문맥에 가장 그럴듯한 쪽을 고르는 게임에 가깝다. 이 방식은 유연한 대신, 사실 계산처럼 정확한 작업에는 약할 수 있다. 확률적으로 그럴듯한 문장과 검증된 숫자는 다르기 때문이다.
표 데이터는 열·행·단위·결측의 구조로 읽는다
표는 문장과 다르다. 표에서 각 열은 고유한 단위와 의미를 가진다. 키(cm), 몸무게(kg), 지역명, 날짜, 상품 코드가 한 표에 섞일 수 있다. 같은 “값”이라도 측정 대상이 다르면 비교할 수 없다. 같은 열 이름이라도 수집 주체·시점·기준이 다르면 의미가 달라질 수 있다. 예를 들어 “매출”이라는 열 이름이 기업마다 순매출인지 총매출인지 다를 수 있고, 조사 시점이 다르면 같은 이름의 항목도 다른 현실을 담는다. 행 순서도 대개 의미가 없다. 고양이 한 마리와 또 한 마리의 순서를 맞바꿔도 분류 결과는 달라지지 않는다. 다만 시계열처럼 순서 자체가 정보인 경우에는 예외다. 결측도 단순 빈칸이 아니다. 아직 측정하지 않았다는 뜻일 수도, 해당 사항이 없어 값을 넣지 않았다는 뜻일 수도, 오류로 누락됐다는 뜻일 수도 있다. 그래서 표를 다루는 모델은 숫자형·범주형·날짜형·텍스트형 열을 함께 고려해야 한다. 전통적으로 결정 트리 계열 모델이 이런 혼합형 표에서 강한 모습을 보여 온 이유도 여기에 있다. 물론 결정 트리 계열이 항상 최선은 아니다. 데이터 크기와 목적, 신호의 형태에 따라 다른 모델이 더 나을 수 있다.
표 전용 파운데이션 모델과 예측 분포의 언어
최근 일부 표 전용 파운데이션 모델은 많은 표를 미리 학습해, 새로운 표가 주어졌을 때 그 안의 패턴을 문맥으로 활용하는 방식, 즉 문맥 내 학습(in-context learning)으로 예측을 시도하기도 한다. 예를 들어 여러 펭귄의 부리 길이·깊이·다리 길이 같은 측정값 표를 보고, 새 행의 측정값이 주어졌을 때 종을 맞히는 식이다. 이때 모델이 열 이름, 단위, 자료형, 결측 패턴 같은 정보를 어느 정도 활용하는지는 모델마다 다르다. 모든 표 전용 모델이 같은 방식으로 동작한다고 단정할 수는 없다. 개념적으로 중요한 변화는 표도 자연어처럼 대규모 사전학습과 문맥 활용의 대상이 되었다는 점이다. 다만 표에서는 열의 의미와 단위, 결측의 이유를 잘못 읽으면 언어 모델이든 표 모델이든 엉뚱한 예측을 할 수 있다.
출력도 문제 유형에 따라 달라진다. 종이 고양이·개·새처럼 여러 범주 중 하나를 고르는 분류에서는 각 범주에 대한 예측 확률이 나올 수 있다. 집값처럼 연속적인 값을 예측하는 회귀에서는 점 하나만 내기보다 예측 분포의 분위수를 함께 내는 경우가 많다. p10, p50, p90은 그 예측 분포의 10번째, 50번째, 90번째 백분위수다. p50은 가운데 값, p10과 p90은 각각 더 낮은 쪽과 더 높은 쪽의 경계를 보여 주는 식으로 읽을 수 있다. 물론 이 분위수가 실제 빈도와 정확히 일치하는지는 모델의 보정과 데이터에 달려 있다. 그래서 출력을 볼 때는 “점 예측”과 “구간”, “확률”과 “실제 빈도”를 구분해야 한다.
| 질문 | 언어 모델의 기본 단위 | 표 데이터 모델의 기본 단위 |
|---|---|---|
| 무엇을 잘게 나눠 읽나 | 토큰, 다음 토큰 확률 | 행, 열, 셀, 열의 유형과 단위 |
| 순서의 의미 | 앞뒤 문맥이 핵심 | 대개 행 순서 무관, 시계열은 예외 |
| 자주 마주치는 어려움 | 그럴듯한 문장 생성, 수치 환각 위험 | 결측·이질적 단위·열 의미 불일치 |
이 사이트의 데이터 스토리 두 편: 예측과 해설의 분업
이 사이트의 데이터 스토리 두 편은 표 데이터 모델이 예측을 맡고 언어 모델이 그 결과를 해설한 구조다. 첫째, “부리 길이만 보고 펭귄 종을 맞힐 수 있을까”는 남극 펭귄의 신체 측정값으로 세 종을 분류하고, 예측 확률과 혼동 행렬(어떤 범주를 어떤 범주로 맞혔는지 표로 정리한 것)로 AI 분류의 확신과 한계를 읽는 이야기다. 여기서는 부리 길이 같은 몇몇 측정값이 종을 가르는 단서가 되는지, 모델이 낸 확률을 얼마나 믿을 수 있는지, 헷갈리는 사례가 어디에서 생기는지를 살핀다. 둘째, “캘리포니아 주택 가치 예측: 숫자와 구간 읽기”는 1990년 미국 인구조사 블록 그룹 표본을 바탕으로 주택 가치 중앙값을 예측하고, 예측 구간이 실제 값을 어느 정도 감싸는지 점검하는 데이터 스토리다. 숫자를 하나의 점으로만 보지 않고 범위로 읽는 연습을 하게 한다. 두 글 모두 예측 자체는 표 데이터 모델이 담당하고, 그 의미와 한계는 언어 모델이 풀어 내는 방식으로 구성됐다. 독자는 표 모델이 만든 결과와 언어 모델의 해설을 나란히 보며, AI의 계산을 읽는 눈과 설명하는 힘을 구분할 수 있다.
언어 모델의 수치 환각과 근거 고정
언어 모델은 다음에 올 법한 토큰을 고르는 데 뛰어나지만, 그래서 없던 숫자를 만들어 낼 위험도 있다. 표에서 나온 값, 논문이나 기사에 제시된 값, 코드 실행 결과를 확인하지 않은 채 그럴듯한 수치를 문장에 섞을 수 있다. 이를 숫자 환각이라고 부르기도 한다. 그래서 분석 글을 쓸 때는 근거 수치를 본문에 고정해 두는 편이 안전하다. 예를 들어 어떤 표의 값이나 모델의 출력값을 인용한다면, 그 값이 어디서 왔는지 밝히고, 언어 모델이 그 값을 새로 계산한 것처럼 말하지 않도록 한다. 표 모델이 낸 예측과 언어 모델의 해설을 분리하는 것도 같은 이유다. 계산과 예측은 검증 가능한 쪽에 두고, 해설은 그 결과를 설명하되 새로운 수치를 만들어 내지 않게 한다. 독자도 “이 숫자가 원자료에 있었나, 모델이 계산했나, 아니면 문장을 쓰기 위한 수사였나”를 물어야 한다.
정리하면, 언어 모델은 문장을 토큰 연쇄와 다음 토큰 확률로 읽고, 표 데이터 모델은 열·행·셀·단위·결측 구조로 표를 다룬다. 둘은 경쟁 관계라기보다 잘하는 일이 다르다. 표 모델이 예측하고 언어 모델이 해설할 때, 독자는 결과와 의미를 함께 얻을 수 있다. 다만 그 결합이 더 정확해지려면 수치는 근거에 붙박여 있어야 하고, 모델의 출력은 확률·구간·한계와 함께 읽어야 한다. 문장을 읽는 AI와 표를 읽는 AI는 각자의 언어를 이해하고, 그 차이를 아는 것이 함께 쓰는 첫걸음이다.