실험 설계
이 비교는 같은 과제를 두 번 실행한 결과를 나란히 본 것입니다. 한 번은 추론 강도 low로, 한 번은 추론 강도 max로 요청했고, 각 조건을 한 번씩만 실행했습니다. 두 실행의 입력 토큰은 299로 같았습니다. 즉 입력 자체는 동일했지만, 모델이 답을 이끌어 내는 과정에서 쓰인 추론 자원은 달라질 수 있는 조건이었습니다. 출력에는 분류 문제의 혼동 행렬 계산과 회귀 모델의 80% 예측 구간 해석이 함께 들어 있었습니다. 두 결과 모두 같은 질문에 답하지만, 계산을 정리하는 방식과 설명의 밀도, 덧붙이는 진단이 서로 다를 수 있습니다. 그래서 아래에서는 계산 정확성, 설명 구조와 명확성, 토큰 사용량을 차례로 비교합니다. 이 실험은 조건별 1회 실행이라는 점을 잊지 않아야 합니다. 한 번의 결과만으로 low와 max의 일반적 우열을 단정하기는 어렵습니다.
계산 정확성 대조
항목별로 low, max, 정답 기준을 나란히 놓으면 다음과 같습니다.
| 항목 | low | max | 정답 기준 |
|---|---|---|---|
| 전체 정확도 | 64/69 ≈ 92.8% | 64/69 ≈ 92.8% | 64/69 약 92.8% |
| A 정밀도 | 28/31 ≈ 90.3% | 28/31 ≈ 90.3% | 28/31 약 0.903 |
| A 재현율 | 28/30 ≈ 93.3% | 28/30 ≈ 93.3% | 28/30 약 0.933 |
| B 정밀도 | 11/13 ≈ 84.6% | 11/13 ≈ 84.6% | 11/13 약 0.846 |
| B 재현율 | 11/14 ≈ 78.6% | 11/14 ≈ 78.6% | 11/14 약 0.786 |
| C 정밀도 | 25/25 = 100% | 25/25 = 100% | 25/25 = 1.0 |
| C 재현율 | 25/25 = 100% | 25/25 = 100% | 25/25 = 1.0 |
| 가장 헷갈린 쌍 | A와 B, 실제 A 2건 B로, 실제 B 3건 A로 | 오답은 모두 A와 B 사이, 실제 A를 B로 2건, 실제 B를 A로 3건 | A와 B, 실제 B를 A로 3건, 실제 A를 B로 2건 |
| 80% 예측 구간 | 100건 중 72건 포함, 명목 80%보다 낮음, 구간이 좁거나 불확실성 과소평가 가능 | 100건 중 72건 포함, 명목 80%보다 낮음, 구간이 필요보다 좁거나 불확실성 반영 부족 가능 | 72%는 명목 80%보다 낮아 구간이 너무 좁다(과신)는 뜻 |
두 실행의 계산값은 정답 기준과 일치합니다. 전체 정확도와 종별 정밀도, 재현율, 가장 헷갈린 쌍, 예측 구간 포함률의 핵심 수치가 모두 같은 방향으로 정리되어 있습니다. low는 계산 근거를 항목별로 풀어 썼고, max는 행과 열의 합계를 표로 함께 제시한 뒤 해석으로 넘어갔습니다. 특히 max의 혼동 행렬 표에는 실제 수와 예측 수가 들어가 있어, 각 종의 전체 규모와 예측된 총량을 한눈에 볼 수 있습니다. low도 계산 근거를 충분히 밝혔지만, 행·열 합계를 별도 표로 전면에 배치하지는 않았습니다. 80% 예측 구간에 대해서는 두 실행 모두 72건 포함이라는 결과를 명목 80%보다 낮은 신호로 다루었습니다. low는 구간이 좁거나 불확실성을 과소평가했을 가능성을 말했고, max는 구간이 필요보다 좁거나 불확실성을 충분히 반영하지 못했을 가능성을 언급했습니다. 정답 기준의 표현처럼, 이 결과는 구간이 너무 좁다는 신호로 읽을 수 있습니다.
설명의 명확성과 구조 비교
low의 문장은 비교적 짧고 순차적입니다. “전체 사례 수는 28+2+0+3+11+0+0+0+25 = 69개이고, 맞힌 수는 28+11+25 = 64개입니다.”처럼 계산을 먼저 놓고, “따라서 전체 정확도는 64/69 ≈ 92.8%입니다.”로 결론을 맺습니다. 종별 정밀도와 재현율도 정의를 먼저 제시한 뒤 표와 계산 근거로 이어 갑니다. 가장 헷갈린 종을 설명할 때는 “A와 B가 서로 비슷하게 생겨서 모델이 둘을 잘 구분하지 못했고, 특히 B를 A로 넘기는 오류가 상대적으로 많았다.”라고 일반 독자에게 말을 걸듯 풀어냅니다. 회귀 구간 부분에서는 “예측 구간이 실제보다 좁게 만들어졌거나, 모델이 자기 불확실성을 과소평가하고 있을 수 있습니다.”라고 가능성을 제시하고, 하위 그룹 점검과 잔차 진단, 분위수 회귀, 부트스트랩, 컨포멀 예측, 베이지안 예측 분포 같은 보완 방법을 나열합니다.
max는 먼저 행은 실제 종, 열은 예측 종이라는 전제를 세우고 혼동 행렬 표를 제시합니다. 이 표에는 실제 수와 예측 수가 함께 들어가 있어, A 실제 30, B 실제 14, C 실제 25, A 예측 31, B 예측 13, C 예측 25라는 규모를 바로 볼 수 있습니다. 그다음 “오답은 모두 A와 B 사이에서만 나왔습니다.”라고 단정한 뒤, B가 재현율 78.6%로 가장 낮고 정밀도도 84.6%로 A보다 낮다고 설명합니다. 회귀 구간에서도 72/100=72%라는 계산을 보이고, 명목상 목표 80%보다 낮게 나온 셈이라고 해석합니다. 이때 “구간을 무작정 넓히면 포함률은 올라가지만 예측 구간의 유용성은 떨어질 수 있습니다.”라는 단서를 붙여, 포함률만 높이면 된다는 식의 단순한 결론을 경계합니다. low도 구간 보정 방법을 넓게 다뤘지만, max에는 행·열 합계가 있는 혼동 행렬 표와 구간 확대의 유용성 단서가 또렷하게 있었습니다. 다만 두 결과 모두 원인을 단정하지 않고 추가 진단이 필요하다는 태도를 보였습니다.
토큰 사용량
low의 총 생성 토큰은 2687이고, 이 중 추론 토큰은 1800입니다. max의 총 생성 토큰은 5683이고, 이 중 추론 토큰은 4831입니다. 두 값을 나란히 놓으면 max 쪽의 총 생성 토큰과 추론 토큰이 모두 low 쪽보다 많습니다. 입력 토큰은 두 실행 모두 299로 같았습니다. 따라서 이번 비교에서는 같은 입력을 두고 max가 더 많은 생성 자원을 사용한 기록으로 볼 수 있습니다. 다만 토큰 수는 실행 환경과 측정 방식에 따라 달라질 수 있으므로, 이 값만으로 max가 항상 더 우수하다거나 low가 항상 부족하다고 말할 수는 없습니다. 응답 시간은 측정값이 없으므로 이 비교에서는 다루지 않습니다.
언제 low로 충분하고 언제 max가 필요한가
이번 실행에서는 low와 max 모두 정답 기준과 맞는 계산과 해석을 내놓았고, 토큰은 max 쪽이 더 많이 쓰였습니다. 그래서 “정답을 맞히는 데 반드시 max가 필요하다”는 이번 관찰은 성립하지 않습니다. 하지만 각 조건을 한 번씩만 실행한 결과이므로, 이 비교를 일반적인 성능 차이로 넓히기에는 한계가 있습니다. 낮은 부담으로 핵심 계산과 해석을 얻고 싶을 때 low가 충분할 수 있습니다. 반대로 혼동 행렬의 행·열 합계처럼 구조를 한눈에 보여 주는 표가 필요하거나, 예측 구간을 무작정 넓히면 유용성이 떨어질 수 있다는 단서까지 함께 다루고 싶을 때 max의 서술이 도움이 될 수 있습니다. 두 결과가 함께 다룬 내용으로는 혼동 원인에 대한 신중한 진단, 구간 포함률이 낮을 때의 점검 방향, 분위수 회귀·부트스트랩·컨포멀 예측 같은 보정 검토가 있습니다. max에만 뚜렷했던 내용으로는 실제 수와 예측 수가 들어간 혼동 행렬 표, 그리고 구간 확대의 유용성에 대한 단서입니다. 물론 이 구분은 이번 1회 실행 두 결과 사이의 차이이며, 모든 low와 max 실행에 그대로 적용되는 법칙은 아닙니다.