B3 아티클 모음

게임 개발자의 AI 상식 1편: 추론 모델

AI는 답하기 전에 무엇을 쓰는가

요즘 모델은 답을 내놓기 전에 한참 뜸을 들입니다. 그 사이에 모델은 우리가 보지 않는 글을 수천 토큰씩 쓰고 있고, 그 글에도 요금이 붙습니다. 그 글의 이름이 추론 토큰이고, 그렇게 일하도록 훈련한 모델이 추론 모델입니다.

1장 쓰면서 생각하기

언어 모델에게는 머릿속으로 조용히 계산해 둘 자리가 없습니다. 중간 계산을 둘 곳은 자기가 쓴 글뿐입니다.

01

한 번에 한 토큰

Next-token Prediction

언어 모델은 지금까지의 글을 읽고 다음 토큰 하나를 고르는 일을 반복합니다.토큰은 모델이 글을 세는 단위입니다. 한글은 대략 한두 글자, 영어는 단어 하나나 그 조각이 토큰 하나입니다.

정의
토큰(token)은 모델이 읽고 쓰는 글 조각이고, 요금과 속도, 한 번에 읽을 수 있는 분량(컨텍스트 윈도)을 모두 토큰 수로 셉니다. 모델은 입력 전체를 읽고 다음 토큰 하나를 내놓습니다. 그 토큰을 입력 끝에 붙이고 다시 다음 토큰을 내놓습니다. 답이 끝날 때까지 이 일을 되풀이합니다.
작동 원리
토큰 하나를 고를 때 모델이 하는 계산량은 정해져 있습니다. 신경망의 층을 처음부터 끝까지 한 번 지나가면 끝입니다. 어려운 문제라고 그 한 번이 길어지지 않습니다. 대신 모델은 자기가 방금 쓴 글을 다시 읽습니다. 그래서 중간 계산을 글로 적어 두면 다음 토큰을 고를 때 그 계산 결과를 읽고 이어 갈 수 있습니다. 적지 않으면 "23 - 20 + 6"을 층 한 번 지나는 동안 통째로 풀어야 합니다.
증상
"간단한 계산인데 답만 달라고 하면 틀려요." "풀이를 쓰라고 하면 맞혀요."
02

CoT, 생각의 사슬

Chain of Thought

답을 쓰기 전에 풀이를 먼저 쓰게 하는 방법입니다.2022년에는 프롬프트에 넣는 기법의 이름이었고, 지금은 모델이 답 전에 쓰는 풀이 글 자체를 가리키는 말로도 씁니다.

A답만 쓰게 했을 때

식당에 사과가 23개 있었다. 점심에 20개를 쓰고 6개를 더 샀다. 사과는 몇 개인가?

B풀이부터 쓰게 했을 때

식당에 사과가 23개 있었다. 점심에 20개를 쓰고 6개를 더 샀다. 사과는 몇 개인가?

정의
CoT(Chain of Thought)는 문제를 작은 단계로 나눠 차례로 적어 가는 풀이 글입니다. 모델이 중간 계산을 둘 곳은 자기가 쓴 글뿐이므로(01), 풀이를 쓰게 하면 단계마다 앞 단계의 결과를 읽고 이어 갑니다.
작동 원리
처음에는 프롬프트로 시켰습니다. 방법은 둘이었습니다. 하나는 풀이가 달린 예제 몇 개를 질문 앞에 붙여 따라 하게 하는 것이고(Wei 외, 2022년 1월), 다른 하나는 질문 끝에 "Let's think step by step(단계별로 생각해 보자)" 한 줄을 붙이는 것입니다(Kojima 외, 2022년 5월). 뒤의 논문에서 이 한 줄은 산수 문제 모음 MultiArith의 정답률을 17.7%에서 78.7%로 올렸습니다. 모델도 가중치도 그대로였고 바뀐 것은 출력 순서뿐입니다. 위 시연의 사과 문제는 Wei 외 논문의 첫 그림에 실린 예시를 옮긴 것이고, 논문에서 답만 쓰게 한 모델은 27이라고 답했습니다.
게임 개발에서
밸런스 수식 검토, 버그 원인 추적, 퀘스트 조건의 모순 찾기처럼 단계가 여럿인 일에서 차이가 납니다. 아이템 이름 짓기나 대사 톤 바꾸기처럼 한 번에 써도 되는 일은 풀이를 시켜도 좋아지지 않고 토큰만 더 씁니다.
장점과 한계
  • 장점: 모델을 다시 훈련하지 않고 프롬프트만으로 여러 단계 문제의 정답률이 오릅니다. 풀이가 남으니 어디서 틀렸는지 사람이 읽을 수 있습니다.
  • 한계: 풀이만큼 출력 토큰이 늘고 답이 늦게 나옵니다. 풀이 중간에 한 번 틀리면 그 뒤가 전부 틀립니다. 적힌 풀이가 모델의 실제 계산과 항상 같지도 않습니다(06).
추론 모델에서는
추론 모델(04)에는 "단계별로 생각해"를 넣지 않아도 됩니다. 이미 그렇게 일하도록 훈련돼 있습니다. OpenAI는 추론 모델 안내서에서 이 문구가 필요 없고 성능을 떨어뜨릴 때도 있다고 적었습니다. 추론을 끄고 쓰는 모델이나 작은 로컬 모델에서는 지금도 통합니다.
03

생각하는 시간도 성능이다

Test-time Compute

같은 AI라도 답하기 전에 계산을 더 쓰면 더 잘합니다.아래 시연은 언어 모델이 아니라 A* 길찾기입니다. 탐색 예산을 늘리면 결과가 어떻게 달라지는지 봅니다.

A탐색 예산에 따라 달라지는 길

정의
테스트 타임 컴퓨트(test-time compute)는 훈련이 끝난 모델이 답 하나를 낼 때 쓰는 계산량입니다. 모델을 키우거나 더 훈련하는 것은 훈련 때 계산을 늘리는 일이고, 답하기 전에 더 오래 생각하게 하는 것은 쓸 때 계산을 늘리는 일입니다. 추론 모델은 뒤쪽 방법으로 성능을 올립니다.
작동 원리
시연의 길찾기는 예산만큼만 칸을 펼쳐 보고, 그때까지 본 칸 중 도착점에 가장 가까운 칸으로 갑니다. 예산이 적으면 도착점 쪽으로 곧장 가다가 벽 안쪽에 갇힙니다. 예산을 늘리면 막힌 것을 확인하고 돌아 나옵니다. 알고리즘은 한 줄도 안 바뀌었습니다. 체스와 바둑 AI도 같습니다. 2016년의 알파고는 직관 역할의 신경망에 탐색을 붙였고, 수읽기 시간을 더 주면 더 강해졌습니다. 언어 모델에서는 그 탐색이 글로 적는 풀이입니다. 풀이를 길게 쓸수록 가정을 세워 보고, 틀린 것을 알아채고, 다른 길로 가 볼 여유가 생깁니다.
장점과 한계
  • 장점: 같은 모델로 어려운 문제의 정답률을 올릴 수 있습니다. 문제마다 예산을 다르게 줄 수 있습니다.
  • 한계: 예산은 시간과 돈입니다. 쉬운 문제에 예산을 더 줘도 결과는 같습니다. 시연에서 벽을 돌아 도착한 뒤로는 슬라이더를 올려도 길이 바뀌지 않습니다.

2장 추론 모델

프롬프트로 시키던 풀이 쓰기를 모델이 알아서 하도록 훈련하고, 그 풀이를 답과 따로 떼어 관리하기 시작한 것이 2024년입니다.

04

추론 모델

Reasoning Model

답을 쓰기 전에 풀이부터 쓰도록 훈련한 모델입니다.시키지 않아도 풀이를 쓰고, 풀이와 답을 서로 다른 칸에 담아 돌려줍니다.

정의
추론 모델(reasoning model)은 CoT를 프롬프트로 시키지 않아도 스스로 쓰는 모델입니다. 2024년 9월 OpenAI의 o1-preview가 이 이름으로 처음 나왔고, 제공사마다 thinking 모델, extended thinking, 사고 모드처럼 다르게 부릅니다.
작동 원리
구조는 일반 언어 모델과 같습니다. 달라진 것은 훈련입니다. 정답을 확인할 수 있는 문제(수학, 코딩)를 풀이와 함께 풀게 하고, 답이 맞았을 때의 풀이 방식을 강화합니다. 이 과정을 거친 모델은 풀이 쓰는 법을 스스로 익힙니다. 가정을 세우고, 검산하고, 틀리면 "아니다, 다시" 하고 돌아갑니다. 사람이 쓴 모범 풀이를 따라 하던 2022년의 CoT보다 풀이가 길고 지저분합니다.
게임 개발에서
코딩 도구에서 차이가 가장 큽니다. 여러 파일에 걸친 버그, 셰이더 수식, 네트워크 동기화처럼 한 번에 답이 안 나오는 문제는 추론을 켠 쪽이 확실히 낫습니다. 반대로 실시간 NPC 대사는 추론을 켜면 첫 글자가 나오기까지 몇 초씩 기다려야 합니다.
장점과 한계
  • 장점: 수학, 코딩, 계획 세우기처럼 단계가 많은 문제를 더 잘 풉니다. 프롬프트로 풀이를 유도하지 않아도 됩니다.
  • 한계: 느리고 비쌉니다(05). 추론을 켠다고 사실을 지어내는 일이 사라지지는 않습니다. 모르는 것을 오래 생각한다고 알게 되지는 않습니다.
inference와 reasoning
한국어 문서에서 inference와 reasoning이 둘 다 "추론"으로 번역됩니다. inference는 훈련된 모델을 돌려서 출력을 얻는 일 전체입니다. "추론 서버", "추론 비용"의 추론이 이쪽입니다. reasoning은 이 글에서 다루는, 답 전에 풀이를 쓰는 일입니다. "추론 모델", "추론 토큰"의 추론이 이쪽입니다. 추론 모델이 아닌 모델도 inference는 합니다.
05

추론 토큰

Reasoning Tokens, Thinking Tokens

모델이 답 전에 쓴 풀이의 토큰입니다. 화면에 안 보여도 출력 토큰으로 요금을 냅니다.출력 한도도 같이 씁니다. 한도가 작으면 풀이만 쓰다가 답을 못 쓰고 끝납니다.

추론 토큰답 토큰남은 출력 한도

  • 추론 토큰
  • 답 토큰
  • 첫 글자까지 대기
  • 호출 10만 번 요금

가정한 값: 입력 2,000토큰, 답 600토큰, 추론은 강도별로 0, 500, 3,000, 12,000토큰, 출력 속도 초당 100토큰, 요금은 100만 토큰당 입력 2달러와 출력 10달러.

정의
추론 토큰(reasoning tokens)은 모델이 답을 쓰기 전에 풀이로 쓴 토큰입니다. thinking 토큰이라고도 합니다. API 응답의 사용량(usage) 항목에 따로 적혀 나옵니다.
작동 원리
추론 토큰은 출력 토큰입니다. 그래서 세 가지가 따라옵니다. 첫째, 출력 단가로 요금을 냅니다. 풀이를 요약본으로만 보여 주는 서비스에서도 요금은 실제로 쓴 풀이 전체에 붙습니다. 둘째, 풀이를 다 쓴 뒤에야 답의 첫 글자가 나옵니다. 풀이가 3,000토큰이면 그만큼 기다립니다. 셋째, 최대 출력 토큰 한도를 답과 나눠 씁니다. 한도가 풀이보다 작으면 답이 잘리거나 빈 문자열이 돌아옵니다. 시연에서 추론 강도를 "높음"에 두고 한도를 낮춰 보면 답 칸이 사라집니다.
다음 턴에는
풀이는 그 턴에서만 쓰입니다. 대화가 이어질 때 대부분의 서비스는 이전 턴의 풀이를 빼고 답만 다시 입력에 넣습니다. 그래서 추론 토큰이 대화 기록에 계속 쌓이지는 않습니다. 모델이 도구를 부르는 중간에는 풀이를 그대로 돌려줘야 하는 제공사도 있으니, 도구 호출을 쓴다면 그 제공사의 문서를 확인해야 합니다.
게임 개발에서
빌드에 모델 호출을 넣는다면 요금 계산에 추론 토큰을 넣어야 합니다. 답이 두 줄이어도 청구서에는 풀이까지 찍힙니다. 유저가 기다리는 화면이라면 풀이가 끝날 때까지 보여 줄 것을 정해 둬야 합니다. 응답이 가끔 비어 온다면 최대 출력 토큰부터 확인합니다.
증상
"답은 한 줄인데 출력 토큰이 4,000으로 찍혀요." "가끔 빈 응답이 와요. 종료 사유가 length예요." "스트리밍인데 한참 아무것도 안 와요."
06

보이는 추론, 숨긴 추론

Raw CoT, Reasoning Summary

모델이 쓴 풀이를 어디까지 보여 줄지는 제공사가 정합니다.원문 그대로, 요약본, 토큰 수만. 셋 중 무엇을 받든 낸 요금은 원문 기준입니다.

A같은 응답을 세 가지 방식으로 받았을 때

공격력 120, 치명타 확률 25%, 치명타 배율 2배. 한 대의 기대 대미지는?

풀이 공개
정의
원문 추론(raw CoT)은 모델이 쓴 풀이 그대로입니다. 추론 요약(reasoning summary)은 다른 모델이 그 풀이를 줄여 쓴 글입니다. 채팅 앱에서 "생각 중" 아래에 펼쳐지는 글은 대부분 요약입니다.
제공사별
OpenAI는 o1부터 원문을 숨기고 요약만 보여 줍니다. 2025년 1월 DeepSeek R1은 원문을 그대로 내보냈고, 가중치가 공개된 모델이라 직접 돌리면 전부 볼 수 있습니다. Anthropic은 Claude 3.7 Sonnet에서 원문을 보여 주다가 Claude 4부터는 요약을 기본으로 바꿨습니다. 숨기는 이유로는 풀이가 안전 규칙을 거치지 않은 글이라는 점과 경쟁사가 풀이를 모아 자기 모델을 훈련시킬 수 있다는 점을 듭니다.
믿어도 되나
풀이도 모델이 쓴 글이라서 실제로 한 계산과 다를 수 있습니다. 대개는 답에 이르는 과정을 잘 보여 주지만 빠지는 것이 있습니다. Anthropic은 2025년 4월 실험에서 문제에 정답 힌트를 몰래 넣고, 힌트를 따라 답을 바꾼 모델이 풀이에 그 사실을 적는지 셌습니다. 적은 비율은 Claude 3.7 Sonnet이 25%, DeepSeek R1이 39%였습니다. 풀이에 "A라서 B"라고 적혀 있어도 실제 이유가 A였다는 보장은 없습니다.
게임 개발에서
풀이는 디버깅에 씁니다. 모델이 지시를 어떻게 이해했는지, 프롬프트의 어느 문장에서 헷갈렸는지가 풀이에 드러납니다. 이상한 결과가 나오면 프롬프트를 고치기 전에 풀이부터 읽는 편이 빠릅니다. 풀이를 유저에게 그대로 보여 주는 것은 권하지 않습니다. 시스템 프롬프트의 내용이나 걸러지지 않은 문장이 섞여 나옵니다.
07

추론 강도

Reasoning Effort, Thinking Budget

풀이를 얼마나 길게 쓸지 호출할 때 정하는 옵션입니다.한 모델로 빠른 답과 깊은 답을 골라 쓰는 방식이 2025년에 자리 잡았습니다.

정의
추론 강도(reasoning effort)는 낮음, 중간, 높음처럼 단계로 고르는 옵션입니다. 사고 예산(thinking budget)은 풀이에 쓸 토큰 수의 상한을 숫자로 주는 옵션입니다. 이름과 방식은 제공사마다 다르지만 조절하는 대상은 같습니다. 05의 추론 토큰 수입니다.
작동 원리
2024년의 o1은 추론을 끌 수 없었습니다. 2025년 1월 o3-mini가 강도 세 단계를 달고 나왔고, 2월의 Claude 3.7 Sonnet은 한 모델에서 추론을 끄고 켜고 예산을 정할 수 있었습니다. 이런 모델을 하이브리드 추론 모델이라고 부릅니다. 그 뒤로 나온 주요 모델은 대부분 이 방식을 따릅니다. 강도를 모델에게 맡기는 옵션도 있습니다. 이때는 모델이 문제를 보고 풀이 길이를 정합니다. 쉬운 질문에는 거의 안 쓰고 어려운 질문에는 길게 씁니다.
게임 개발에서
문제가 요구하는 만큼만 주면 되고 그 이상은 낭비입니다. 기본값을 그대로 쓰지 말고 작업 종류마다 정해 둡니다(09).
증상
"모델을 바꾼 것도 아닌데 같은 호출이 어제보다 세 배 느려요." 기본 강도가 바뀌었거나 옵션이 빠졌을 때 나오는 말입니다.

3장 역사와 실무

프롬프트 기법이 모델의 기능이 되고, 기능이 옵션이 되기까지 4년이 걸렸습니다.

08

추론 과정의 역사

2016 ~ 2025

사람이 프롬프트로 시키던 일을 모델이 스스로 하게 됐고, 그 양을 사람이 다시 조절하게 됐습니다.

  1. 알파고

    신경망의 직관에 탐색을 붙였습니다. 언어 모델은 아니지만 "답하기 전에 계산을 더 쓰면 강해진다"는 것을 널리 알렸습니다.

  2. 스크래치패드

    구글 연구진(Nye 외)이 언어 모델에게 중간 계산을 적게 하면 긴 덧셈과 코드 실행 결과 맞히기를 더 잘한다는 것을 보였습니다.

  3. CoT 프롬프팅

    구글 연구진(Wei 외)이 풀이가 달린 예제를 프롬프트에 넣는 방법에 Chain of Thought라는 이름을 붙였습니다. 02의 사과 문제가 이 논문에서 나왔습니다.

  4. "Let's think step by step"

    도쿄대와 구글 연구진(Kojima 외)이 예제 없이 이 한 줄만 붙여도 된다는 것을 보였습니다. 프롬프트 엔지니어링이라는 말이 퍼진 시기입니다.

  5. 풀이를 여러 번, 여러 갈래로

    같은 문제를 여러 번 풀어 가장 많이 나온 답을 고르는 방법(Self-Consistency), 풀이와 도구 사용을 번갈아 하는 방법(ReAct), 풀이를 나무처럼 갈래 쳐 탐색하는 방법(Tree of Thoughts)이 나왔습니다. ReAct는 지금 에이전트라고 부르는 것의 바탕이 됐습니다.

  6. o1-preview

    OpenAI가 풀이 쓰기를 훈련으로 익힌 모델을 내놓고 추론 모델이라고 불렀습니다. 추론 토큰이라는 과금 항목이 이때 생겼습니다. 풀이 원문은 숨겼습니다.

  7. Gemini 2.0 Flash Thinking, o3 발표

    구글이 첫 thinking 모델을 냈고, OpenAI는 o3를 예고했습니다.

  8. DeepSeek R1, o3-mini

    R1은 가중치가 공개된 추론 모델이고 풀이 원문을 그대로 보여 줬습니다. 추론 모델을 직접 돌려 볼 수 있게 됐습니다. 같은 달 o3-mini에 추론 강도 옵션이 붙었습니다.

  9. Claude 3.7 Sonnet

    Anthropic이 한 모델에서 추론을 켜고 끄고 예산을 정하는 하이브리드 방식을 냈습니다.

  10. GPT-5

    일반 모델과 추론 모델로 나뉘어 있던 제품군이 하나로 합쳐졌습니다. 그 뒤로는 추론 모델을 따로 고르지 않고 한 모델에서 추론 강도를 정합니다.

출처: Nye 외 "Show Your Work" (arXiv 2112.00114), Wei 외 "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models" (arXiv 2201.11903), Kojima 외 "Large Language Models are Zero-Shot Reasoners" (arXiv 2205.11916), Anthropic "Reasoning Models Don't Always Say What They Think" (arXiv 2505.05410), 각 회사의 출시 공지.

09

게임 작업별로 고르기

When to Think

유저가 기다리는 일에는 끄고, 틀리면 비싼 일에는 켭니다.

작업추론이유
실시간 NPC 대사끔첫 글자까지의 대기 시간이 곧 플레이 경험입니다. 대사의 질은 추론보다 캐릭터 설정과 예시 대사에서 나옵니다.
아이템 설명, 대사 초벌, 번역 초벌끔 또는 낮음한 번에 써도 되는 글입니다. 양이 많아 요금 차이가 크게 납니다.
기획서와 회의록 요약낮음읽고 줄이는 일은 단계가 적습니다.
퀘스트 조건과 대화 분기의 모순 찾기중간여러 조건을 서로 맞춰 봐야 합니다. 풀이를 쓸 자리가 필요합니다.
밸런스 수식 검토중간 이상풀이가 길어집니다. 숫자 계산은 모델의 암산에 맡기지 말고 코드 실행 도구를 붙여 계산하게 합니다.
버그 원인 추적, 여러 파일 리팩터링높음가설을 세우고 버리는 과정이 풀이 안에서 일어납니다. 한 번 틀린 답을 받아 다시 묻는 것보다 쌉니다.
빌드 서버의 대량 일괄 처리작업에 맞춰 고정모델에게 맡기면 호출마다 요금이 달라집니다. 강도를 고정해야 예산을 잡을 수 있습니다.
호출을 붙이기 전에 확인할 것
  1. 사용량에서 추론 토큰을 따로 기록하고 있는가. 답 길이만 보고 요금을 추정하면 틀립니다.
  2. 최대 출력 토큰이 풀이와 답을 합친 것보다 넉넉한가.
  3. 추론 강도를 코드에 적어 뒀는가. 기본값은 모델 버전이 바뀔 때 같이 바뀝니다.
  4. 유저가 기다리는 화면이라면 풀이가 끝날 때까지 무엇을 보여 줄지 정했는가.
  5. 풀이를 판단 근거로 쓰지 않는가. 풀이는 디버깅 자료이고, 결과 검증은 답을 놓고 따로 합니다.