1. 토큰 — 글자를 세는 단위
AI는 글을 글자 단위로 읽지 않는다. 토큰이라는 덩어리로 자른다. 영어는 대략 단어 하나가 한 토큰, 한글은 한 글자가 1~2 토큰 정도로 보면 얼추 맞는다.
왜 알아야 하나
토큰은 돈과 한도를 세는 단위이기도 하다. 두 가지가 여기서 갈린다.
- "잠시 후 다시 시도해 주세요" — 정해진 시간 안에 쓸 수 있는 토큰을 다 썼다는 뜻이다. 긴 문서를 여러 개 붙였다면 금방 찬다. 몇 시간 뒤면 다시 풀린다.
- "파일이 너무 큽니다" — 한 번에 넣을 수 있는 양을 넘었다는 뜻이다. 필요한 부분만 잘라 넣으면 된다.
같은 자료를 매번 다시 붙이지 않는다. 한 대화 안에서는 앞서 준 파일을 기억한다.
300쪽짜리 설명서를 통째로 넣는 대신 필요한 장만 넣는다.
긴 대화가 느려지면 새 대화를 연다 — 이유는 바로 다음 항목이다.
2. 컨텍스트 — 한 번에 들고 있을 수 있는 양
컨텍스트 윈도우는 한 대화에서 AI가 동시에 보고 있을 수 있는 분량이다. 책상 넓이라고 생각하면 정확하다. 넓지만 무한하지 않다.
대화를 시작하면 책상이 비어 있다. 내가 붙인 파일, 내가 한 말, AI가 한 답이 차례로 책상 위에 쌓인다. 책상이 다 차면 오래된 것부터 밀려난다.
그래서 이런 일이 생긴다 — "아까 존댓말로 쓰라고 했잖아", "그 파일 아까 줬는데?". AI가 게을러서가 아니라, 그 내용이 이미 책상 밖으로 밀려난 것이다.
더 세게 지시해도 나아지지 않는다. 주제가 바뀌면, 또는 답이 이상해지기 시작하면 새 대화를 여는 것이 정답이다. 중요한 내용은 새 창 첫 줄에 다시 붙여 넣으면 된다.
3. 환각 — 모르면서 아는 척하는 것
가장 조심해야 할 것이다. AI는 모르는 것을 만나면 "모르겠습니다"라고 하는 대신 그럴듯한 것을 지어낸다. 이걸 환각이라고 부른다. 거짓말이라기보다 빈칸 채우기에 가깝다.
L0 · 02에서 본 대로 AI는 "다음에 올 그럴듯한 말"을 잇는 기계다. "그 책은 1987년에 나왔고 320쪽입니다" 같은 문장은 모양이 그럴듯하면 만들어진다. 진짜인지 확인하는 장치가 애초에 없다.
특히 잘 지어내는 것들
| 이런 건 꼭 확인한다 | 왜 |
|---|---|
| 숫자 — 가격, 쪽수, 연도, 통계 | 모양만 맞으면 그럴듯해 보인다 |
| 고유명사 — 제품명, 모델명, 사람 이름 | 비슷한 이름을 섞어 만든다 |
| 인용 — "그 책에 이런 문장이 있다" | 비슷한 말투로 새로 쓴다 |
| 주소 · 링크 | 있을 법한 주소를 조합한다 |
| 법·규정 조항 | 조항 번호까지 그럴듯하게 붙인다 |
① 자신 있게 말할수록 오히려 의심한다. 진짜 모르는 것도 똑같이 당당하게 말한다.
② "그거 어디서 나온 건지 알려 줘" 라고 되묻는다.
출처를 못 대거나 얼버무리면 지어낸 것이다.
③ 같은 질문을 새 대화에서 다시 물어본다. 답이 매번 다르면 모른다는 뜻이다.
줄이는 방법
완전히 없앨 수는 없지만, 두 가지로 크게 줄어든다.
- 자료를 준다. 설명서 파일을 붙이고 "이 안에서만 찾아 줘"라고 하면 지어낼 여지가 크게 줄어든다.
- 모르면 모른다고 하라고 미리 말한다. "자료에 없으면 추측하지 말고 '모르겠다'고 해 줘" 한 줄이 꽤 잘 듣는다.
세 낱말로 설명되는 흔한 증상
| 이런 일이 생기면 | 원인 | 할 일 |
|---|---|---|
| "잠시 후 다시 시도" 안내가 뜬다 | 토큰 | 기다리거나, 넣는 자료를 줄인다 |
| 아까 한 지시를 잊는다 | 컨텍스트 | 새 대화를 열고 규칙을 다시 적는다 |
| 준 파일을 다시 달라고 한다 | 컨텍스트 | 새 대화로 옮긴다 |
| 없는 제품·쪽수·링크를 말한다 | 환각 | 출처를 묻고, 원본으로 확인한다 |
| 매번 답이 다르다 | 환각 | 그 주제는 모른다고 보고 자료를 준다 |
정리 — 세 줄
- 토큰은 분량을 세는 단위다. 한도와 "너무 큽니다"가 여기서 나온다.
- 컨텍스트는 책상 넓이다. 차면 앞의 규칙부터 밀려나므로 새 대화를 연다.
- 환각은 빈칸을 그럴듯하게 메우는 성질이다. 숫자·이름·인용은 반드시 확인한다.
- 아무 책이나 하나 고르고 "이 책 몇 쪽에 무슨 내용이 나오느냐"고 물어본다.
- 답이 나오면 "그거 어디서 확인한 거야?" 라고 되묻는다.
- 새 대화를 열어 같은 질문을 다시 한다. 답이 다른지 본다.
일부러 환각을 한 번 만들어 보면 "그럴듯한 답"을 대하는 눈이 달라진다.
"잠시 후 다시 시도해 주세요" 가 떴다. 세 낱말 중 무엇 때문인가?
토큰. 정해진 시간 안에 쓸 수 있는 양을 다 쓴 것이다. 기다리거나 넣는 자료를 줄인다.
아까 존댓말로 쓰라고 했는데 반말로 돌아왔다. 왜 그런가?
컨텍스트 — 책상이 차서 맨 처음 정한 규칙이 제일 먼저 밀려났다. 새 대화를 열고 규칙을 다시 적는다.
같은 질문에 매번 답이 다르다. 무엇을 뜻하나?
그 주제는 모른다는 뜻이다(환각). 자료를 주고 "이 안에서만" 찾게 한다.
다음 편에서는 토큰이 돈이 되는 자리 — 모델 · 앱 · 회사와 요금제 — 를 본다.