한도가 빨리 닳는 까닭 — 보이지 않는 비용 손잡이

손잡이 1 — 얼마나 깊게 생각하게 하나

추론 모델(L0 · 07)은 답하기 전에 속으로 풀이를 쓴다. 그 풀이도 토큰이다. 그래서 많은 도구에 생각의 깊이를 정하는 손잡이가 있다 — 이름은 "생각 수준", "effort", "thinking level" 등으로 다르다.

• 높을수록 어려운 문제를 더 잘 풀고, 더 느리고, 더 많이 닳는다.
• 같은 모델이라도 앱마다 기본값이 다르다. 한쪽은 높게, 한쪽은 중간으로 시작하기도 한다.
• 새 기능이 가장 비싼 조합(큰 모델 + 깊은 생각)을 기본값으로 켜 두는 일도 흔하다.

느리거나 한도가 빨리 닳으면 모델을 바꾸기 전에 이 손잡이부터 본다. 상한을 걸어 둘 수 있는 도구도 있다.

손잡이 2 — 늘 붙어 다니는 것

요청을 보낼 때 들어가는 것은 내 문장만이 아니다. 켜 둔 스킬과 도구의 설명, 개인 지시, 기억, 프로젝트 파일이 매번 같이 들어간다(L1 · 05의 "지금 무엇이 늘 붙어 읽히는가"). 열 개를 켜 두고 한두 개만 쓴다면 나머지는 쓰지도 않으면서 매번 한도를 먹는다.

안 쓰는 것부터 끈다. 무엇이 얼마나 먹는지 보여 주는 도구가 있으면 한 번도 안 불린 것, 큰 것부터 정리한다.

손잡이 3 — 길어진 대화

대화가 길어지면 앞의 대화 전체가 요청마다 다시 읽힌다. 열 번째 질문은 짧아도, 앞의 아홉 번 주고받은 것이 함께 들어간다. 대화가 길수록 한 번 묻는 값이 커지는 이유다.

• 주제가 바뀌면 새 대화를 연다(L0 · 04 와 같은 처방이다).
• 이어 가야 하면 요약해 달라고 해서 그 요약을 새 대화 첫머리에 붙인다. 요약(압축)을 기능으로 제공하는 도구도 있다.
• 같은 앞부분을 되풀이해 보내는 경우 싸게 계산해 주는 장치(캐시)를 둔 서비스도 있다 — 프로그램으로 쓸 때 요금표에서 본다.

글자가 안 보여도 토큰이다

말로 하는 대화는 말한 시간만큼, 사진 · 파일은 그 크기만큼 토큰으로 센다. 화면에 글자가 거의 없어도 한도는 닳는다. 음성 대화를 켜 둔 채 오래 두는 것, 큰 파일을 대화마다 다시 붙이는 것이 흔한 원인이다.

증상별로 먼저 볼 손잡이

정리 — 세 줄

1. 한도는 내가 친 글보다 보이지 않는 토큰으로 더 많이 닳는다.
2. 먼저 볼 손잡이는 생각 깊이 · 늘 붙은 것 · 대화 길이. 모델 바꾸기는 그다음이다.
3. 말과 사진도 토큰이다. 화면에 글자가 없어도 닳는다.

다음 편에서는 붙여 둔 계정 · 커넥터 · 플러그인을 어떻게 지키는지 — 한 달에 한 번 보는 점검표를 만든다.