읽는 일 — 사진과 화면을 본다
사진을 붙이면 AI는 그림을 잘게 조각 내어, 글의 토큰과 같은 방식으로 다룬다. 그래서 "이 사진에 무엇이 있어?"도, "이 표를 엑셀로 옮겨 줘"도 같은 대화 안에서 된다.
| 잘한다 | 예 |
|---|---|
| 글자 읽기 | 영수증 · 설명서 · 손글씨 메모 · 오류 화면 캡처 |
| 표와 그래프 풀어 읽기 | "이 그래프에서 가장 크게 오른 달은?" |
| 무엇인지 짐작하기 | 가전 오류 표시등, 처음 보는 부품, 식물 이름(참고용) |
잘 틀리는 것
글에서 지어내듯, 그림에서도 보이지 않는 것을 그럴듯하게 채운다. 특히 이런 데서 흔들린다.
- 개수 세기 — 비슷한 것이 스무 개 넘게 모이면 자주 틀린다.
- 작은 글씨 · 흐린 숫자 — 비슷한 숫자로 바꿔 읽는다. 6과 8, 1과 7.
- 표의 칸 — 줄이 어긋나면 옆 칸의 숫자를 가져온다.
- 위치와 방향 — 왼쪽·오른쪽, 겹친 물체의 앞뒤.
요령은 글과 같다. 중요한 숫자는 원본과 대조하고, 사진은 반듯하고 밝게, 한 장에 한 가지만 찍는다.
듣고 말하는 일
말을 글로 받아 적는 것(음성 인식), 글을 목소리로 읽어 주는 것(음성 합성), 그리고 둘을 이어 사람처럼 주고받는 음성 대화까지 이제 한 앱 안에서 된다. 회의 녹음을 받아 적고 요약하거나, 운전 중에 손 없이 묻는 식이다.
약한 곳도 뚜렷하다. 잡음, 여러 사람이 겹치는 말, 사투리, 사람 이름과 전문 용어. 받아 적은 글에서 이름과 숫자는 원래 소리로 한 번 더 확인한다.
만드는 일은 원리가 다르다
그림을 그리는 AI는 글 쓰는 AI와 방식이 다른 경우가 많다. 흔히 쓰는 방식은 잡음(노이즈)에서 시작해, 설명에 맞는 그림이 될 때까지 조금씩 걷어 내는 것이다. 모래 위 그림을 조금씩 쓸어 모양을 드러내는 것과 비슷하다.
| 그래서 생기는 일 | 까닭 |
|---|---|
| 그림 속 글자가 뭉개지거나 틀린다 | 글자를 '쓰는' 것이 아니라 글자처럼 생긴 무늬를 그리기 때문이다(요즘은 많이 나아졌다) |
| 손가락 · 물건 개수가 이상하다 | 전체 모양은 맞추지만 세지는 않는다 |
| 같은 설명에도 매번 다른 그림 | 시작하는 잡음이 매번 다르다 |
영상과 음악을 만드는 AI도 같은 갈래에서 나왔다. 몇 초짜리 영상, 짧은 배경 음악 정도는 이제 누구나 만든다.
목소리 몇 초만 있으면 비슷한 목소리를 만들 수 있고, 얼굴을 바꾼 영상도 어렵지 않다. 가족이나 지인의 목소리로 급하게 돈을 보내 달라는 전화가 실제 수법으로 쓰인다. 가족끼리 확인용 질문이나 암호를 하나 정해 두고, 돈 이야기가 나오면 끊고 원래 번호로 다시 건다.
정리 — 세 줄
- AI는 사진을 읽고 말을 알아듣는다. 읽을 때도 안 보이는 것은 그럴듯하게 채운다.
- 개수 · 작은 글씨 · 표의 칸 · 이름과 숫자는 원본과 대조한다.
- 그림을 만드는 AI는 잡음을 걷어 내는 방식이라 글자와 개수에 약하다. 가짜 목소리·영상도 쉽게 만들어진다.
- 영수증이나 설명서 한 쪽을 찍어 "표로 옮겨 줘"라고 시킨다. 숫자 세 개를 원본과 대조한다.
- 30초쯤 말로 오늘 할 일을 녹음해 받아 적고 목록으로 만들게 한다. 틀린 낱말을 찾아본다.
- 그림 만드는 기능이 있으면 "'OPEN'이라고 적힌 간판이 있는 빵집"을 그려 보게 한다. 글자가 제대로 나왔는지 본다.
셋 다 해 보면, 읽는 AI와 만드는 AI가 어디서 틀리는지가 손에 잡힌다.
사진으로 준 표를 옮길 때 가장 조심할 것은?
줄이 어긋나 옆 칸 숫자를 가져오는 것과 흐린 숫자를 비슷한 숫자로 읽는 것이다. 중요한 숫자는 원본과 대조한다.
그림 만드는 AI가 글자에 약했던 까닭은?
글자를 쓰는 것이 아니라 잡음을 걷어 내며 글자처럼 생긴 무늬를 그리기 때문이다.
가족 목소리로 급히 돈을 보내 달라는 전화를 받으면?
끊고 원래 알던 번호로 다시 건다. 미리 정해 둔 확인용 질문이나 암호를 묻는 것도 좋다.
다음 편에서는 답하기 전에 따져 보는 모델, 그리고 도구를 쥐고 스스로 움직이는 AI를 본다.