L3 · 02 로컬 모델 시작하기 — 무엇이 필요한가

모델 크기가 무엇을 뜻하나

모델 이름 뒤에 붙은 3B, 7B, 14B 같은 숫자는 모델 안의 숫자 개수를 뜻한다(B = 10억). 많을수록 똑똑하고, 많을수록 무겁다.

실제로 중요한 것은 내려받을 파일의 크기다. 그 파일이 통째로 메모리에 올라가야 돌기 때문이다. 파일 크기보다 메모리가 넉넉해야 한다 — 이 한 줄이 기준의 전부다.

같은 모델인데 파일이 여러 크기로 나뉘어 있는 것을 보게 된다. 모델 안의 숫자를 덜 정밀하게 적어 파일을 줄여 놓은 것이고, 이것을 양자화라고 부른다. 사진을 해상도 낮춰 저장하는 것과 비슷하다 — 가벼워지고, 조금 흐려진다.

파일 이름 끝에 붙은 표시로 알아본다. 크기는 대략 숫자 개수 × 비트 ÷ 8로 짐작하면 된다.

같은 메모리라면 "작은 모델을 덜 줄인 것"보다 "큰 모델을 Q4로 줄인 것"이 대개 낫다. 그리고 대화가 길어지면 그만큼 메모리를 더 먹으니, 파일 크기보다 1~2GB는 여유를 둔다.

메모리가 얼마인가. 윈도우라면 작업 관리자 → 성능 → 메모리. 여기 적힌 숫자에서 지금 쓰고 있는 양을 뺀 것이 실제로 쓸 수 있는 양이다.
그래픽카드가 있나, 있다면 메모리가 얼마인가. 같은 화면의 GPU 항목에 전용 GPU 메모리가 나온다. 모델이 이 안에 들어가면 몇 배 빨라진다. 안 들어가면 느리지만 돌기는 한다.
저장 공간이 얼마나 남았나. 모델 파일은 몇 GB씩 한다. 이것저것 받아 보다 보면 금방 수십 GB가 된다.

숫자는 모델마다 다르므로 감을 잡는 용도로만 본다. 정확한 답은 한 번 받아서 돌려 보는 것이다. 그게 제일 빠르다.

"열린 모델"이라고 해서 조건이 없는 것은 아니다. 모델 파일(가중치)을 내려받을 수 있게 해 둔 것일 뿐, 무엇에 써도 되는지는 모델마다 따로 정해져 있다. 같은 가족 안에서도 크기나 판마다 다를 때가 있다.

갈래	대략 어떤가
Apache 2.0 · MIT 같은 공개 라이선스	상업적 이용까지 대부분 자유롭다. 표시 의무 정도가 붙는다
회사가 따로 정한 라이선스	상업 이용 조건, 이용자 수 기준, 금지하는 용도 목록, "결과물로 다른 모델을 학습시키지 말 것" 같은 조항이 붙기도 한다

확인하는 자리는 한 곳이다 — 모델을 내려받는 페이지의 License 항목, 또는 함께 들어 있는 LICENSE 파일. 집에서 혼자 쓰는 것은 대개 문제가 없다. 서비스에 붙여 팔거나 회사 일에 쓸 생각이면 반드시 읽는다.

요즘은 프로그램 하나만 깔면 모델을 골라 받고 바로 대화할 수 있다. 설치형 앱(화면에서 고르고 누르는 방식)과 명령으로 쓰는 것(터미널에서 한 줄로 받고 돌리는 방식) 두 갈래가 있다.

순서는 앱으로 되는지 확인 → 계속 쓸 만하면 명령 쪽으로 옮기기 가 편하다.

속도. 한 문단을 써 달라고 하고 글자가 나오는 속도를 본다. 읽는 속도보다 빠르면 쓸 만하고, 한참 기다려야 하면 대화용으로는 못 쓰고 밤에 돌리는 용도다.
한국어. 같은 모델이라도 한국어 실력은 크게 차이 난다. 영어로는 멀쩡한데 한국어는 어색한 경우가 흔하므로 반드시 한국어로 시험한다.
긴 글. 몇 쪽짜리 글을 통째로 주고 요약시켜 본다. 여기서 느려지거나, 뒷부분을 놓치거나, 아예 멈추는 것이 드러난다.

기대치를 먼저 맞춘다

내 기계에서 도는 작은 모델은 클라우드의 큰 모델과 같지 않다. 어려운 추론, 긴 코드, 최신 정보 — 이 셋은 확실히 약하다.

대신 분류 · 요약 · 형식 바꾸기 · 찾기 는 충분히 한다. 그리고 이런 일이야말로 양이 많고 반복되는 일이라, 요금 걱정 없이 돌릴 수 있다는 것이 크게 작용한다.

공통점은 셋이다 — 틀려도 되돌릴 수 있고, 양이 많고, 밖으로 내보내기 싫은 것. 이 셋이 겹치는 자리가 내 기계가 가장 값을 하는 곳이다.

다음 편에서는 늘 켜 두는 작은 기계 이야기다 — 라즈베리파이와 미니PC에 무엇을 맡길 것인가.