무료 오프라인 AI 챗봇 | LM Studio

인터넷 없이도 AI 챗봇을 구동하는 무료 도구

LM Studio는 RWKV-Runner, Koboldcpp처럼 다양한 로컬 LLM(대형 언어 모델)을 사용해 오프라인에서 ‘AI 챗봇’ 서비스를 구현할 수 있는 무료 도구이다. 다시 말해 인터넷 없이도, 그리고 Ryzen3 같은 저사양 노트북(예: Llama, Mistral, Phi 모델)에서도 AI 챗봇에 지식을 구걸할 수 있는 아주 유용한 도구.

LM Studio는 Llama 3, Phi 3, Falcon, Mistral, StarCoder, Gemma 등 gguf 형식의 모델을 사용할 수 있고, 자체 내장된 모델 탐색 도구를 통해, 혹은 Hugging Face에서 모델을 다운로드할 수 있다.

최소 하드웨어/소프트웨어 요구 사항

macOS 13.6 이상이 설치된 Apple Silicon Mac(M1/M2/M3)

AVX2를 지원하는 프로세서가 장착된 Windows/Linux PC

16GB 이상의 RAM 권장. PC의 경우 6GB 이상의 VRAM 권장

NVIDIA/AMD GPU

LM Studio 다운로드

LM Studio: https://lmstudio.ai/
└ Windows, Linux, Mac(M1/M2/M3) 지원

gguf 모델 다운로드: Hugging Face

LM Studio 사용하기

LM Studio는 설치와 함께 자동 실행되는데, 처음 실행하면 모델 다운로드 화면이 나온다.

Meta-Llama-3.1-8B-Instruct-GGUF라는 대략 5GB짜리 모델을 다운로드하게 되는데, 이게 모든 사용자에게 추천하는 기본 모델인지, 아니면 사용자 PC 사양에 맞게 추천되는 모델인지는 모르겠다.

다운로드 완료 후 모델 로딩까지 완료하면 드디어 AI와 채팅할 수 있다.

참고, 「언어 모델에서 토큰(Token)이란 무엇인가?」

[Discover] 탭에서 모델을 검색하고 다운로드할 수 있다.

모델마다 특징과 하드웨어 요구 사항이 다르므로 설명을 참고해 자신에게 필요한 모델을 다운로드하면 된다.

예를 들면, Codestral 22B 모델은 Mistral AI의 최신 코딩 모델로서 80개 이상의 프로그래밍 언어를 지원하는 코딩/프로그래밍 도우미다.

모델을 다운로드할 때 파일 크기 우측에 있는 화살표를 클릭하면 다운로드 옵션이 표시되고, PC 사양에 맞지 않는 모델은 친절하게 빨간색으로 표시해 준다. 내 노트북 사양인 Ryzen3(20GB RAM) 같은 경우 8~9GB 정도의 모델을 사용할 수 있었다.

파일 이름에 붙은 Q2 등은 양자화(Quantization) 방식(모델의 크기를 줄이는 방법의 하나. 다른 방법으론 Pruning과 Knowledge Distillation 등이 있음) 표시한 것이고, 8B(80억) 등은 모델이 갖는 파라미터 수치를 표시한 것이다. 이 수치가 클수록 더 복잡한 작업을 수행할 수 있지만, 더 많은 자원과 처리 시간이 요구된다.

[Developer]의 [LM Runtimes] 탭을 보면 GPU 지원을 확인할 수 있다.

Ryzen3 APU 같은 경우 Vulkan API 가속만 사용할 수 있다. 좀 더 최신 AMD GPU라면 ROCm(NVIDIA의 CUDA에 대응 AMD의 GPGPU 소프트웨어 스택 및 HPC 플랫폼) 가속을 사용할 수 있을 것이다.

만약 LM Studio의 메모리 사용량이 부담스럽다면, [내 모델]에서 모델 우측에 있는 톱니바퀴 설정으로 들어가 [모델을 메모리에 유지]를 사용하지 않으면 메모리를 절약할 수 있다. 다만, 위 설명에서 볼 수 있듯 챗봇의 응답 속도가 다소 느려질 것이다.

Mistral-Nemo-Instruct-2407-GGUF 모델에게 질의했을 때 Ryzen3 GPU 사용률이다. 사용률이 100%가 되면 좀 더 빠를 것 같은데, 뭔가 아쉽다.

'1937년 일본에서 일어난 중요한 사건에 대해 알려주세요'

위 질문에 대한 Meta-Llama-3.1-8B-Instruct-GGUF, Mistral-Nemo-Instruct-2407-GGUF, GPT-4o, Gemini, CLOVA X의 대답은 아래와 같고, 이 질문에 대한 대답만 놓고 보면 ‘1937년 일본‘과는 전혀 상관없는 ‘어밀리아 에어하트 실종 사건’을 언급한 CLOVA X의 답변이 오프라인 LLM보다 못했다.

참고로 GPT-4o, Gemini, CLOVA X 순서로 AI 챗봇을 이용하고 있는데, 최신 정보는 Gemini, 문장을 다듬고 확장하는 것은 GPT가 나은 것 같다.

Meta-Llama-3.1-8B-Instruct-GGUF

1937년은 일본의 내전과 중국 침략, 그리고 제2차 세계 대전의 서막을 알리는 역사적인 시기였습니다.

1. 신바라쿠 사태 (1936): 1936년 2월, 일본 군인들이 군사 쿠데타를 감행하여 쇼와 천황에게 강제로 영향력을 행사하려고 시도했지만 실패했습니다. 이 사건은 후에 "신바라쿠 사태"라고 불리며, 일본의 내전을 촉발시키는 요인이 됩니다.
2. 중일 전쟁 (1937-1945): 1937년 7월, 일본은 중국 침략을 시작하여 베이징(당시 일본에서는 중화민국 베이핑이라고 부름)을 점령했습니다. 이 전쟁은 중일 사이에 지속되는 내전으로 발전되었고, 나중에는 제2차 세계 대전의 일부가되었습니다.
3. 난징 사변 (1937): 1937년 12월, 일본군이 난징을 공격했으며, 중국 군대와 민간인들이 대량 학살을 당했습니다. 난징 사변은 일본의 침략과 중일 전쟁의 가장 비극적인 사건 중 하나로 기억됩니다.

이러한 역사적 사건들은 일본의 내전과 제2차 세계 대전의 서막을 알리는 중요한 역할을 했습니다.

Mistral-Nemo-Instruct-2407-GGUF

1937년에 일본에서 일어난 중요한 사건을 몇 가지 말씀드려보겠습니다.

1. 만주사변: 1931년부터 시작된 만주 침략이 1937년에 일차적으로 마무리되면서 만주국이라는 괴뢰 국가가 수립되었습니다. 이 사건은 이후 중일전쟁으로 이어져 일본의 군사적 야망을 드러내는 중요한 사건이었습니다.
2. 중일전쟁 시작: 1937년 7월, 일본군은 루거우차오 사건을 구실로 삼아 중국의 수도인 베이징을 공습하면서 중일전쟁이 본격적으로 발발했습니다. 이 전쟁은 약 8년간 지속되며 많은 희생자를 낳았고 일본의 침략적 행보에 대한 비판의 대상으로 떠올랐습니다.
3. 중국에서의 전범 재판: 일본군은 중일전쟁에서 여러 전쟁 범죄를 저질렀으며, 이에 대해 1946년부터 1948년까지 국제 군사 재판이 열렸습니다. 이 재판은 일본의 전쟁 범죄에 대한 국제적인 시선이 집중되는 계기가 되었습니다.
4. 제2차 세계대전에 일본 제국의 참전: 1937년에 일어난 중일전쟁은 이후 제2차 세계대전으로 확대되어 갔으며, 1941년 일본의 진주만 공습을 기점으로 미국과 전면전을 치르게 되면서 일본의 제국주의적 정책은 더욱 비판을 받게 되었습니다.
5. 일장기 호국법 통과: 일본 정부는 1937년에 일장기를 국가기로 정하고, 이를 함부로 다루거나 모욕하는 것을 금지한 호국법을 통과시켰습니다. 이 법은 전쟁을 지원하려는 일본의 민족주의적 분위기에 부응하기 위한 조치로 여겨졌습니다.

이 외에도 1937년 일본에서는 많은 중요한 사건이 발생하였지만, 위의 다섯 가지는 그 중요성을 고려할 때 대표적으로 거론되는 사건입니다.

GPT-4o

1937년은 일본과 관련하여 중요한 역사적 사건으로 중일 전쟁(중일 제2차 전쟁)의 발발이 있습니다. 이 전쟁은 1937년 7월 7일에 발생한 루거우차오 사건(루거우차오 사변, 마르코 폴로 다리 사건)으로 시작되었습니다. 루거우차오에서 일본군과 중국 국민당 정부군 간의 충돌이 일어나면서 전면적인 군사 충돌로 확대되었고, 이는 중일 전쟁의 시작을 알리는 계기가 되었습니다.

중일 전쟁은 이후 제2차 세계 대전의 태평양 전쟁에서의 일본의 활동에 큰 영향을 미쳤으며, 이 전쟁은 아시아에서의 일본의 침략적 행보를 보여주는 중요한 사건으로 기록되고 있습니다.

Gemini

1937년 일본의 주요 사건

7월 7일: 루거우차오 사건 일본군과 중국군 사이의 소규모 충돌로 시작되어 일본의 중국 본토 침공으로 이어졌습니다.
7월 28일: 북지나사변 발발 루거우차오 사건 이후 일본이 중국 북부를 대규모로 침공했습니다.
8월 13일: 상하이사변 발발 일본군이 상하이를 침공했습니다.
8월 23일: 독일, 일본, 이탈리아 세 축국 조약 체결 반공주의와 영국에 반대하는 것을 목적으로 하는 조약을 체결했습니다.
11월: 난징 대학살 일본군이 난징을 점령한 후 중국인에 대한 대규모 학살을 저질렀습니다.
12월: 난징 안전구역 설치 일본인 존 라베를 포함한 외국인들이 중국인을 보호하기 위해 안전구역을 설립했습니다.

CLOVA X

1937년 일본에서 일어난 중요한 사건 중 하나는 루거우차오 사건입니다. 이는 7월 7일 베이징 교외 루거우차오(蘆溝橋)에서 일본군과 중국군이 충돌한 사건으로, 중일 전쟁의 발단이 되었습니다. 이 사건 이후 일본은 중국에 대한 군사적 침략을 본격화하였고, 이는 1945년까지 지속된 중일 전쟁으로 이어졌습니다.

또한 1937년 12월 13일부터 6주간에 걸쳐 일어난 난징 대학살도 일본에서 일어난 중요한 사건 중 하나입니다. 이는 중일 전쟁 중 일본 군대가 중국의 난징을 점령하고, 약 30만 명의 중국인을 학살한 사건으로, 국제사회에서 큰 비난을 받았습니다.

그 외에도 1937년에는 아멜리아 에어하트 실종 사건이 있었습니다. 이는 미국의 유명한 여성 파일럿 아멜리아 에어하트가 태평양을 횡단하는 비행 중 실종된 사건으로, 현재까지도 그 원인이 밝혀지지 않아 많은 사람들의 관심을 받고 있습니다.

비록 보잘 것 없지만 광고 수익(Ad revenue)은 블로거의 콘텐츠 창작 의욕을 북돋우는 강장제이자 때론 하루하루를 이어주는 즐거움입니다