GPU 필요 없는 오프라인 챗봇 | GPT4All

GPT4All, 오프라인 무료 챗봇

GPT4All은 「LM Studio」처럼 GPU가 필요 없는 로컬 오프라인 무료 챗봇이다. GPT4All는 Llama, Mistral 등 현재 널리 사용되는 13개의 오픈 소스 LLM(대형 언어 모델)을 포함한 다양한 모델을 지원할 뿐만 아니라 OpenAI API key가 있는 사용자는 GPT-3.5 및 GPT-4도 사용할 수 있다(이 경우 인터넷 연결이 필요). 사용자는 텍스트 생성, 코드 작성, 데이터 분석, 번역, 업무 보고서, 논문 등과 같은 다양한 작업을 처리하는 데 적합한 모델을 선택하면 된다.

GPT4All은 LM Studio와 마찬가지로 외장 GPU 없는 노트북 같은 저사양 PC에서도 작동하고, Ryzen3 같은 내장 GPU 사용자의 경우 LM Studio처럼 벌컨(Vulkan) API를 지원하는 것 같은데, 막상 테스트해 보니 GPU 사용률은 거의 ‘0’이다(반면에 LM Studio는 20% 정도 사용). 내가 설정을 잘못한 건지 GPT4All의 버그인지 잘 모르겠다.

아무튼, Ryzen 3의 경우 Vulkan API 지원으로 인해 GPT4All보단 LM Studio의 챗봇 응답 속도가 더 빠르다.

GPT4All의 강력한 기능, LocalDocs

그러나 GPT4All은 LM Studio 같은 다른 로컬 챗봇 도구에는 없는 ‘LocalDocs’이라는 꽤 강력한 기능이 있다. LocalDocs은 문서(txt, PDF, docx) 같은 로컬 데이터를 불러와 (해당 문서를 주제로) 챗봇과 토론하는 것이 가능하다. 예를 들면, (텍스트 파일로 된) 책 문서를 불러와 챗봇에 리뷰를 작성하게 하거나 요약하게 하는 것이 가능하다(아래 동영상 참고).

다만, LocalDocs으로 문서를 불러올 때 오직 CPU만으로 작업하면 소설 한 권 분량 정도도 엄청난 시간을 요구한다. 이때 Nomic API(←링크에서 무료로 발급, 위 사진 참고)를 사용해서 매우 빠른 속도로 문서를 읽어오는 것이 가능하다. 고로 Non-GPU 사용자는 LocalDocs 기능을 사용할 때 무조건 Nomic API 사용 추천!!!

LocalDocs으로 챗봇에게 책 리뷰 부탁하기

GPT4All 다운로드

GPT4All: 다운로드
┗ 윈도우, 리눅스, macOS 지원

시스템 요구 사항: 링크

「기타 오프라인 챗봇 무료 도구」

GPT4All Vulkan API 충돌?

만약 Ryzen에서 Vulkan API 활성화하고 나서 모델 로드 시 GPT4All이 강제 종료된다면, [Model] 설정에서 [GPU Layers] 값을 1로 변경하면 해결된다. 내 경우엔(Ryzen 3 5300U) 이렇게 해도 GPU 가속이 활성화되지는 않았다.

무료 챗봇, GPT4All vs LM Studio(Ryzen 3)

위 동영상은 ‘괄호 안의 문장만 선택해서 로 묶는 정규식은?’이라는 질문을 LM Studio와 GPT4All의 챗봇에게 문의했을 때 누가 더 빠른 응답 속도를 보이는지 테스트한 영상이다. 둘 다 같은 모델(Llama-3-8B-Instruct 4.34GB)을 사용했음에도 LM Studio의 챗봇은 질문을 받고 답변을 시작하기까지 3초 정도가 걸렸지만, GPT4All은 무려 16초가 걸렸다. 이 차이는 바로 Vulkan API 지원 여부이다.

LM Studio에서 Ryzen 3는 Vulkan API 지원으로 인해 GPU 가속을 사용할 수 있었고, GPT4All은 (설정엔 ‘Vulkan API’를 사용할 수 있는 것으로 되어있지만) GPU 가속을 사용할 수 없었다.

비록 허접한 내장 GPU지만, 가속 여부의 차이는 생각보다 크다.