ChatGPT의 오픈 소스 대안 | Jan

CPU만으로 구동할 수 있는 AI 채팅

현재 개발 중인 Jan은 이전에 소개한 LLM(대형 언어 모델)을 사용한 오프라인 ‘AI 챗봇’과 대동소이한 오픈 소스 도구이다. ChatGPT의 대안으로 설계된 AI 채팅 플랫폼인 Jan은 Llama, Gemma, Mistral 또는 Qwen과 같은 인기 있는 LLM 모델을 지원하므로 LM Studio 같은 오프라인 챗봇을 이미 사용하고 있다면, 이미 다운받은 모델을 Jan에서 바로 사용할 수 있다.

여타 오프라인 챗봇처럼 CPU만으로도 구동이 가능하지만, LM Studio처럼 Vulkan • OpenCL은 지원하지 않는다. Jan 같은 경우 현재 GPU 가속은 NVIDIA CUDA만 지원한다. 고로 AMD/INTEL 내장 GPU 사용자는 Vulkan GPU 가속을 지원하는 LM Studio를 사용하는 게 더 낫다(『무료 오프라인 AI 챗봇 | LM Studio』).

Jan 특징

• 오프라인 운영: Jan은 사용자의 컴퓨터에서 완전히 오프라인으로 작동. 이는 사용자에게 완전한 제어권과 프라이버시를 제공
• Cortex 엔진: Jan은 Cortex라는 로컬 AI 엔진 사용. 이 엔진은 NVIDIA GPU와 Apple M 시리즈를 포함한 다양한 아키텍처 지원
• 다중 플랫폼 지원: MacOS, Windows, Linux 운영 체제에서 사용 가능
• 다양한 LLM 지원: Llama, Gemma, Mistral, Qwen 등 인기 있는 대규모 언어 모델(LLM)을 포함한 모델 라이브러리 제공
• 확장성: 사용자 정의를 위한 확장 기능 제공
• 원격 AI API 연결: Groq, OpenRouter 등의 원격 AI API와 연결
• 로컬 API 서버: OpenAI와 동등한 API 기능을 가진 로컬 API 서버 포함
• 사용자 친화적: 비전문가도 쉽게 LLM을 다운로드하고 실행할 수 있도록 설계

Jan 다운로드

github.com/janhq/jan/releases
┗ Mac OS, Linux, Windows

Jan 간단하게 살펴보기

설치 후 처음 실행하면 LLM을 내려받아야 한다. 잘 모르면 일단 시작 화면에 표시되는 추천 모델을 사용해도 된다.

다른 모델을 검색하고 싶다면, 왼쪽 탭에 있는 ‘HUB’ 버튼을 클릭하면 여러 모델을 검색하고 내려받을 수 있다. 아래와 같은 알림이 표시되지 않는 모델이 본인 PC에서 원활하게 구동되는 모델이다. 이래서 32GB 램을 산 것인데, 아쉽게도 인식 불가!!!

[Slow on your deice]: 사용할 수 있지만, 램 부족으로 느려질 수 있음

[Not enough RAM]: 램 부족으로 사용 불가능한 모델

LM Studio 같은 다른 LLM 프로그램을 사용 중이라면, PC에 있는 .gguf 등의 모델 파일을 Jan에서 바로 사용할 수 있다. 이렇게 하는 것이 디스크 공간도 절약할 수 있어 좋다.

[설정] ▶ [My Models] ▶ [Import Model] 메뉴를 통해 PC에 있는 모델 파일을 불러올 수 있다.

이때 [Keep original Files & Symlink]을 선택하면 모델 파일을 Jan 모델 폴더로 이동하는 대신 심볼릭 링크를 생성한다. 반면에 [Move model binary file]을 선택하면 모델 파일을 Jan 모델 폴더로 이동한다. 이렇게 하면, 해당 모델 파일을 사용 중인 다른 LLM 도구에서 모델 파일 경로를 다시 설정해 줘야 한다.

불러오기가 완료되면 [Active]해주면 된다.

다른 LLM 도구와 모델 파일을 공유하므로 이미 사용 중인 LLM 도구와 성능을 비교하기가 쉽다. 그렇게 해서 빠른 응답 속도를 보이는 LLM을 사용하면 될 것이다.

다만, 서두에서도 말했듯 AMD/INTEL 내장 GPU 사용자는 Vulkan API를 지원하는 LM Studio를 추천한다.

비록 보잘 것 없지만 광고 수익(Ad revenue)은 블로거의 콘텐츠 창작 의욕을 북돋우는 강장제이자 때론 하루하루를 이어주는 즐거움입니다