오픈 소스 오프라인 AI 챗봇 | RWKV-Runner

무료 오프라인 AI 챗봇

RWKV-Runner는 RWKV라는 오픈 소스이자 상업적으로 사용할 수 있는 대규모 언어 모델을 관리하고 사용할 수 있는 자동화된 도구이다. OpenAI API와 호환되는 인터페이스를 제공하므로 ChatGPT 클라이언트로도 사용할 수 있다고 한다.

쉽게 말해 RWKV 언어 모델을 적용한 오프라인 AI 챗봇.

윈도우를 비롯해 리눅스, Mac에서 사용할 수 있으며 챗봇 성능은 GPU 성능과 비례한다. 다행인 것은 NVIDIA가 아닌 AMD, INTEL 내장/외장 GPU에서도 사용할 수 있다는 것인데, 내장 GPU에서도 생각보다 괜찮은 성능을 보여준다.

참고로 사용법이 조금 더 쉽고 하드웨어 제약은 더 적은 「다양한 하드웨어 지원하는 AI 텍스트 생성 도구 | Koboldcpp」도 무료로 사용할 수 있다는 것!

RWKV-Runner 특징

• RWKV 모델 관리 또는 원클릭 시작
• 클라이언트를 사용하지 않으려는 경우 프런트엔드와 백엔드 분리를 통해 프런트엔드 서비스, 백엔드 추론 서비스, 또는 WebUI를 사용하는 백엔드 추론 서비스를 별도로 배포 가능. 간단한 배포 예 | 서버 배포 예
• OpenAI API와 호환되어 모든 ChatGPT 클라이언트를 RWKV 클라이언트로 사용 가능. 모델을 시작한 후 http://127.0.0.1:8000/docs를 열어 자세한 내용을 확인
• 가벼운 실행 프로그램만 필요한 자동 종속성 설치. • 사전 설정된 다중 레벨 VRAM 구성은 거의 모든 컴퓨터에서 작동. 구성 페이지에서 전략을 WebGPU로 전환하면 AMD, Intel 및 기타 그래픽카드에서도 실행 가능
• 사용자 친화적인 채팅, 완성 및 구성 상호 작용 인터페이스가 포함되어 있음. 또한 채팅 사전 설정, 첨부 파일 업로드, MIDI 하드웨어 입력 및 트랙 편집 지원. 미리보기 | MIDI 하드웨어 입력
• 내장된 WebUI 옵션, 원클릭 웹 서비스 시작, 하드웨어 리소스 공유. • 다양한 작동 안내 프롬프트와 함께 이해하기 쉬운 매개 변수 구성 및 작동
• 내장형 모델 변환 도구
• 내장된 다운로드 관리 및 원격 모델 검사
• 원클릭 LoRA Finetune 내장(윈도우에만 해당)
• OpenAI ChatGPT, GPT-Playground, Ollama 등의 클라이언트로도 사용 가능(설정 페이지에서 API URL과 API Key를 입력)
• 다국어 현지화
• 테마 전환
• 자동 업데이트

RWKV-Runner 다운로드 한국어판

RWKV-Runner 홈페이지

RWKV-Runner: 다운로드

한국어판(v1.7.8): 다운로드

Python: 다운로드

---

자주 묻는 질문: 링크

RWKV-Runner 사용하기

한국어판을 실행한 다음 [구성]에서 언어를 [일본어]로 변경하면 한국어 인터페이스를 사용할 수 있다. 업데이트하면 다시 영어 메뉴로 돌아가니 한국어판을 계속 사용하고 싶다면, 자동 업데이트는 끄고 사용하자.

한국어판 새 버전이 필요하다면, 댓글로 요청을...

RWKV-Runner를 처음 실행하면, Python 등의 시작 환경을 구성한다(Python 설치를 요구할 수도 있음).

메인 화면 로딩이 완료되면, 처음으로 해야 할 일은 내 PC에 맞는 모델을 선택하는 것이다. 예를 들어, GPU-8G-3B-World 모델은 Nvidia 그래픽카드에 사용되며 8G 그래픽 메모리가 필요하고 모델 크기가 30억 매개 변수이며 World 모델이 사용된다는 의미이다. GPU 메모리 요구치가 높은 모델일수록 모델 파일 크기고 크고 성능도 좋을 것이다. NVIDIA 사용자가 아니라면 AnyGPU 모델을 사용하면 된다.

내 노트북에 장착된 Ryzen 3 5300U의 경우 AnyGPU-4G-3B-World 모델까지는 잘 작동하는 것 같았고, 그보다 상위 모델은 AnyGPU-7G-7B-World 모델은 구동 중 화면이 껌벅이면서 AMD 오류 보고서를 방출한 것으로 보아 역부족인 것으로 보인다.

모델을 선택하고 [RUN](실행) 버튼을 클릭하면 (처음 사용하는 모델이라면) 모델 다운로드 메시지가 뜬다. 모델 다운로드를 완료하고 Convert(변환) 과정까지 완료해야 RWKV 챗봇을 사용할 수 있다.

RWKV AI 챗봇의 한국어 능력은 OpenAI 챗봇만큼 뛰어나지 않아 보인다. 물론 NVIDIA GPU 모델에선 어떨지 알 수는 없지만, AnyGPU-4G-3B-World 모델(2G 모델 포함)의 경우 AI 챗봇에 뭔가를 물어볼 땐 한국어보단 영어를 사용하는 것이 정확한 답변을 얻는 가장 기본적인 팁이라 할 수 있겠다.

알다시피 AI 챗봇은 코딩도 척척 해낸다. 프로그래머가 아니라서 이렇게 생성된 코드가 정확한지는 알 수 없지만, 아무튼 프로그래머라면 AI 챗봇을 간단한 코딩 작성을 맡길 수 있는 조수로 활용할 수 있을 것 같다.

[늑대인간]이란 게임 완료 후 어시스턴트와 잡담을 나누는 모습.

어시스턴트는 서울에 늑대인간이 출몰할 수 없고, 그래서 윤석열 대통령은 늑대인간일 수 없고, 김건희는 한국에서 가장 유명한 사람 중 하나라고 말한다. 그런데 위의 마지막 답변이 정곡을 찌른다.

“김건희는 대한민국의 대통령으로서, 윤석열 대통령과 함께 국가를 이끌고 있습니다.”

한국에 두 명의 대통령이 있단다! AI의 통찰력은 가히 놀라운 수준이었다.

미디 기기와 연결해서 작곡/편곡도 할 수 있다고 하는데, 연결할 수 있는 미디 기기가 없어서 테스트할 수는 없었다.

이제 AI 챗봇도 오프라인으로...

이상 대충 살펴본 바와 같이 RWKV-Runner는 채팅, 글쓰기, 번역, 역할 게임(롤플레잉), 작곡, 코드 작성 등 OpenAI 챗봇에서 사용할 수 있는 거의 모든 기능을 오프라인으로 사용할 수 있다. AI 챗봇이 처음 등장했을 땐 대단한 PC에서 대단한 소프트웨어와 함께 구동되는 줄만 알았는데, 이제 AI 챗봇을 내 PC에서도 구동할 수 있다니. 오래 살고 볼 일이다.

아무튼, 한국어보단 영어로 대화하는 것이 좀 더 정확한 결과물을 얻는 데 유리하다는 것 잊지 말고, 또한 고급 사용자는 다양한 옵션을 조절해 가면서 원하는 결과물을 얻을 수 있는 최적의 설정을 찾아보는 것도 나쁘지 않을 것이다.