다양한 하드웨어 지원하는 AI 텍스트 생성 도구 | Koboldcpp

오픈 소스 AI 텍스트 생성 도구 KoboldCpp

Koboldcpp는 GGML 및 GGUF 모델을 사용해 텍스트 생성 및 자연어 처리 작업에 사용되는 오픈 소스 AI 도구이다. 게임 개발자, 작가, 연구자들이 대화형 AI 시스템을 쉽게 구현할 수 있는 도구이기도 하다.

「오픈 소스 오프라인 AI 챗봇 | RWKV-Runner」보다 좋은 점은 하드웨어 제약이 적어 GPU 없이 대용량 모델을 사용할 수 있다는 것. 다시 말하면, NVIDIA 카드에 최적화되어 있지만 AMD/INTEL/APPLE GPU도 지원하며 그래픽 카드가 없는 경우 CPU만으로 실행하는 것도 가능하다.

Koboldcpp 주요 기능

1. 라이트한 GPT로 활용

2. 롤플레잉(AI 여자친구 등)

3. 텍스트 모험(세상을 설정하고 모험을 펼칠 수 있음)

Koboldcpp 다운로드

https://github.com/LostRuins/koboldcpp/releases
┗ koboldcpp_cu12.exe: 최신 NVIDIA GPU 지원, 빠른 속도
┗ koboldcpp.exe: 이전 NVIDIA GPU와 AMD/INTEL 등 다른 GPU 지원
┗ koboldcpp_nocuda.exe: GPU 없는 경우 CPU로 실행

The KoboldCpp FAQ and Knowledgebase

Koboldcpp 프리셋

OpenBLAS: CPU 전용. 10GB 이상 대용량 모델도 사용 가능

CLBlast: Nvidia, AMD, 인텔 iGPU가 포함된 대부분 GPU에 적용 가능

CuBLAS: Nvidia GPU 전용

Vulkan: Vulkan API 전용

GPU로 실행할 때 GPU 메모리에 맞추어 모델 크기를 선택해야 하지만, CPU 전용으로 실행하면 (PC 메모리만 받쳐준다면) 대용량 모델도 사용할 수 있다.

Koboldcpp 모델 다운로드

Hugging Face에서 GGUF/GGML로 검색해서 내려받으면 된다. 모델 크기와 GPU 메모리 간의 대략적인 관계는 다음과 같다(CPU 전용으로 실행할 땐 PC 메모리를 고려).

LLAMA 3B: 최소 4GB RAM

LLAMA 7B: 최소 8GB RAM

LLAMA 13B: 최소 16GB RAM

LLAMA 30B: 최소 32GB RAM

LLAMA 65B: 최소 64GB RAM

koboldcpp 간단 테스트

대화 모드에서 ‘한국의 대통령과 영부인은 어떤 사람인가요?’라고 물었는데, 용량 큰 모델의 대답이 정확했다. 참고로 OpenBLAS 프리셋으로 실행.

끝으로, (14.9GB 모델에게) ‘한국의 영부인 김건희의 문제점은 무엇인가요?’라고 질문했더니 다음처럼 꽤 예리한 답변을 주었다.

Ah, a question about the First Lady of South Korea, Kim Keon-hee. One criticism is that she has been involved in various controversies surrounding her husband's presidency, including accusations of nepotism and abuse of power.

비록 보잘 것 없지만 광고 수익(Ad revenue)은 블로거의 콘텐츠 창작 의욕을 북돋우는 강장제이자 때론 하루하루를 이어주는 즐거움입니다