그래픽 카드/GPU 필요 없는 AI 페인팅

그래픽 카드/GPU 필요 없는 AI 페인팅 | stable diffusion x Colab

<AI 페인팅 [img2img] 결과물(좌), 원본(우)>

그래픽 카드 필요 없는, 휴대폰에서도 사용할 수 있는 AI 페인팅

AI 페인팅이 인기다. 그리고 해보면 감상하는 재미가 있고 빠지면 시간 가는 줄도 모를 정도로 중독성도 은근하다. 하지만, 「AI 페인팅 NovelAI WebUI 통합 패키지 한국어판」에서 소개했듯 AI 페인팅을 사용하기 위해선 어느 정도 사양 이상의 PC가 필요하다. 제대로 사용하려면 고가의 외장 GPU는 필수다. 하지만, ‘stable diffusion x Colab’을 사용하면 인터넷을 사용할 수 있는 모든 PC에서, 그리고 인터넷을 사용할 수 있는 모든 휴대폰에서도 AI 페인팅을 쾌적하게 사용할 수 있다.

이것이 가능한 이유는 구글이 제공하는 클라우드 컴퓨팅인 Colaboratory(줄여서 'Colab'이라고 함)을 통해 브라우저 내에서 stable diffusion x Python 스크립트를 실행할 수 있기 때문.

구글에서 무료 사용자가 Colab에서 Stable Diffusion을 실행하는 것을 차단
단, 유료 사용자는 계속 사용 가능

2024/09/17:「Colab 사용할 수 있는 Stable Diffusion | Fooocus」

2023/08/22: 역시 GPU 없이 사용할 수 있는 「Photoshop AI 페인팅 플러그인 | Alpaca」가 현재 무료 베타 테스트 중
2023/09/11: Stablediffusion XL 체험, www.stablediffusionai.ai
2023/12/05: 「속도 향상된 AI 페인팅 모델 TurboVisionXL」(CPU만으로 사용 가능)

stable diffusion x Colab 특징

간편한 공유
12G 메모리와 15G 비디오 메모리 사용 가능
그래픽 카드 필요 없음
휴대폰도 사용할 수 있음

stable diffusion x Colab 시연 동영상

stable diffusion x Colab 시작하기

대략적인 흐름은 위 동영상을 참고하면 되고, 이 글에선 간단하게 ‘stable diffusion x Colab’ 구동하는 방법 정도만 다룰 것이다. 왜냐하면 난 AI 페인팅 사용법을 잘 모르기 때문이기도 하지만, ‘AI 페인팅’ 및 ‘NovelAI WebUI’ 관련 문서가 구글에 널려 있으니 깊이 있는 사용법은 그런 문서들을 참고하면 충분할 것이다.

https://github.com/s4afa451dgf415f/colab_stable_diffusion

일단 위 사이트에 접속해 [Open In Colab]을 클릭하면 Stable Diffusion WebUI Python 스크립트가 Colab에서 실행된다.

[点击播放按钮一键运行再点击左侧图标展开(재생 버튼을 클릭하면 원클릭으로 실행되며, 왼쪽 아이콘을 클릭하시면 확장)] 바로 아래에 있는 [재생] 버튼을 클릭하면 stable diffusion 스크립트가 구글 Colab에서 실행된다.

경고는 당연히 무시해야 하는데, 만약 찜찜하다면 주 계정이 아니라 보조 계정을 사용하도록 하자.

스크립트 실행 과정이 정상적으로 진행되면 구글 드라이브 연결 요청을 요구하는데 이것도 허락해주자. 구글 드라이브엔 Model 관련 설정 파일(json)이 저장된다.

[4. 运行/重启(실행/재시작)] 스크립트까지 실행이 완료되면(첫 실행 시 대략 10분 정도 소요), Running on local URL, Running on public URL, 두 개의 링크가 주어지는데, [public URL] 링크를 클릭하면 Stable Diffusion WebUI에 접속할 수 있다(재실행할 때마다 랜덤하게 변경된다).

가장 먼저 해야 할 일은 Stable Diffusion WebUI 인터페이스 언어를 영어/한국어로 변경하는 것이다.

(구글 번역 기준) [확장] -> [설치됨]에서 중국어 언어팩을 선택 해제하고 [UI 적용 및 다시 시작]하면 된다. 한국어 언어팩은 아래 언어팩 주소를 [URL에서 설치]로 추가할 수 있으나 제대로 적용되지는 않는다.
https://github.com/36DB/stable-diffusion-webui-localization-ko_KR

stable diffusion x Colab, AI 페인팅

stable diffusion x Colab으로 간단하게 AI 페인팅을 체험해봤다. 작업하기 전에 [SD VAE]를 'automatic'에서 'kl-f8-anime2.ckpt'로 변경하자.

테스트에 사용한 이미지는 Stable Diffusion WebUI 관련 정보를 찾을 수 있는 civitai에서 받은 PNG 파일이다(이미지 링크).

이미지 정보 오른쪽 아래에 보면 [txt2img] 페인팅 작업에 사용할 수 있는 [Prompt], [Negative prompt] 정보가 표시되어 있다. [txt2img] 작업할 때 이 값을 그대로 사용해도 된다.

civitai에서 받은 PNG 파일을 Stable Diffusion WebUI의 [PNG Info] 탭으로 드래그 앤드 드롭하면 [Prompt], [Negative prompt]가 함께 입력된다(JPG 파일은 안 됨).

[Send to txt2img]를 클릭해 페인팅 작업으로 들어가자.

Prompt, Sampling method 등의 설정값을 적당히 변경하고 [Generate]를 클릭하면 AI 페인팅 작업이 시작되고, [Save] 메뉴를 통해 결과물을 내 PC로 내려받을 수 있다.

stable diffusion x Colab, Model 추가

스크립트 실행 화면 제일 아래를 보면 [常用模型下载地址(일반적으로 사용되는 모델 다운로드 주소)]가 있다(Checkpoint, Lora로 구분). 이것을 2.1、[增删改查mod/选择预下载的mod集合(모드 추가, 삭제, 수정 및 확인/사전 다운로드된 모드 컬렉션 선택)] 코드를 통해 원하는 모델을 추가하거나 삭제할 수 있다(아래 동영상 후반부 참고).

모델 설정이 완료되었으면, 바로 아래에 있는 [下载所有mod]를 실행해(재생 버튼 클릭) 모델을 다운로드할 수 있다(내 PC가 아닌 Colab으로).

만약 모델 추가/삭제 작업이 매끄럽지 못하다면, 구글 드라이브에 있는 모델 설정 파일(json)을 직접 수정해도 된다. 수정이 완료되면, stable diffusion x 스크립트를 중지하고 다시 시작하면 적용될 것이다.

끝으로 Google Colab은 계정당 약 4~6시간 사용할 수 있다고 한다. 더 많이 사용하고 싶다면, 그만큼 구글 계정을 더 많이 가지고 있으면 된다.