영상을 애니메이션으로 변환 | DCT-Net

실사 동영상을 애니메이션으로 변환하는 간편한 오프라인 도구

DCT-Net(Domain-Calibrated Translation for Portrait Stylization)은 초상화를 스타일화하는 데 특화된 딥러닝 모델로 스타일 전이 기법을 활용하여 현실적인 초상화 이미지를 예술적으로 변환한다. 이상 AI 설명이었고, 쉽게 말해 DCT-Net은 실사 동영상을 애니메이션으로 변환하는 AI 도구.

DCT-Net WebUI는 네트워크 연결 없이 Windows에서 사용할 수 있는 DCT-Net 오프라인 도구인데, 테스트 결과 NVIDIA GPU 없이도 사용할 수 있었다. 간단하게 몇 번 클릭만으로 사진이나 동영상을 애니메이션 스타일로 변환할 수 있다.

DCT-Net에서 사용할 수 있는 스타일

일본 만화 스타일(日漫风格) --style anime

3D 스타일(3D风格) --style 3d

손으로 그린 ​​스타일(手绘风格) --style handdrawn

스케치 스타일(素描风格) --style sketch

아트 스타일(艺术风格) --style artstyle

SD 디자인 스타일(SD设计风格) --style design

SD 일러스트 스타일(SD插图风格) --style illustration

DCT-Net WebUI 오프라인 패키지 다운로드

테스트에 사용된 소스 출처: pixabay.com

오프라인 패키지 출처: jian27.com

오프라인 패키지: 다운로드1 / 다운로드2

DCT-Net WebUI 사용하기

내려받은 오프라인 패키지를 적당한 폴더(한글, 공백 없는 경로)에 압축 해제하고 运行.bat을 실행하면, 잠시 후 DCT-Net 웹 인터페이스가 열린다.

위쪽 칸은 사진 변환, 아래쪽 칸은 동영상 변환이고 [风格模型选择(스타일 모델 선택)]에서 원하는 스타일을 선택하고 [转绘图片(사진 변환)], 또는 [转绘视频(동영상 변환)]을 클릭하면 작업이 시작되는데, 사진 변환(아래 동영상 참고)의 경우 저사양 CPU로도 그럭저럭 사용할 수 있는 수준이지만, 동영상 변환의 경우 NVIDIA GPU가 없으면 아주아주 느긋하게 기다려야 할 것이다.

Colab에서 DCT-Net 사용하기

NVIDIA GPU 없는 사용자를 위해 무료 Colab에서 DCT-Net을 사용할 수 있는 코드를 작성해 봤다. 달랑 4줄짜리 코드여서 나 같은 프로그래밍의 ‘프’자도 모르는 사람도 우여곡절 끝에 완성할 수 있었다.

① Step 1을 시작하기 전에 런타임 유형을 T4로 전환

② Step 1 코드 실행(시간이 꽤 걸림)

③ [content] 폴더에 소스 영상 업로드(파일 이름 test.mp4)

④ Step 3 코드 실행

⑤ 작업이 완료되면 res.mp4 파일로 저장됨

* --style 뒤에 사용할 수 있는 모델은 anime, 3d, handdrawn, sketch, artstyle, design, illustration

이렇게 해서 1분짜리 영상까지 변환에 성공했는데, 긴 영상의 경우 중간에 연결이 끊겼다 이어지기를 몇 번 반복했다.

DCT-Net 테스트 1

DCT-Net 테스트 2

DCT-Net 테스트 3