AI 립싱크 비디오 제작 도구 | Wav2Lip

무료 립싱크 제작 도구

Wav2Lip은 「AI 디지털 캐릭터 제작 도구 | SadTalker」처럼 사람이 말하는 동영상을 제작할 수 있는 AI 립싱크 도구이다.

이미지 소스 + 음성 = 이미지가 말하는 동영상

HoYoverse 게임 중 (출시된 지 조금 오래된) 원신과 (작년에 출시된) 붕괴 스타레일에서 더빙이 포함된 이야기가 진행될 때 음성과 입 모양을 보면 큰 차이를 보인다. 원신 같은 경우 더빙과 입 모양이 전혀 맞지 않지만, 붕괴 스타레일은 실사영화를 보는 것처럼 잘 들어맞는다. 아마도 붕괴 스타레일엔 원신엔 적용하지 않은 Wav2Lip • SadTalker 같은 AI 립싱크 기술이 적용된 것 같다.

아무튼 이제 이런 고급스러워 보이는 기술도 (게임 • 애니메이션 등에서 상업적으로 사용하는 기술과는 디테일 • 품질 차이는 있지만) 일반 사용자들도 사용해 볼 수 있는 시대다.

Wav2Lip 오프라인 버전 다운로드

출처 1: https://github.com/Rudrabha/Wav2Lip
출처 2: 数字人说话工具Wav2Lip离线版更新日志

Wav2Lip 오프라인 버전: 다운로드
(v1.0: CPU 사용자도 사용 가능, v1.1: CUDA 필수)

---

Google Colab Notebook(잘 안되는 듯)

Wav2Lip 사용하기

압축 해제하고 数字人说话工具Wav2Lip离线版V1.0.exe 실행.

① 동영상, 이미지 소스 선택
② 음성 선택
③ 결과물이 저장될 폴더 선택
④ 프레임(fps) 설정
⑤ 平滑开启(부드러운 오프닝)
⑥ 人脸修复(얼굴 복원)
끝으로 [开始生成](생성 시작) 누르면 작업이 시작된다.

주의할 것은 작업에 사용하는 파일 및 폴더 경로에 중국어, 한글, 공백이 있으면 안 된다는 것!

참고로 Wav2Lip 오프라인 버전은 github의 소스로 제작한 윈도우용 Wav2Lip이다. 본인의 PC 사양이 낮다면, Google Colab Notebook에서도 사용할 수 있고(본인은 실패), 버전 1.0은 CPU 사용자도 사용할 수 있고, V1.1은 CUDA 필수다.

Wav2Lip 테스트 결과 1

압축 파일 안에 포함된 测试音频.wav, test.jpg 파일로 만든 동영상이다.

Wav2Lip 테스트 결과 2

왼쪽이 Wav2Lip, 오른쪽이 SadTalker 결과물이다(같은 소스로 만듬).

Wav2Lip는 음성에 따라 오직 입술만 움직이는 것과는 달리 SadTalker는 미묘하게 표정도 변화한다.

마무리

‘테스트 결과 2’에서 본 것과 같이 Wav2Lip보다는 SadTalker의 결과물이 좀 더 자연스러워 보인다. Wav2Lip는 입술 모양만 변화시키는 기술인 반면에 SadTalker는 표정 변화도 모형화하기 때문이다. 또한, Wav2Lip은 Google Colab Notebook에서 구동하는 데 실패했지만, SadTalker은 성공했다.

그런 고로 더빙, 립싱크, 캐릭터가 말하는 동영상 제작 등에는 Wav2Lip보다는 SadTalker를 추천!