무료 애니메이션 업스케일링 | Squirrel-RIFE

비디오 프레임 보간(Video Frame Interpolation) 지원

<프레임 보간 기능은 NVIDIA GPU 필요!!!>

Squirrel Anime Enhance는 「무료 무손실 이미지 확대 및 복원 도구 | Real-ESRGAN」에서 소개한 적이 있는 이미지 복원/향상 알고리즘인 Real-ESRGAN를 사용해 애니메이션 동영상 화질을 향상하는(업스케일링) 프로그램이다. 이미지 및 동영상 업스케일링은 Real-ESRGAN로도 할 수 있지만, 알다시피 Real-ESRGAN은 명령 프롬프트 기반이라 초보자가 사용하긴 다소 어렵다. 그에 반해 Squirrel Anime Enhance는 GUI 기반이라 사용법이 간단하다.

사실 Squirrel Anime Enhance의 가장 큰 장점은 이미지 업스케일링이 아니라 비디오 프레임 보간(Video Frame Interpolation) 기능이다. 프레임 보간 기능은 정확한 모션 추적 및 분석 기술을 사용해 동영상 프레임 속도를 올리는 것인데, 예를 들면 25프레임 영상을 60프레임으로 올리면서 초고화질 시대에 걸맞은 부드러운 고품질 영상을 제작할 수 있다. 하지만, 아쉽게도 이 기능은 NVIDIA CUDA에서만 작동하는 것 같아 테스트할 수는 없었다.

그래서 오늘은 간단하게 일본 애니메이션 「내 청춘의 아르카디아 무한궤도 SSX(내 청춘의 아르카디아 무한궤도 SSX)」 DVD 버전 중(716x524)에서 1분 정도의 영상을 업스케일링(1432x1048)했다.

Squirrel Anime Enhance 다운로드

무료 버전: github.com/Justin62628/Squirrel-RIFE/releases

유료 버전: store.steampowered.com/app/1692080/SVFI

Squirrel Anime Enhance 사용법

Squirrel Anime Enhance 무료 버전은 3.20.4을 끝으로 업데이트가 끊겼지만, 프레임 보간, 동영상/이미지 업스케일링, 화질 향상(AI Super Resolution) 등의 기능은 여전히 사용할 수 있다. 다만, Real-ESR 등의 모델 버전은 유로 버전보다 낮을 수 있겠다.

Squirrel Anime Enhance 사용법은 다음과 같다.

① 동영상/이미지 추가
② (Advanced Option 클릭 후) 내보낼 해상도 설정, 200%(두 배), 300%(세 배) 등등
③ 작업에 사용할 GPU 선택(내장 GPU도 가능), Super Resolution Algorithm 선택, Super Resolution Model 선택
④ 결과물을 저장할 폴더 선택
⑤ 결과물 동영상 품질 선택
⑥ 작업 시작

애니메이션 업스케일링 결과물 비교

위 동영상은 원본(716x524), 아래 동영상(1432x1048)은 작업 결과물이다.

1분 12초 동영상을 ‘해상도 두 배(200%), ncnnRealESR, realesr-animevideov3-x2, 내보내기 품질 최고’로 설정했을 때 Ryzen3 5300U에서 대략 한 시간 정도 걸린 것 같다. 동영상 품질은 눈에 띄게 향상되었지만, 생각보다 시간이 오래 걸린다. 제대로 사용하려면 다른 AI 기술들과 마찬가지로 고성능의 NVIDIA GPU가 필요할 것이다.

TV 드라마 업스케일링 결과물 비교

이번엔 오래된 드라마에 적용해 봤다(위 원본, 아래 결과물). Real-ESRGAN 기술 자체가 애니메이션에 특화된 것이라 그런지 쪼금 어색하다.