무료 무손실 이미지 확대 및 복원 도구 | Real-ESRGAN

<Real-ESRGAN에서 제공한 샘플 사진>

출처: github.com/xinntao/Real-ESRGAN

Real-ESRGAN은 저화질 이미지를 고화질로 복원해주는 무료 이미지/영상 화질 향상 도구다. 「바이두 AI, 오래된 사진 무료 복구 이벤트」에서도 봤듯, AI 이미지 복원 기술은 실생활에서 쉽게 체험할 수 있는 대표적인 인공 지능 기술 중 하나다. 오래된 사진을 소중하게 간직하고 있는 사람에겐 추억을 상기하는 달콤한 시간과 함께 인공 지능의 가능성 앞에 탄복하는 기회를 주기에 충분하다.

그래서 간단하게 이미지 확대 및 복원 도구인 Real-ESRGAN를 테스트해봤는데, 사진보다는 저화질 애니메이션 이미지 복원에 탁월한 성능을 보여주었으며, 특히 DVD나 VHS 수준의 저화질 애니메이션 동영상을 고화질 동영상으로 탈바꿈시키는 기적도 가능하다. 다만, 프리미어 같은 동영상 전문 편집 프로그램의 필터 효과처럼 애니메이션 동영상 파일 전체에 복원 기술을 적용하는 간단한 방법이 아니라 일단 동영상을 프레임 단위로 각개격파 한 다음 (쉽게 말해 압축 해제) 이렇게 쪼개진 이미지 파일 하나하나에 복원 효과를 적용한 후 다시 동영상으로 합치는, 매우 더디고 번거로운 과정을 거쳐야 한다. 하지만, 그렇게 어렵지는 않고 다만 시간이 오래 걸릴 뿐.

Real-ESRGAN의 복원 기술은 GPU 가속을 이용하므로 빵빵한 GPU를 가진 사람이라면, 오래된 애니메이션을 복원해보는 것도 괜찮을 것 같다. 꼭 애니메이션이 아니더라도 각자의 관심과 취미에 따라 응용은 다양하다.

Real-ESRGAN은 기본적으로 명령 프롬프트 기반이고, 이것을 윈도우 사용자에게 익숙한 GUI 기반으로 빌드한 것이 图片画质增强器이다.

Real-ESRGAN 다운로드

Real-ESRGAN Release

---

图片画质增强器 v1.1(공유 암호: 1d6q | 출처: www.chenbo.info)

---

명령 프롬프트 기반의 Real-ESRGAN 사용이 어렵다면, 동영상 업스케일링은「무료 애니메이션 업스케일링 | Squirrel-RIFE」추천!

Real-ESRGAN, 저화질 이미지 고화질로 복원하기

명령 프롬프트 기반이 두려운 사람이라면, GUI 기반인 图片画质增强器(이미지 화질 향상기)를 사용하면 된다.

①[选择图片](이미지 선택) 메뉴로 복원할 사진을 불러온 다음 ②[处理模式](프로세싱 방식) 중 [默认](기본)이나 [TTA模式](TTA 모드)] 중 하나를 선택한 다음 ③[开始处理](프로세스 시작)으로 복원 작업을 시작하면 된다.

명령 프롬프트에선,

realesrgan-ncnn-vulkan.exe -i input.jpg -o output.png –n 모델 이름

(input.jpg: 복원할 사진, output.png: 복원 완료된 파일)

으로 복원할 수 있으며, 모델 이름을 지정하지 않으면 기본값인 realesrgan-x4plus 모델을 사용한다.

realesrgan-x4plus(기본값)

realesrnet-x4plus
realesrgan-x4plus-anime(애니메이션 이미지에 최적화, 작은 모델 크기)

RealESRGANv2-animevideo-xsx2(애니메이션 비디오, X2)

RealESRGANv2-animevideo-xsx4(애니메이션 비디오, X4)

기타 자세한 것은 github에서, 혹은 –h 옵션으로 도움말을 확인할 수 있다.

동영상엔 애니메이션 「소년탐정 김전일」 1화 중 캡처한 미유키를 복원하는 과정을 담았다.

이미지 복원 테스트

앞에서도 말했듯 Real-ESRGAN은 저화질 애니메이션 복원에 탁월.

내 노트북(Ryaen 3 5300U)에선 위의 104KB짜리 이미지를 기본값(realesrgan-x4plus)으로 복원하는데 3분 45초 정도가 걸렸다(복원 후 파일 크기는 17.5MB). 복원할 사진의 크기가 클수록 작업 완료 시간은 훨씬 길어진다.

영화 「우부메의 여름(姑獲鳥の夏), 360p」 중 한 컷을 기본값으로 복원해봤다(44KB >> 7.5MB).

애니메이션과는 달리 저화질 영화 이미지에선 아주 큰 화질 향상 효과를 기대하기는 어려워 보인다.

이번엔 commons.wikimedia.org에 공개된 DDT spray at Gyeongseong Station(경성역 DDT 스프레이) 사진을 역시 기본값으로 복원해봤다(31.6KB >> 2.94MB). 지글지글한 노이즈게 깔끔하게 제거된 것이 봐줄 만하다.

Real-ESRGAN의 복원 기술을 적용할 수 있는 콘텐츠 중 내가 요긴하게 사용할 수 있는 것이 바로 스캔한 문서다.

흐릿했던 글자가 복원 과정을 거치니 타자한 문서처럼 가독성이 향상되었다(754KB >> 9.57MB). 이처럼 가독성이 높아지면 OCR 인식률도 높아지므로 나처럼 전자책을 직접 제작하는 사람들에게도 Real-ESRGAN은 활용도가 높다.

애니메이션 복원하기

Real-ESRGAN으로 저화질 애니메이션 영상을 고화질 애니메이션 영상으로 복원하는 것도 가능하고, 무작정 README_windows.md에 적힌 [Commands for enhancing anime videos] 설명대로 해봤더니 깔끔하게 성공했다.

오래된 애니메이션을 소중하게 보관 중인 마니아는 이런 식으로 일종의 ‘디지털 리마스터링’ 작업을 거쳐 새로운 화질로 복원이 가능할 것이다.

복원 작업을 시작하기 전에 ffmpeg을 사용할 수 있도록 Path 설정이 되어 있으면 좋으며, 복원 과정은 다음과 같다.

1. 영상을 프레임 단위로 압축 해제할 ‘tmp_frames’와 복원 작업을 완료한 프레임들이 저장될 ‘out_frames’ 폴더를 미리 생성한다.

2. 아래 명령어로 onepiece_demo.mp4 영상을 tmp_frames 폴더에 프레임 단위로 압축 해제한다.

ffmpeg -i onepiece_demo.mp4 -qscale:v 1 -qmin 1 -qmax 1 -vsync 0 tmp_frames/frame%08d.png

3. tmp_frames 폴더에 있는 이미지에 복원 기술을 적용하고 out_frames 폴더에 저장한다(옵션은 필요에 따라 사용자가 변경해도 된다).

realesrgan-ncnn-vulkan.exe -i tmp_frames -o out_frames -n RealESRGANv2-animevideo-xsx2 -s 2 –f jpg

4. out_frames 폴더의 사진을 x264 코덱을 사용해 23.98프레임의 동영상으로 인코딩한 다음 output_w_audio.mp4로 저장한다. 음성은 onepiece_demo.mp4의 것을 그대로 가져온다.

ffmpeg -i out_frames/frame%08d.jpg -i onepiece_demo.mp4 -map 0:v:0 -map 1:a:0 -c:a copy -c:v libx264 -r 23.98 -pix_fmt yuv420p output_w_audio.mp4

위에서 설명한 방법으로「소년탐정 김전일」 1화 중 10초 정도를 복원해봤다.

딱 보면 알 수 있듯 위 첫 번째 동영상이 복원 전 동영상이고, 두 번째 동영상이 복원 후 동영상이다(음성은 삭제).

끝으로 스캔본 만화책 같은 경우도 Real-ESRGAN은 좋은 결과물을 만들어낸다. 자세한 것은 다음 글 참고, 「만화책 업스케일링을 위한 무료 도구 추천」