이미지 선명도와 디테일 향상 도구 | Clarity-Refiners-UI

이미지 향상 및 복원을 위한 AI 기반 업스케일링 플랫폼

GitHub의 Clarity-Refiners-UI는 이미지 향상 및 업스케일링을 위한 오픈 소스 프로젝트이다. 이 프로젝트는 Pinokio UI 프레임워크를 기반으로 하며, 기존 이미지 처리 알고리즘을 통합하고 최적화하여 사용자에게 이미지 품질을 쉽게 향상시킬 수 있는 플랫폼을 제공하는 것을 목표로 한다.

사용해 보면 알겠지만, 기존의 업스케일링 도구인 RealCUGAN, RealESRGAN, Waifu2x 등과 다른 점은 단순하게 해상도만 높이는 것이 아니라 손상된 픽셀을 창의적으로 복구해 주는 데 있다.

또한, Florence-2 모델을 사용해 이미지로부터 프롬프트를 생성하는 것도 가능하다.

Clarity-Refiners-UI 특징

1. 이미지 업스케일링
- 최대 4배까지 이미지 확대 가능
- 세밀한 이미지 향상 파라미터 제어
- 재현 가능성을 위한 시드(seed) 관리 기능

2. 기술적 특징
- Florence-2 통합으로 프롬프트 작성 용이
- GPU/CPU 사용량 모니터링
- 8GB VRAM 내에서 최적화된 성능
- Stable Diffusion 1.5 활용
- MultiDiffusion, ControlNet Tile 등의 기술 적용
- 다단계 업스케일링을 통한 디테일 보존

3. 사용자 편의 기능
- 자동 저장 및 수동 저장 옵션
- 출력 폴더 빠른 접근
- 배치 이미지 처리 지원

Clarity-Refiners-UI 다운로드

소스: https://github.com/pinokiofactory/clarity-refiners-ui

오프라인 설치: 다운로드 1/ 다운로드 2
┗ 오프라인 버전 출처: jian27.com

---

꿩 대신 닭: 「무료 이미지 업스케일링 모델 모음 | Final2x」

Clarity-Refiners-UI 사용하기

압축해제 후 启动.bat를 실행하면 http://127.0.0.1:7860 WebUI로 연결된다.

다른 이미지 업스케일링 도구와는 달리 프롬프트 사용이 가능하다.

CPU만으로도 사용은 가능하지만, Ryzen 3 5300U에서 사진 한 장 작업하는데 40~50분 정도 소용된다. RealESRGAN 같은 경우는 Vulkan API를 사용했을 때 70초 정도 소요.

Clarity-Refiners-UI for Colab

다행인 것은 app.py 몇 줄만 손보면 구글 Colab에서도 사용할 수 있다는 것.

Clarity-Refiners-UI for Colab ◀ 이 링크를 클릭해 Colab에 접속한다.

1. 런타임을 T4로 연결한다. 2. 패키지를 설치한다.

3. app.py 파일을 더블클릭하면 편집할 수 있는데, 여기서 아래 사항을 수정하고 변경 사항이 자동 저장될 때까지 몇 초 기다린다.

111, 126줄의 bfloat16 -> float16로 변경

마지막 줄 demo.launch(share=False) -> demo.launch(share=True)로 변경

app.py 파일이 저장되면 네 번째 코드를 실행한다. 코드가 성공적으로 실행되면, public URL 주소를 클릭하여 WebUI로 접속할 수 있다.

이제 NVIDIA Tesla T4 GPU(16GB 메모리)로 Clarity-Refiners-UI를 사용할 수 있다. 앞서 40~50분 걸린 작업도 여기선 1분이면 처리된다. 정말 구글 만세다.

Clarity-Refiners-UI 간단 테스트 1

첫 번째 테스트 사진은 「최진실 7주기, 2008년 10월 2일 스스로 생 마감…벌써 시간이」 문화일보 기사에 게재된 故 최진실 씨 사진을 골랐다. 아마 내 세대에겐 죽을 때까지 잊을 수 없는 배우라서 그런지 제일 먼저 복구하고 싶은 사진으로 가장 먼저 떠올랐다.

아무튼 RealESRGAN-x4plus와 비교해 보면 Clarity-Refiners-UI 결과물이 더 자연스럽게 복원된 것을 알 수 있다(특히 눈과 입술).

Clarity-Refiners-UI 간단 테스트 2

<동아일보, Public domain, via Wikimedia Commons>

두 번째 테스트는 「경성 축구단 단체 사진 1934」이라는 상당히 손상된 흑백 사진을 골랐다. 이렇게 만신창이로 손상된 옛 사진을 복구할 때 Clarity-Refiners-UI의 진가가 발휘되는 듯하다.

Clarity-Refiners-UI 간단 테스트 3

<사진&여행, CC BY 4.0, via Wikimedia Commons>

세 번째 테스트는 「9월 29일 LG 행복 나눔 페스티벌 (70)」 사진을 골랐다.

확실히 두 도구가 지향하는 바가 다르다는 것을 알 수 있다.

마무리

오늘 테스트로 알 수 있는 것은 RealESRGAN-x4plus 같은 경우는 원본을 최대한 유지하면서 업스케일링하는 것을 알 수 있고(그래서 손상된 픽셀도 손상된 채로 업스케일링), Clarity-Refiners-UI 같은 경우는 손상되었다고 판단되는 경우 AI가 상황에 맞게 다시 그리고 있는 것을 알 수 있다. 마치 미술품 복원하듯 사람이 손상된 부분을 상상하면서 복구하는 느낌?

두 도구 다 장단점이 분명하므로 무엇이 좋다고 평가할 수는 없다. 지금으로선 복구하고 싶은 사진이 있다면 두 도구 다 사용해 보고 가장 마음에 드는 결과물을 선택하는 것이 최선이지 않을까 싶다. 다만, 앞에서도 봤듯 손상이 심한 사진은 아무래도 Clarity-Refiners-UI가 나을 것이다.

비록 보잘 것 없지만 광고 수익(Ad revenue)은 블로거의 콘텐츠 창작 의욕을 북돋우는 강장제이자 때론 하루하루를 이어주는 즐거움입니다