하드 자막 무료 추출 도구 | GVS

pyVideoTrans에서 일부 기능만 추출

「자막 생성, 번역, 더빙을 한 번에 | pyvideotrans」 소개 이후 (그 글이 완전 쓸모없을 정도로) pyVideoTrans는 엄청난 발전을 거듭했다. 인터페이스는 몰라보게 업그레이드되었고 기능도 추가되었고 그에 따라 설치 용량도 증가했다. 하지만, pyVideoTrans 정식 풀 버전을 제대로 사용하려면 CUDA를 지원하는 GPU가 필요하다. 여러모로 저사양 PC 사용자에겐 부담스러운 도구다.

그래서 pyVideoTrans 개발자가 저사양 사용자를 위해 Google의 Gemini(gemini-2.0-flash-exp, gemini-1.5-flash 모델)와 ZhipuAI MaaS 플랫폼의 BigModel API(glm-4v-flash 모델)를 사용하는 하드 코딩 자막 추출 도구와 자막 번역 도구를 별도로 공개했다. 사용자는 Gemini와 BigModel의 무료 API 할당량을 사용해 pyVideoTrans의 일부 기능을 간편하게 사용할 수 있게 되었다.

pyVideoTrans 다운로드

하드 자막 추출 도구 GVS: 다운로드 | 공식 문서
AI 자막 번역 도구: 다운로드 | 공식 문서

기타 도구: 「동영상 자체에 입혀져 있는 자막 추출하기 #3」

GVS로 동영상에 입힌 자막 추출

① 자막 추출한 동영상 선택, ② 자막 위치 선택(하단, 상단, 중간, 전체), ③ API 선택, ④ 모델 선택, 마지막으로 ⑤ [시작] 버튼 클릭하면 자막 추출 작업이 시작된다.

제미나이 같은 경우 무료 할당량이 많은 gemini-1.5-flash 모델을 사용하는 것이 좋으며 ‘자막 위치’는 ‘전체’를 선택하는 것이 인식률이 높지만 대신 시간이 많이 소요된다.

Zhipu AI 플랫폼 API 키 얻기: https://bigmodel.cn/usercenter/proj-mgmt/apikeys

Gemini API 키 얻기: https://aistudio.google.com/app/apikey

Gemini를 사용하는 경우 거의 모든 자막 언어 인식이 가능하고, glm-4v-flash 모델을 사용하면 영어와 중국어 자막만 인식이 가능하다.

일단 Gemini로 중국 드라마에 입힌 한국어 자막을 추출해 봤는데, OCR 과정에서 온전하게 인식된 자막이 마지막 정리 과정에서 삭제되는 문제가 있었다.

gemini-2.0-flash-exp vs glm-4v-flash

중국어 자막이 입힌 중국 드라마 「故乡的泥土(고향의 흙)」 중 10분 정도를 gemini-2.0-flash-exp 모델과 glm-4v-flash 모델을 사용해 자막을 추출해 봤다. 자막 위치는 전체를 선택했으며 자막 생성 시간은 gemini보단 glm이 조금 더 빨랐다.

자막 인식률은 둘 다 나쁘지는 않은 듯 보이지만, 대화가 빠르게 진행되는, 즉 길이가 짧은 자막이 빠르게 넘어가는 구간의 경우 빠트리는 경우가 많았다.

AI 자막 번역 도구

pyVideoTrans 개발자가 제공한 AI 자막 번역 도구(제미나이 AI API 사용)를 사용한 자막 및 문서 번역은 아쉽게도 실패했다.

번역은 [翻译提示词(번역 프롬프트 단어, 아래 중국어 원문 참고)] 명령으로 수행되는데, 그걸 중국어 상태 그대로, 그리고 한국어로 번역한 다음 했는데도 번역 실패.

请将以下<SOURCE_TEXT>标签中的内容翻译为英文，并将翻译结果放在XML标签<TRANSLATE_TEXT>中返回。
1. 请保留原排版格式
2. 请保留原markdown标签
3. 仅将中文翻译为英文，其他语言文字不要翻译
4. 必须完整翻译一次性输出，不要中断。
5. 不要返回提示、解释，也不要道歉，仅将翻译结果放在XML标签中返回。
<TRANSLATE_TEXT>[这里是翻译结果]</TRANSLATE_TEXT>
<SOURCE_TEXT></SOURCE_TEXT>

비록 보잘 것 없지만 광고 수익(Ad revenue)은 블로거의 콘텐츠 창작 의욕을 북돋우는 강장제이자 때론 하루하루를 이어주는 즐거움입니다