얼마 전만 해도 AI(인공지능)라는 것이 우리 곁에 이렇게 빨리 가까이 다가올지 몰랐지만, 이제 ChatGPT(OpenAI)를 통해 가까워 지고, 다양한 매체들을 통해 접하면서 많이 친숙해진 편이다. 그런데 이제 AI를 이용해서 자막도 편히 만들 수 있다고 하여 따라 해보았는데, 생각보다 아주 간단한 클릭만으로도 금방 자동으로 번역 자막이 만들어져서 신기했다. Subtitle edit라는 프로그램을 이용한 것인데, 이번에 업데이트되면서 Whisper AI(음성인식 AI)를 활용한 방법이 추가되어 사용해 보았다.
Subtitle edit 다운로드하기
Subtitle edit는 자막 만드는 프로그램인 것 같은데 나도 이번에 처음으로 다운받아보았다. 구글에서 'Subtitle edit'로 검색하면 제일 처음 나오는 링크가 공식 홈페이지이다. 프로그램은 공식 홈페이지에서 받는 것이 가장 좋으나, Latest version으로 3.6.13까지만 올라와있다. 3.6.13 버전은 다운받아서 시도해 봤는데 어떤 이유에서인지 Whisper AI가 제대로 설치되지 않는 오류가 있어 3.6.14 버전(아직 베타버전)으로 시도하는 것을 추천한다.
따라서 구글 검색에서 제일 첫 번째 링크 대신 두 번째로 나타나는 곳으로 접속하여 다운로드하길 바란다(혹시 이 글이 올라간 이후 공식 홈페이지에서 3.6.14 버전이 정식으로 배포된다면 공식 홈페이지에서 받는 것을 추천한다). 내가 다운로드한 주소는 아래 링크와 같다.
https://www.videohelp.com/software/Subtitle-Edit
Subtitle Edit 3.6.13 / 3.6.14 Beta Free Download - VideoHelp
All In One Blu-ray Converters (10) All In One DVD Converters (13) All In One MKV to MP4, Blu-ray, UHD (11) All In One Video Converters (19) Animation (3D, 2D Animation) (11) Audio Editors (21) Audio Encoders (81) Audio Players (19) Authoring (Blu-ray, UHD,
www.videohelp.com
위 주소로 접속한 후에 아래 붉은색 상자로 표시한 'Download Subtitle Edit 3.6.14 Beta Portable Windows'를 선택하여 프로그램을 다운로드하자.
Subtitle Edit 및 Whisper AI를 활용한 자막 추출
Subtitle Edit 프로그램을 다운로드하여 실행하면 아래와 같은 화면이 나타난다. 먼저 아래 화면에서 1로 표시한 부분이 영상이 재생되는 부분인데, 1번으로 표시된 검은색 화면을 클릭하여 자막을 생성할 영상을 선택하면 된다.
영상을 선택하면 아래와 같이 'mpv' video player를 설치해야 한다고 하는데, 'Download and use "mpv" as video player'를 선택하여 다운로드 진행하면 된다. 앞으로 처음 환경설정을 위해 여러 가지 프로그램? 모델? 등을 다운받아야하는데 클릭하면 하면 금방 다운로드가 되니 큰 부담 없이 설치하면 된다.
그다음 영상에서 음성을 추출할 단계이다. 앞서 봤던 화면에서 2번이 있던 아래쪽 검은 화면을 클릭하여 음성을 추출한다. 이번에도 오디오 데이터를 추출하기 위해 FFmpeg를 설치해야 한다고 하는데 '예(Y)'를 클릭하면 된다.
정상적으로 설치되면 아래와 같이 아까까지는 없었던 지진파처럼 생긴 waveform까지 자동으로 불러온다.
그럼 이제 추출한 음성을 Whisper AI를 통해서 자막으로 변환할 차례이다. 메뉴에서 Video - Autio to text (Whisper)를 선택한다.
그럼 아래와 같은 화면이 나타나는데 자동으로 Purfview's Faster - Whisper 엔진을 다운로드 중이다. 이름만 봐도 기존 엔진에 대비해서 뭔가 빨라진 것 같은 것 같은데 잘 몰라서 사용하지는 않았다.
나는 아래 화면과 같이 Engine은 'Const-me'를 선택했고, Choose language는 당연히 'English(영상이 영어로 되어있으므로)'를 선택했다. 이후 Generate 버튼을 누르면 Whisper model을 선택하라는 문구가 나타난다. Whisper model은 tiny - base - small - medium - large 순서로 되어있는데 각 모델을 다운받는데 시간은 사실 오래 걸리지 않는다. 하지만 테스트해 본 결과 뒤로 갈수록 실제 음성에서 자막으로 추출하는 시간이 더 오래 걸렸다. 물론 자막의 품질은 더 좋아질 것으로 예상되나, 적절히 이해만 해도 되는 수준이라면 꼭 Large를 할 필요는 없을 것 같다. 나는 여기서 Medium을 선택했다.
Whisper AI가 음성을 인식하여 자막으로 변환하는 시간이 몇 분 정도 걸렸는데, 이 2분 18초 영상은 medium 기준으로 3분보다 조금 더 걸렸고, 이전에 테스트했던 영상은 30분 정도 재생시간이었는데, 10~15분 정도 걸렸었다.
이렇게 왼쪽화면에 시간과 텍스트가 생성되었다면 정상적으로 자막 생성이 완료된 것이다. 생성된 자막은 메뉴에서 'File - Save as'를 클릭하여 자막파일(*.srt)로 저장할 수 있다.
영어자막을 한글로 번역하기
영어 또는 추출된 언어를 자막으로 빨리 읽고 이해할 수 있다면 좋겠지만, 대부분 쉽지 않을 것이다. 그래서 우리에게 필요한 것은 자동번역 기능이다. 메뉴에서 Auto-translate - Auto-translate를 선택해 보자.
그럼 아까 음성인식으로 생성한 자막이 왼쪽에 보이고 번역할 자막이 오른쪽 화면에 뜨게 된다. 한글로 번역하고 싶다면 오른쪽 언어를 Korean으로 선택한 후 Translate 버튼을 누른다.
그럼 Google Translate V1 API를 활용하여 자동으로 한글로 번역이 완료된다. 파파고 등을 이용한 번역도 가능하다고 하는데 아직 그거까지 따라 해보진 않았다.
이렇게 한글로 번역까지 완료된 자막을 아까와 같이 File - Save as 기능을 이용해 srt 파일로 저장이 가능하다.
실제 생성된 자막파일(*.srt)를 영상에 넣어서 재생해 보았다. 디즈니 엘리멘탈 예고편을 이용해서 자막을 만들어보았는데, 아래와 같이 정확한 시간에 꽤 정확한 말로 번역된 자막을 볼 수 있다.
- 공식 예고편 자막: 언젠가 네 게 될 거다
- Subtitle edit를 활용하여 만든 자막: 언젠가는 모두 당신 것이 될 것입니다.
맺음말
번역자막은 한글뿐만 아니라 해당언어까지 완전히 듣고 이해해야 할 수 있는 영역으로만 생각했는데, AI의 발전으로 이제 해당 언어를 전혀 모르더라도 간단한 클릭 몇 번으로 자막을 만들 수 있는 세상이 되었다. 물론 아직 자막이 매끄럽지 않은 부분도 많이 있지만 시간이 지나면 이것도 금방 자연스럽게 발전할 것으로 기대된다.
이 글은 영어 영상을 기준으로 작성했지만, 테스트할 때 일본어로도 했었는데 일본어도 같은 방식으로 진행했더니 비슷한 수준의 자막을 만들 수 있었다. 애니메이션을 좋아하지만 일본어를 몰랐던 사람들도 이제 조금 더 쉽게 영상을 즐길 수 있게 되지 않았나 싶다.
보고 싶었던 영상은 있었는데, 자막이 없어서 못 봤던 것들은 이제 이 방법을 통해 영상을 즐겨보는 것은 어떨까? 앞으로 AI의 발전이 더욱더 기대된다.
'오늘, 나 > 일상' 카테고리의 다른 글
| AI를 이용한 자동으로 번역 자막 만들기 2탄(ft.팟플레이어, Whisper AI) (4) | 2024.12.22 |
|---|---|
| GPS로 현지시각 맞추기 - 시티즌(CITIZEN) EXCEED F900 CC9050-53E (0) | 2023.06.20 |
| 부산은행 REX 카드(feat. 무제한 라운지 사용 pp카드) (2) | 2023.06.13 |
| 전월세신고 신고방법, 온라인 신고 사이트 주소, 과태료, 준비물 (2) | 2023.05.16 |
| ChatGPT 사이트 주소, AI와 대화하기 - 검색엔진의 미래 (2) | 2023.02.01 |