자막 없는 영상도 문장별로 공부하기, Mac용 RainbowSay

자막 파일이 아니라 재생 중인 소리를 읽는다

RainbowSay는 Mac의 소리를 듣고 번역·어휘·문법 설명을 영상 위 카드로 보여 주는 언어 학습 앱이다. 특정 사이트의 자막을 가져오는 방식이 아니어서, 자막이 없는 영상이나 오디오도 입력으로 쓸 수 있다. 앱이 문장으로 인식한 내용을 다시 듣고 의미를 묻는 방식이다.

자동으로 멈추는 기능에는 조건이 있다. RainbowSay는 Mac의 재생·정지 미디어 키를 보내므로 플레이어가 그 키에 반응해야 한다. 소리를 받아 번역할 수 있다는 것과 해당 플레이어를 멈출 수 있다는 것은 다르다.

가령 영어 강연의 한 문장을 들은 뒤 뜻과 표현을 익히려면 Listening을, 영상 흐름을 이어 보며 번역 자막을 읽으려면 Subtitles를 고르는 식이다. 두 번째 모드는 재생을 멈추지 않는다.

Listening에서 시작하고, 소리의 출처를 좁힌다

설치 조건은 애플 실리콘 Mac과 macOS 14.2 이상이다. 공식 가이드의 시작 과정은 앱 설치, Google 로그인, 필요한 권한 허용, 첫 Listening 세션 순서다. 현재 Windows·Linux판은 제공되지 않는다.

1. 공부할 영상을 열고 메뉴 막대에서 Listening을 선택한다.
2. 학습할 언어와 번역 언어를 설정하고, Mac 전체 소리 또는 특정 앱을 입력으로 고른다.
3. 문장 카드에서 번역과 어휘를 읽고 원음을 다시 듣는다. 표현이 궁금하면 해당 문장의 채팅에서 질문한다.
4. 다음 문장으로 넘어갈 때 Continue를 누른다.

다른 앱의 음악이나 알림까지 학습에 섞이지 않게 하려면 입력을 해당 앱으로 좁히는 편이 낫다. 가이드는 문장 구분 방식과 자동 정지 설정도 제공한다. 말이 빠르거나 끊어 읽는 위치가 맞지 않을 때 조절할 항목이다.

시스템 음성 캡처에는 System Audio Recording Only 권한을 쓴다. Listening의 재생 제어에는 접근성 권한도 필요하며, macOS 27부터는 Device Control and Data Access라는 이름으로 안내된다.

무료 45문장과 자막 19분은 더하는 숫자가 아니다

10월 26일 가격표에서 무료 이용은 카드 등록 없이 받는 최초 한 번의 크레딧이다. 전부 Listening에 쓰면 약 45문장, 전부 Subtitles에 쓰면 약 19분이라는 예시를 제시한다. 두 분량을 각각 받는 것이 아니라 Listening·말하기 연습인 Speaking·Subtitles가 하나의 크레딧을 나눠 쓴다.

Listening의 문장 수 예시는 번역 음성 재생을 포함한 추정치다. 긴 문장과 추가 질문은 더 소비하고, 번역 음성을 끄면 같은 크레딧으로 더 쓸 수 있다. 영상 한 편을 무제한 학습하는 정액권으로 생각하기보다, 짧은 구간으로 실제 소비량을 먼저 보는 편이 맞다.

학습 기록은 Mac에 저장되고, 학습 중인 음성은 외부 AI로 전송된다

RainbowSay의 데이터 처리 설명에 따르면 문장·번역·복습용 오디오와 채팅 기록은 컴퓨터에 저장한다. 세션을 삭제하거나 저장을 끌 수 있으며, 회사 서버에는 이 학습 기록을 올리지 않는다.

다만 음성 인식과 번역을 Mac 안에서만 수행하는 앱은 아니다. 실행 중인 세션의 음성은 컴퓨터에서 OpenAI로 직접 전송된다. RainbowSay 서버는 세션을 허용하는 짧은 유효기간의 자격 정보를 발급하고 사용량을 관리한다.

자막 파일을 찾는 데 막혔다면 이 음성 기반 접근을 시험할 이유가 있다. 먼저 자주 쓰는 플레이어가 미디어 키에 반응하는지 확인하고, 짧은 Listening 세션으로 문장 구분과 크레딧 소비가 공부 방식에 맞는지 판단하면 된다.