Dessa는 어떻게 말을 배웠을까? 대화 음성만으로 학습한 AI

새로운 관심사는 목소리보다 학습 재료다

Block의 Dessa 발표는 사람의 대화 녹음만으로 모델을 처음부터 학습했다고 설명한다. 문자 자료도, 미리 학습된 모델도 쓰지 않았다는 주장이다. 음성을 입력받아 음성으로 답한다는 제품 설명에서 한 걸음 더 나아가, 언어를 배우는 과정 자체를 소리로 구성했다는 점이 핵심이다.

여기서 두 질문을 분리해야 한다. 사용자가 접하는 질문은 ‘내가 말하는 동안 AI도 듣고 반응하는가’다. 연구자가 묻는 질문은 ‘그 능력과 언어 지식을 무엇으로 학습했는가’다. 대화가 자연스럽다는 인상만으로 두 번째 질문의 답까지 알 수는 없다.

동시 대화는 텍스트 모델에서도 구현할 수 있다

Full-duplex, 즉 전이중 대화는 듣기와 말하기를 동시에 처리한다는 뜻이다. 모델의 학습 데이터가 모두 음성이어야 한다는 뜻은 아니다. 2024년 발표된 Kyutai의 Moshi 논문는 텍스트 언어 모델에서 출발하면서도 사용자와 모델의 음성을 병렬로 처리해 전이중 대화를 구현했다.

Moshi의 구조 설명에는 사용자 음성과 모델 음성의 두 흐름뿐 아니라, 모델이 말할 내용에 해당하는 텍스트 토큰 예측도 들어 있다. 음성끼리 바로 주고받는 경험과 내부에서 문자를 활용하는 구조가 함께 존재하는 사례다.

따라서 Dessa를 평가할 때의 새로운 질문은 전이중 대화가 처음 나왔는지가 아니다. 텍스트 없이 학습한 방식이 어떤 대화 능력과 지식 범위를 만들었는지가 다음 비교 대상이다. 같은 조건의 평가 없이 기존 모델보다 똑똑하다고 결론 내릴 수는 없다.

맞장구와 업무 실행은 다른 능력이다

주문을 조회하거나 예약을 변경하는 음성 비서에는 말소리 외에 외부 시스템을 호출할 수단이 필요하다. 자연스럽게 끼어들거나 웃는 기능만으로 예약 API의 입력값이 정확해지지는 않는다.

이 차이는 NemotronLabs VoiceChat 논문의 설계에서 드러난다. 연구진은 대화 음성과 함께 구조화된 함수 호출을 내보내는 흐름을 두어, 듣고 말하는 도중에도 도구를 쓰도록 구성했다. 동시에 함수 인자의 정확도와 실제 도구 실행을 끝까지 성공시키는 능력은 개선 과제로 남겼다.

고객 상담이나 업무 비서에 쓸 음성 모델은 발화 타이밍, 답의 정확성, 외부 작업 완료 여부를 각각 살펴야 한다. 말이 자연스럽게 이어지는지와 주문 조회를 정확히 끝냈는지는 서로 다른 선택 기준이다.

맥북에서 돌아간다는 설명과 이용 신청은 구분한다

Block은 M4 Max 이상 맥북 프로에서 Dessa를 로컬 실행할 수 있다고 설명한다. 10월 26일 기준 공식 페이지의 이용 안내는 대기 등록과 소수 AI 안전 연구자의 조기 접근이다. 한국어 지원 범위나 필요한 메모리 용량을 제시한 설치 안내는 없다.

지금 공개 모델로 전이중 대화를 실험하려는 개발자에게는 Moshi처럼 모델 파일과 실행 코드를 공개한 프로젝트가 별도로 있다. Moshi 저장소는 PyTorch·MLX·Rust 실행 구현을 제공하므로, 자신의 실행 환경과 코드를 대조하며 실험을 시작할 수 있다.

Dessa의 발표는 소리만으로 어디까지 언어와 대화를 배울 수 있는지에 관한 실험으로 읽을 만하다. 제품 도입 판단은 그다음이다. 사용할 언어, 필요한 업무, 실제 접근 권한이 맞는지 확인해야 자연스러운 목소리의 인상을 구체적인 선택으로 이어갈 수 있다.