Realtime API: 음성 에이전트를 위한 저지연 양방향 연결

한 문장 요약: OpenAI가 GPT-4o 기반 음성 대화를 WebSocket으로 구현하는 Realtime API 공개 베타를 발표했다.

무엇이 발표됐나

OpenAI의 공식 발표일은 2024-10-01다. 이날 공개된 Realtime API의 핵심은 다음과 같다. 단일 지속 연결에서 오디오 입력·출력과 함수 호출을 처리하고 여섯 개 음성을 제공했다.

기술적으로 볼 지점

음성 인식과 합성 API를 따로 연결하지 않고 모델이 오디오 스트림과 도구 호출 이벤트를 직접 주고받는 이벤트 기반 구조다.

왜 중요했고, 무엇을 경계해야 하나

전화 상담, 튜터, 게임 캐릭터처럼 지연에 민감한 에이전트를 한 API로 구현할 수 있게 됐다.

공개 베타의 가격과 동시 연결 제한이 컸고 음성 데이터 동의, 녹음 고지, 끼어들기 처리 설계가 필요했다.

이 글은 발표 당시의 핵심을 빠르게 확인하기 위한 브리핑이다. 수치와 제공 범위는 아래 1차 출처를 기준으로 정리했으며, 별도의 직접 벤치마크를 수행했다는 의미는 아니다.

공식 1차 출처

• Introducing the Realtime API — OpenAI, 2024-10-01