몇 주 동안 미리 써봤는데 꽤 좋았음. 개를 산책시키면서 한 시간짜리 대화를 했고, 내 프로젝트 하나에 대해 꽤 괜찮은 브레인스토밍도 됐음
가장 좋은 기능은 백그라운드에서 질문을 GPT-5.5에 위임할 수 있다는 점이라, 더 이상 최전선보다 몇 년 뒤처진 음성 모델에 묶이지 않음
재미있는 버그도 신고했는데, 내가 아직 말하는 중인데 끼어들어서 농담 의도가 아니었던 말에 웃곤 했음. 다행히 그 동작은 줄인 듯하고, 당시에는 좀 무례하고 깔보는 느낌이었음

성격 설정에 잘 반응하는지 궁금함. 가짜 AI 여자친구 같은 건 전혀 원하지 않지만, 음성 모드에서는 큰 가치를 얻고 있음
써보는 건 기대되지만 Sesame처럼 소름 끼치게 과하게 연출된 엉망이 아니었으면 함. 내가 원하는 방향은 참여도를 크게 끌어올리기 어려울 테니, 결국 가짜 AI 여자친구 쪽으로 계속 밀어붙일 것 같다는 예상이 듦

백그라운드에서 GPT-5.5에 위임할 수 있다는 건 내가 딱 바라던 방향임
출퇴근이나 운동 중에 브레인스토밍할 때 ChatGPT 음성 모드를 쓰고 싶었지만, 과거에 갇힌 느낌 때문에 덜 쓰게 됐음

그냥 산책을 즐기는 걸 강력히 추천함

현재 음성 모델처럼 둔화된 GPT 버전인지 궁금함. 적어도 프랑스어에서는 지금 GPT 음성 모드가 쓸모없어서 받아쓰기 모드만 쓰게 됨
질문을 하면 “흥미로운 질문이네요. 도와드릴 수 있어요. X에 대해 알고 싶은 게 있나요?” 같은 식으로 답하고, 다시 물어도 같은 종류의 무답변만 돌아옴

음성 모드의 사용자 경험은 좋아하지만, 음성 모델 자체는 늘 싫었음
특히 Gemini는 매번 이상한 질문으로 끝나고, 프롬프트로도 안정적으로 막을 수 없어서, 결국 STT → 모델 → TTS만 하는 자체 클라이언트를 실제 작업 흐름용으로 만들게 됨. STT와 TTS는 각각 독립적으로도 유용함
모델이 빠르게 더 미묘하게 답하는 데 약간의 가치는 있겠지만 크지는 않음. 답변이 끝날 때까지 기다릴 수 있고, 차라리 실제로 유용했으면 함. 디지털 친구를 찾는 게 아님
위임 기능 덕분에 오케스트레이션 성격의 기능에서는 음성 모델 가치가 조금 보이지만, 소통 매체가 바뀌었다는 이유만으로 기능과 quirks가 다른 모델과 대화해야 하는 건 별로고, 왜 좋아하는지도 잘 모르겠음

AI가 하는 일 대부분은 이미 잘못된 방향임. 사람 간 상호작용뿐 아니라 생각, 창작, 감각 지각과 반응까지 빼앗고 있음
사람들은 인간을 돕는다고 부르지만, 나는 인간에게서 인간다움을 빨아들이는 것으로 봄
피해가 난 뒤 거대 기업들은 “우린 사업 경쟁에 대응했을 뿐”이라고 어깨를 으쓱할 것임. 사업은 인간이 아니므로 인간다움을 알지 못함. 기업과 기계는 인간을 먹이로 보는 존재이고, 인간은 진보라고 믿으며 그것들을 만들어냈음. 지적 능력을 필요로 했고 다른 종을 지배하게 도왔기 때문에 진보라 부르지만, 돌고래들은 우리를 비웃고 있을 것임

타당하지만 서로 다른 두 가지를 섞고 있는 듯함
인간의 사회화나 대화를 대체하는 AI 음성 모드라면 나도 cringe라고 보고 완전히 동의함. 그건 텍스트든 음성이든 마찬가지임
하지만 도구로서의 AI와 상호작용하는 대체 인터페이스라면 훌륭한 생각이라고 봄. 너무 피곤해서 타이핑하기 어렵거나, 더 자유로운 방식으로 브레인스토밍하고 싶을 때 잘 작동하는 음성 모드가 있으면 좋았을 순간들이 있었음
당연히 현재 AI를 인격처럼 쓰느냐 도구처럼 쓰느냐의 구분은 순전히 사용자 쪽에 있음. 나는 후자를 많이 원하고, 누군가 전자로 쓰고 싶다면 그건 내 문제가 아님. 다만 결국 이 기능은 도구로서의 장점보다 평균적인 사람이 얼마나 퇴행적이고 환원적인 방식으로 쓰는지에 따라 평가될 것 같아 아쉬움

챗봇에 문자나 음성으로 쓰는 모든 1분은 원래 다른 인간과 대화했을 1분임. 삶에서 유일하게 중요한 것, 모든 가치의 기반, 자기 정체성의 형성은 다른 인간과의 소통에서 나옴

음성은 종류의 차이가 아니라 정도의 차이 아닌가 싶음. 나도 AI를 인간인 것처럼 대화하고 있고, AI의 사용자 경험 자체가 인간을 흉내 내는 것이라고도 볼 수 있음
인간과의 상호작용 중 상당 부분도 텍스트로 이뤄짐. 예를 들면 이 글도 그렇다

동의하지 않음. 유동적이고 자연스러운 대화형 AI는 LLM과 작업하는 어떤 인터페이스보다 훨씬 생산적임
다만 더 로봇처럼 만들어야 한다는 주장도 가능하긴 함. StarTrek처럼. 솔직히 업무에는 그 편이 더 나을 수도 있음. 차갑고 순수한 효율성만 있는 “일 처리 모드” 같은 것

이번 발표에서 빠진 게 커넥터와 도구 사용 능력임. 잘 이해가 안 됨. Claude, ChatGPT, Gemini, Grok 같은 최전선 어시스턴트 중 음성 모드에서 도구나 커넥터를 쓸 수 있는 게 하나도 없음
너무 당연해 보이는데, 대화하면서 자료를 조사하고, 문서를 불러오고, 메모를 남기고, 생산적인 일을 하고 싶음. 앱이나 서비스에 연결해야 할 때마다 음성 모드를 끝내고 싶지 않음
이상한 건 예전 Claude 음성 모드는 도구를 쓸 수 있었는데, 개편하면서 그 능력을 잃고 이제 Haiku에 고정됐다는 점임
마침내 최전선 모델 기반이고 Grok 음성만큼 좋기를 기대할 만한 음성 모드가 나온 건 반갑지만, 음성 모드에서 여전히 도구 사용이 안 보이는 건 아쉬움
아직 직접 써보진 않았고 발표만 읽었음

Sam Altman이 누군가 Voice로 1마일 달리기 시간을 재려다 웃기게 실패한 바이럴 클립에 반응하는 TikTok이 있음
Sam의 반응은 “네, 타이머 같은 도구에 접근할 수 없어요. 알려진 문제고, 약 1년 안에 들어올 겁니다”였음
클립은 여기: https://www.youtube.com/shorts/Py2YgJe8fqQ

gpt-realtime-2를 쓰면 낮은 지연 시간 스트리밍으로 비슷한 결과를 낼 수 있고, 방 안에 함께 있는 어시스턴트 같은 느낌을 줌
도구 사용까지 붙여서 gpt-realtime-2 모델을 시험해볼 수 있게 조정해둔 곳이 있음: https://sippet.ai/?enabler=hn

회사를 운영하고 하루 일정을 계획하는 개인 비서에 gpt-realtime-1을 쓰고 있는데 꽤 잘 작동함. 도구 호출도 함
다만 다중모달 처리 때문에 이상한 이벤트, 메시지와 오디오 시퀀스 간 경쟁 상태를 디버깅할 일이 많았음. 그래도 전반적으로는 꽤 훌륭함
오늘 나중에 이 모델로 옮겨볼 예정이고 결과를 다시 남기겠음

도구는 지연 시간이 예측 불가능해서 관련이 있을 수 있음. 그래도 이미 5.5로 백그라운드 넘김을 한다면 그 맥락 안에서 그냥 활성화할 수 있을 것 같음

정말 최전선 어시스턴트들이 음성 모드에서 도구와 커넥터를 못 쓰는 게 맞나? 친구가 Gemini와 자주 브레인스토밍하는데, 아마 Android 폰에서 대화 관련 작업을 실제로 수행하고 메모에 내용도 추가한다고 알고 있음
어쨌든 언제든 pi로 분위기 코딩해서 하나 만들 수 있음

많은 AI 기능처럼 멋지면서도 좀 소름 끼침. 예전에 Siri나 Google 쪽, TV에 있는 것 같은 음성 인터페이스를 써본 적이 없어서 아마 대상 사용자는 아니겠지만, 개선처럼 보이긴 함
소름 끼치는 부분은 우리가 그 어느 때보다 서로 단절된 시대에 산다는 점임. 정말 대화까지 대체해야 하나? 노인 여성들이 나오는 시연 영상은 뭔가를 암시하는데, 이미 사회가 노인을 대하는 방식과 거대한 노인 고독 문제가 있다고 봄. 실제로 생각하지 않는 기계와 사람들이 정말 가까워지는 모습을 상상하면 슬픔이 있고, 분명한 불쾌감이 듦

OpenAI의 Atty임 GPT-Live-1은 새 세대 모델의 첫 버전이고, 전이중 구조와 위임 기능이 인간-AI 상호작용의 완전히 새로운 방식을 가능하게 한다고 봄
피드백을 듣고 싶음

좀 특이한 질문일 수 있는데, 이게 외로움 유행과 사회의 원자화를 더 악화시킨다면 스스로 감당할 수 있을 것 같나?
5년 뒤 십대들이 당신들의 챗봇하고만 시간을 보낸다는 얘기를 듣게 되면 어느 정도 개인적 책임을 느낄지, 아니면 전혀 안 느낄지 궁금함

내 기술이나 도구에 연결할 수 있나? 예를 들어 회사에 지식 베이스와 이벤트 로그가 있고, 이 지식에 완전히 접근해 대화하고 저장소에 있는 기술이나 도구를 호출할 수 있는 브레인스토밍 동반자가 필요함

gcal 같은 다른 앱에 연결할 수 없다면, “그 기능은 없습니다”라고 말하기보다 표준 GPT 클라이언트를 쓰라고 제안해야 함
그렇게 말하면 일반 클라이언트도 그 기능이 없다고 오해할 수 있어서 misleading함

한 번에 에이전트 하나에만 위임할 수 있나, 아니면 여러 작업을 위해 여러 하위 에이전트를 생성할 수 있나?

노래할 수 있나? 종단 간 다중모달 모델인가?

이걸 보고 ChatGPT를 다시 구독하게 될지도 몰라서 화남. LLM 이전에는 내가 음성 기능을 이렇게 많이 쓰게 될 거라고 믿지 않았을 텐데, 현재 ChatGPT가 가장 좋은 음성 인터페이스를 갖고 있음
Grok 인터페이스가 그다음이고, 그다음이 Claude라고 봄

나도 마찬가지임. 음성 기능을 항상 쓰기 때문에 Gemini에서 ChatGPT로 다시 돌아갈지도 모르겠음
좋아하는 사용 사례 중 하나는 운전하면서 무작위 주제에 대해 대화하고 배우는 것임

예전보다는 훨씬 나아졌지만, 여전히 직접 채팅보다 상당히 약함
예를 들어 “벡터 크기가 유용한 정보 대부분을 인코딩하지 않는다고 자주 말하는데, 왜 LLM 어텐션은 코사인 유사도 대신 내적을 써야 하나?”라고 물었음
음성 답변은 방향은 맞았지만 세부가 부족하고 약간 얼버무리는 느낌이었음
같은 질문에 대한 텍스트 채팅 답변은 훨씬 품질이 높았음
음성 응답에서 “생각해볼게요…”라고 했으니 광고한 대로 5.5를 호출하는 듯하지만, 분명 더 약함
양쪽 모두 추론 설정은 같게 했음

이건 꽤 많이 조정 가능함. 현재 성격은 브레인스토밍과 대화에 최적화돼 있지만, 사용자 지정 지침으로 더 깊게 들어가고 정보 밀도 높거나 더 기술적인 답을 달라고 할 수 있음

사람은 듣는 것보다 훨씬 많은 텍스트를 읽을 수 있음. 음성 답변이 너무 길면 금방 인내심을 잃음
그래서 텍스트가 많다면 화면에 보여주는 편이 더 낫다

백그라운드 사고 수준을 최소로 줄였다고 자연스럽게 추정하게 됨. 일종의 정지 문제이고, 텍스트 5.5에서 최대 사고로 두면 질문 하나에 5~10분을 씹기도 함
그런 대화는 꽤 어색해질 것임

PersonaPlex 말고 공개된 오픈소스 전이중 모델이 있는지 궁금함. 중국 쪽 공개 모델 중 Fun Audio chat 비슷한 이름의 모델이 전이중 버전을 내겠다고 했던 것 같은데 실제로 냈는지는 모르겠음
내 꿈은 함수 호출이나 아주 기초적인 텍스트 출력을 가진 오픈소스 전이중 모델임. PersonaPlex도 여전히 흥미롭지만, 출력 처리를 다루거나 쉽게 폭주하지 않게 하려면 파인튜닝이 필요해 보였음

나도 이걸 알고 싶음. 로컬 AI 어시스턴트와 소통하는 스마트 스피커를 대충 만들어보고 싶기 때문임
지금은 iMessage로 전부 하고 있지만, 부엌에서 손이 바쁠 때 음성으로 장보기 목록에 물건을 추가하라고 말할 수 있으면 좋겠음. 마이크와 스피커를 뭘 고르면 좋을지도 조언이 있으면 좋겠고, 두뇌 쪽은 굴러다니는 Raspberry Pi를 재사용할 계획임

https://duplexio.ai에서 이 작업을 하고 있고, 공개 가중치로 비상업적 사용은 무료가 될 예정임. 같이 작업하고 싶으면 anders@duplexio.ai로 이메일 보내면 됨

Gemini live는 이미 1년 넘게 이걸 할 수 있었음. 폰에서 그냥 켜면 실제로 놀랄 만큼 잘 작동하고, 특히 끼어들기 처리가 좋음
95세 네덜란드 할머니와 테스트해봤는데 영어와 네덜란드어를 매끄럽게 오갔고, 청력이 좋지 않은 점도 잘 처리했으며 반복 요청도 잘 받아줬음
OpenAI가 여기서 이렇게 따라잡는 중이라는 게 조금 놀라움

Gemini live는 컴퓨터 비전 쪽도 꽤 괜찮음. 자전거와 차를 수리할 때 몇 번 써봤는데, 폰 카메라로 특정 나사와 부품을 동그라미 치거나 강조해줬음
폰을 삼각대에 세워두면 수리 전체를 단계별로 안내해줄 수 있음

ChatGPT도 1년 넘게 이걸 갖고 있었음. 이건 더 나은 모델임

Simon이 짚은 한 가지는, 보통 실시간 음성 모델은 최전선 모델만큼 능력이 좋지 않다는 것임
이 모델이 특별한 점은 대화하면서 작업을 최전선 모델에 위임할 수 있다는 데 있음

Gemini live가 내 OnePlus 15에 있는 앱과 같은 건가? 그건 전이중이 아닌 것 같은데

무슨 뜻인지 모르겠음. OpenAI는 작년 8월부터 실시간 음성 모델을 갖고 있었음. 이건 성능이 더 나은 새 모델임

최악의 시나리오는 사람들이 늘 동의해주는 AI와 대화하는 데 너무 익숙해져서, 자기와 다른 관점이나 자존심을 쓰다듬어주지 않는 반응을 내놓는 존재와는 대화할 능력을 잃는 것임