Claude와 연구 논문을 활용한 복잡한 로직 해결하기

서론

AI 보조 코딩 (AI-assisted coding)으로 앱을 구축할 때, 여러분은 "무엇을 만들 것인가"를 결정하게 됩니다. 디자인과 정책을 직접 설정할 수 있죠. 하지만 때때로 벽에 부딪히곤 합니다.

하고 싶은 일은 있지만, 이를 실현할 논리적 배경 지식이 부족할 때가 있습니다.

저는 프로그래머도 아니고, 신호 처리 (signal processing) 전문가도 아닙니다. 이 이야기는 제가 그런 상황에 직면했을 때 Claude가 어떻게 신뢰할 수 있는 파트너가 되었는지에 대한 기록입니다.

문제: 음성 성별 식별이 제대로 작동하지 않음

저는 LiveTR (실시간 음성 번역 앱)에 화자의 성별에 따라 합성된 목소리를 전환하는 기능을 추가하고 싶었습니다. 남성 목소리에는 남성스러운 목소리를, 여성 목소리에는 여성스러운 목소리를 제공하는 기능입니다.

가장 먼저 떠오르는 방법은 기본 주파수 (fundamental frequency, pitch)를 통해 성별을 식별하는 것입니다. 남성은 낮고, 여성은 높습니다. 간단하죠.

직접 시도해 보았습니다. 일상적인 대화에서는 괜찮게 작동했습니다.

하지만 F1 레이스를 스트리밍해 보았을 때, 해설자가 흥분할 때마다 앱이 목소리를 여성으로 식별하는 문제가 발생했습니다. 경기가 격렬해지면 피치 (pitch)가 올라가기 때문에, 남성의 목소리임에도 불구하고 잘못하여 "여성"으로 식별되는 것입니다. 이런 일이 빈번하게 발생했습니다.

피치만으로는 충분하지 않습니다. 그렇다면 무엇을 더 살펴봐야 할까요? 저는 알지 못했습니다.

Claude에게 질문하기

"음성 성별 식별에 있어 피치만 사용하면 흥분하는 순간에 오식별이 발생합니다. 이를 위한 학술적인 방법에는 무엇이 있을까요?"

저는 Claude에게 조사를 요청했습니다. Claude가 Research 모드 (Claude가 웹을 자율적으로 검색하여 조사하는 기능)를 사용하여 학술 논문과 특허를 찾아보게 함으로써, 저 혼자서는 절대 도달할 수 없었을 여러 가지 방법들이 나타났습니다.

단순히 피치(Pitch)뿐만 아니라 포먼트(Formants, 성도의 공명 주파수)와 MFCCs(Mel-frequency cepstral coefficients, 멜 주파수 셉스트럼 계수)와 같은 여러 지표를 결합하면, 흥분 상태에서도 안정적인 식별을 달성할 수 있다는 사실이 밝혀졌습니다.

만약 저에게 논문의 전체 내용을 이해했느냐고 물으신다면, 솔직히 의문스럽습니다. 하지만 Claude가 "이 방법은 이러한 원리로 작동하며 이러한 특징을 가지고 있습니다"라고 설명해 주었기 때문에 방향을 설정할 수 있었습니다. 거기서부터 저는 "이 조합으로 가겠다"라고 결정하고 구조를 다듬었습니다.

곧바로 구현하기

방침이 결정되자, 저는 Claude와 함께 이를 조립해 나갔습니다.

Claude에게 "이 논문의 방법을 바탕으로 이 구조로 구현해 주세요"라고 말하면, Claude가 코드를 작성해 주었습니다. 저는 코드를 실행하고, 결과를 확인하고, 무언가 어색하면 조정했습니다. 평소와 같은 사이클입니다.

F1 중계로 테스트했을 때, 해설자가 흥분했을 때조차 목소리를 남성으로 식별하기 시작했습니다. 피치(Pitch)만을 사용했을 때와는 안정성이 완전히 달랐습니다.

이것이 AI 코딩의 강점이라고 생각합니다

AI가 코드를 작성하게 하는 것은 이제 당연한 일이 되었습니다. 하지만 익숙하지 않은 분야의 지식을 끌어와 이를 구현으로 변환할 수 있다는 것은 차원이 다른 가치입니다.

저는 스스로 신호 처리(Signal processing) 논문을 찾아 읽을 능력이 없습니다. 하지만 Claude에게 "이런 문제가 있습니다"라고 말하면, 관련 연구를 조사하여 작동하는 코드로 바꿔줄 수 있습니다.

물론 AI가 생성한 결과물을 맹목적으로 신뢰하지는 않습니다. 실행하고, 테스트하고, 잘못되었다면 접근 방식을 다시 생각합니다. 그 부분은 변하지 않았습니다. 하지만 지식 측면에서 제로(Zero) 상태에서 시작하지 않아도 된다는 점은 엄청난 도움이 됩니다.

한 가지 주의할 점이 있습니다. 설령 좋은 결과를 얻더라도, 특허 (Patents)를 참조하여 구축한 로직을 사용하여 비즈니스를 수행할 경우 특허권을 침해할 수 있습니다. 논문 기반의 로직이라 할지라도 해당 방법론과 관련된 특허가 존재할 수 있습니다. 이를 상업적으로 이용할 때는 권리 관계를 확인해야 합니다. Claude에게 "이 방법과 관련된 특허가 있나요?"라고 물어보아 조사를 요청할 수 있습니다. 하지만 Claude의 조사가 반드시 완벽한 것은 아니므로, 최종적인 판단은 반드시 스스로 내려야 합니다.

저는 코드를 작성하는 사람이 아닙니다. 저의 역할은 설계하고, 정책을 결정하며, 판단을 내리는 것입니다. Claude는 지식을 끌어와 작동하는 코드로 변환합니다. 저는 이것이 이러한 역할 분담이 완벽하게 들어맞는 사례라고 생각합니다.