여러분이 직접 테스트할 필요 없도록 제가 3주 동안 AI 노트 테이킹 도구들을 테스트해 보았습니다

자, Otter, Fireflies, Fathom, 그리고 몇몇 작은 업체들의 도구들을 데모용 미팅이 아닌, 상황이 꼬이고 사람들이 서로 말을 가로채는 실제 고객 통화와 같은 실제 미팅에 투입해 본 후의 솔직한 의견을 말씀드리겠습니다.

본론에 들어가기 전 요약:

저는 Fathom을 계속 사용하기로 했습니다. Otter는 가장 정확한 전사 (Transcript)를 제공했습니다. Fireflies는 가장 뛰어난 CRM 연동 기능을 보여주었습니다. 그 어떤 도구도 모든 것을 완벽하게 수행하지는 못했으며, 그렇지 않다고 말하는 사람은 제휴 (Affiliate) 계약 관계에 있는 사람일 것입니다.

제가 실제로 테스트한 것

저는 3주 동안 동일한 12개의 미팅에 각 도구를 사용했습니다. 내부 팀 통화, 외부 고객 통화, 그리고 6명이 40분 동안 로드맵 우선순위에 대해 논쟁을 벌인 정말 혼란스러웠던 전사 미팅 (All-hands) 등이 섞여 있었습니다. 저는 전사 (Transcript) 정확도, 요약 품질, 실행 항목 (Action item) 추출, 검색 사용성, 그리고 실제로 매일 사용하고 싶은지 여부를 기준으로 각 도구에 점수를 매겼습니다.

전사 (Transcript) 정확도 순위는 저를 놀라게 했습니다. Otter가 특히 기술적 어휘 측면에서 눈에 띄는 차이로 이 카테고리에서 승리했습니다. 저희 수석 엔지니어가 "우리가 또 다른 벡터 스토어 (Vector store)를 추가하기 전에 인제스션 파이프라인 (Ingestion pipeline)을 리팩터링 (Refactor)해야 합니다"라고 말했을 때, Otter는 이를 정확히 파악했습니다. 다른 두 도구는 "ingestion pipeline before we add another vector store"라고 출력하여 괜찮긴 했지만, 그중 하나는 "infection pipeline"이라고 출력했는데, 이는 전혀 다른 종류의 문제입니다.

대부분의 도구가 실패한 지점

실행 항목 (Action item) 추출입니다. 모든 도구가 이 기능을 마케팅합니다. 하지만 실행 항목이 명시적이지 않고 암시적인 실제 미팅에서는 모든 도구가 이 기능에 어려움을 겪습니다.

"그 건은 다음 주에 다시 이야기합시다"라는 말은 누군가가 "Sarah, 당신이 금요일까지 그 일을 처리해 주세요"라고 말하지 않는 한, 이 도구들 중 그 어떤 것도 실행 항목 (Action item)으로 변환하지 못합니다. 실제 미팅의 언어는 무질서하고 완곡하며, 이 도구들은 아직 문맥으로부터 확정된 약속을 추론할 만큼 충분히 똑똑하지 않습니다.

Fathom이 가장 근접했지만, 아마도 AI 요약 기능을 스크립트와 통합하여 별도로 실행하는 방식보다 더 잘 작동했기 때문일 것입니다. 하지만 제가 추출한 액션 아이템의 약 30%는 여전히 수동으로 정리해야 했습니다.

CRM 연동 상황

이 부분에서는 Fireflies가 우세하지만, 단서 조항(asterisk)이 있습니다. Salesforce 통합은 실제로 작동하며 미팅 노트가 올바른 위치에 자동으로 저장됩니다. 이 단서 조항이란 설정하는 데 두 시간이 걸렸고, 그들의 문서화 자료는 제가 어떤 Salesforce 객체들을 매핑하고 싶은지 이미 알고 있다는 것을 가정한다는 것입니다. 전담 RevOps 담당자가 있다면 아마 괜찮을 것입니다. 하지만 직접 설정을 하는 소규모 팀이라면 예상보다 긴 오후 시간을 계획해야 합니다.

제가 현재 실제로 사용하는 것들

• 클라이언트 통화에는 Fathom을 사용합니다. 미팅 후 경험이 가장 깔끔하고, 클라이언트들이 가끔 노트를 공유해 달라고 요청하는데, 이때 아무것도 내보내지 않고도 Fathom에서 직접 할 수 있기 때문입니다.
• 내부 회의에는 Otter를 사용합니다. 스크립트 검색 기능이 정말 좋아서, '가격 모델에 대해 무엇을 결정했었는지'라는 검색어를 예상했던 것보다 더 자주 검색해 보게 되었습니다.

솔직한 추천

• 통화 중에 수동으로 노트를 작성하는 것을 멈추고 싶은 개인이라면: Fathom부터 시작하세요. 무료 플랜이 대부분의 사용 사례를 커버합니다.

• 수동 데이터 입력 없이 CRM 로깅이 필요한 영업팀이라면: Fireflies 설정에 드는 고통을 감수할 가치가 있습니다.

• 문서화나 규정 준수를 위해 정확한 스크립트가 가장 중요하다면: Otter를 선택하세요.

• 회사 전체 배포와 데이터 처리 요구 사항 때문에 이 도구들을 평가하는 기업 IT 팀이라면: 이들 중 어느 것도 자체 호스팅(self-hosted)이 아니므로, 아마 완전히 다른 범주의 솔루션을 찾아봐야 할 것입니다. 하지만 그것은 별도의 글입니다.