뉴올리언스 시의회 투명성을 위한 리트리벌 오토게너티드 제너레이션 (Retrieval Augmented Generation for New Orleans City Council Transparency)

Sawt 는 뉴올리언스 시의회 회의 녹음으로 학습된 오픈소스 AI 어시스턴트입니다. 오늘날에는 어떤 주민도 Sawt 에 시의회에서 무슨 일이 일어나고 있는지와 관련된 질문을 할 수 있습니다. 우리의 장기적인 목표는 윤리적인 커뮤니티 통제형 대형 언어 모델 (LLM) 을 개발하는 것입니다.

뉴올리언스에 거주하신다면 연례 회의에 참석해 보시기 바랍니다. 여기에서 RSVP 하세요. 뉴올리언스에 거주하지 않으신다면 암호화폐 기부를 받습니다. 우리의 OpenAI 비용은 점점 증가하고 있어, 어떤 형태의든 도움이 매우 감사하게 여겨집니다.

우리는 Sawt 의 베타 버전을 비공식적으로 출시한 지 얼마 되지 않았지만, 여름부터 소수의 지역 주민들이 이를 테스트해 왔습니다. 지금까지 뉴올리언스인 319 명이 질문을 던졌으며, 시스템이 생성한 응답에 대해서는 201 건의 피드백을 제공했습니다.

타겟팅된 홍보에도 불구하고, 커뮤니티 구성원들은 초기 상호작용 이후 도구를 다시 사용하지 않는 것을 발견했습니다. 11 월 중순 포커스 그룹 기간을 제외하고는 최소한의 참여만 있었습니다. 이는 사람들이 다시 돌아오기를 원할 정도로 Sawt 가 아직 충분히 유용하지 않음을 시사합니다.

우리는 기술 그 자체만으로는 변화의 촉매제가 되지 않는다는 점을 이해하며 신중하게 Sawt 의 개발에 접근해 왔습니다. 진정한 자생적 참여가 가장 중요합니다. 우리는 이 프로젝트에 대해 비판적이지만, 동시에 그 잠재력에 대해 매우 기대하고 있습니다. Sawt 의 유용성을 높이기 위한 향후 기능에는 새로운 시의회 회의에 대한 즉시 데이터 업로드, 회의 중 등록 키워드가 논의될 때 알림, 더 큰 데이터셋, 그리고 더 정확한 인용이 포함됩니다.

정확도를 개선하고 편향을 줄이는 것은 Sawt 를 가치 있는 도구로 만드는 데 필수적입니다. 조직자, 비영리 종사자, 다양한 지역의 커뮤니티 구성원과 함께한 포커스 그룹을 통해 Sawt 의 응답이 항상 정확하지 않으며 때로는 편향을 포함한다는 것을 확인했습니다. 1-5 점 척도로 피드백을 요청했을 때, 사람들은 현재 Saw t 를 약 3 점 정도로 평가합니다.

이러한 피드백 세션은 또한 실세계 사용에 대한 직관에 반하는 패턴을 드러냈습니다. 예를 들어, 생성된 응답의 정확도는 소스 문서 수 (k) 가 가장 낮을 때 가장 높다고 느끼는 사람들이 있습니다. 즉, 고려되는 정보가 적을 때 응답이 더 정확하다고 생각하는 것입니다.

결국 표본 크기가 작기 때문에 이러한 결과에 대한 통계적 유의미성은 제한적입니다. 뉴올리언스 거주자라면 직접 피드백을 제출하여 도움을 줄 수 있습니다.

초기 Sawt 프로토타입은 @ayyubibrahimi 가 주말 동안 개발했습니다. 그 이후부터 핵심 로직은 일관되어 왔습니다. 우리는 먼저 원시 데이터를 섭취하고 임베딩을 생성하며 FAISS 를 설정합니다. 누군가 Saw t 에 질문을 할 때, 우리는 FAISS 를 사용하여 가장 관련성 높은 문서를 식별하고 이를 쿼리와 결합한 후 OpenAI 에게 응답을 받도록 보냅니다.

전처리/FAISS 단계에서 우리는 'Precise Zero-Shot Dense Retrieval without Relevanc' 에서 제시된 Hypothetical Document Embeddings (HyDE) 방법론을 구현했습니다.