저는 게임 방송과 같은 라이브 스트리밍 시청을 좋아합니다. 하지만 채팅창이 난잡할 때가 있어 보기 불편할 때면 방송 시청을 중단하기도 합니다.
그래서 YouTube의 채팅 댓글을 AI에 보내 점수를 매기고, 악성 댓글을 비표시 처리하는 Chrome 확장 프로그램을 만들고자 생각했습니다.
이 확장 프로그램 제작을 구상한 것은 지금으로부터 1년 반 전입니다. 당시에는 LLM(Large Language Model)을 사용하여 댓글을 판정할 계획이었으나, 응답 시간과 비용 외에도 돌아오는 점수화 형식의 보장이 어렵다는 것이 걸림돌이 되어 개발을 중단했습니다.
하지만 Jev가 등장하면서 이 세 가지 과제가 모두 해결되었기 때문에 확장 프로그램 개발을 재개하게 되었습니다.
![[articles/images/agent-moderator/스크린샷 2026-10-24 141417.png]]
![[articles/images/agent-moderator/스크린샷 2026-10-24 141610.png]]
이 확장 프로그램을 사용하려면 Jev와 YouTube 측의 API 키를 각각 준비해야 합니다. 채팅을 점수화하여 악성으로 판정된 댓글이 표시되지 않도록 할 수 있습니다.
점수는 총 7개 항목으로 계산하며, 이 중 가장 높은 점수를 해당 댓글의 점수로 취급합니다. 점수가 높을수록 악성이며, 설정한 임계값(threshold)을 초과하는 댓글은 표시되지 않습니다. 임계값은 설정에서 변경할 수 있습니다.
당초에는 YouTube 측 채팅창에서 악성 댓글에 display: none을 지정하여 비표시 처리하는 방식으로 구현했습니다. 그러나 YouTube에 리뷰를 요청했을 때, YouTube의 UI를 수정하거나 오버레이를 겹치는 것은 규정 위반이라는 답변을 받았습니다. 따라서 확장 프로그램 자체의 채팅창에서 댓글을 비표시 처리하는 방식으로 변경하게 되었습니다.
당초 예상과는 조금 다른 구현이 되었지만, 이것 나름대로 장점이 있다고 느낍니다. 바로 YouTube 외의 스트리밍 서비스에서도 동일한 메커니즘으로 댓글 점수화를 할 가능성이 있기 때문입니다.
예를 들어, 게임 방송을 YouTube와 Twitch에서 동시 송출하는 경우, 각각의 댓글창을 하나로 모아 방송을 보면서 댓글을 확인하고 동시에 악성 댓글을 제외할 수 있게 될 수도 있습니다. 현재는 Twitch 채팅을 Jev에 보내 판정하게 해도 되는지 Twitch 측에 문의하고 있으며, 이 내용은 Issue에도 추가했습니다.
현재 AI 활용 방식은 크게 '이미지를 통해 무언가를 창조하는 사용법'과 '무언가를 판단하게 하는 사용법'의 두 가지로 나눌 수 있다고 생각합니다.
전자는 메일이나 초안 생성 등이 있으며, 후자는 메일 내용에서 중요도를 판정하거나 태그를 다는 방식이 있습니다. 프로그램에 AI를 결합하는 경우에는 후자처럼 판정을 맡기는 사용법이 많지 않을까 싶습니다.
따라서 Jev를 활용한 프로그램은 앞으로 늘어날 것이라고 생각합니다. 직접 사용해 보니 LLM보다 다루기 쉽다고 느꼈습니다.
※ 이미지는 영어 표기이나, UI는 한국어를 지원하고 있습니다.
- Chrome Web Store: Agent Moderator
- 소스 코드: GitHub
