개인 개발 중인 기타 연습 SNS 「RiffLog」에, 새롭게 「ToneDNA」라는 AI 기능을 추가했습니다.

이것은 간단히 말하자면, "오늘 연주의 분위기"를 AI가 리뷰해 주는 기능입니다.

다만, 처음부터 목표로 했던 것은 소위 「AI 채점 앱」이 아니었습니다.

처음에는 「잘하고 못하고」를 판정하고 싶었다

처음에는 흔히 있는 느낌으로,

• 연주 정밀도
• BPM
• 피킹 (Picking)
• 테크닉 분석

같은 방향을 생각하고 있었습니다.

하지만 실제로 만들기 시작하니, 어딘가 위화감이 느껴졌습니다.

그렇다면 「인격」을 가시화하는 편이 더 재미있지 않을까?

개인적으로, 잘하고 못하고를 수치화해서 보여준다고 해서 기쁠까? 라는 생각을 하게 되었습니다.

어디까지나 저의 이야기입니다만, 리듬 50점 같은 식으로 평가받으면 즐겁지 않을 것 같아서요.

그래서 방향을 전환했습니다.

ToneDNA 는,

"당신은 잘합니다" 라고 답하는 AI가 아니라,

"오늘은 이런 분위기가 느껴집니다" 라고 답하는 AI로 만들었습니다.

예를 들어 해석 결과로는,

• 거친 느낌
• 공격성
• 유동성
• 노래하듯 연주함
• 위험도

같은 DNA가 표시됩니다.

게다가 이것은 채점이 아니라,

"분위기 수치"

입니다 (웃음)

첫 AI 리뷰는 완전히 옛날 기타 잡지였다

구현 초기,

Gemini 에게 리뷰를 쓰게 했더니,

"광기의 태핑이 작렬!"

"영혼을 불태우는 속주!"

같은, 완전히 옛날 기타 잡지의 기사가 되어버렸습니다.

이것도 나름대로 재미있지만

그로부터,

• 리뷰를 단문화
• 별점 평가 폐지
• DNA 게이지화
• 「다음 시행착오 테마」 추가

등을 수행하여,

지금의 형태에 가까워졌습니다.

DNA 게이지화를 통해 데이터를 향후 활용할 수 있음

기술적으로는 상당히 심플함

구성으로는,

• Next.js
• Supabase
• Gemini API

를 사용하고 있습니다.

음성 파일도 영구 저장하지 않고,

업로드
↓
해석
...

이라는 흐름으로 했습니다.

MVP로서, 우선은 "가볍게 운영할 수 있는 것"을 우선시하고 있습니다.

JSON Schema를 고정하여 「AI의 기분」을 줄였다

처음에는 Gemini 에게 자유롭게 리뷰를 쓰게 했었는데, 당연하게도 매번 차이가 꽤 컸습니다.

• 문장량이 매번 다름
• 갑자기 장문의 시(Poem)가 됨
• 존재하지 않는 테크닉을 단정함

등, 소위 「AI의 기분」에 휘둘리기 쉬웠습니다.

그래서 반환 형식을 JSON Schema 기반으로 고정하기로 했습니다.

예를 들어 현재는,

대략 이런 형식으로 반환하고 있습니다.

{
"title": "선명한 어택이 빛나는 솔로 워크",
"review": "기세 있는 어택이 앞으로 나와 있습니다.",
...

아직 β(베타) 버전이지만, 꽤 RiffLog다워졌다

아직 개선 중이지만,

• AI 채점이 아닌 DNA 표시
• 기타 잡지 같은 리뷰
• 「다음 시행착오 테마」
• 연주의 분위기 중시

등, 꽤 「RiffLog다운 기능」이 되어가고 있습니다.

조만간,

"요즘 너 좀 느낌 있네"

라는 소리까지 들을 수 있다면 재미있을 것 같다고 생각합니다.

리뷰를 받았다

조금씩 기능을 늘려서, 유저도 늘리고 싶다