Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
로컬 환경에서 gemma4를 이용한 뉴스 선별기 성능을 테스트하고, 프롬프트 개선의 중요성을 확인했습니다. 초기 정확도가 43%에 머물렀으나, 주제 설명 문구(프롬프트)를 구체화하여 수정하자 적중률이 78%로 크게 향상되었습니다. 이는 모델 자체보다 명확한 지시문 설계가 성능에 결정적인 영향을 미친 사례입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X AI 연구의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기다른 X 글에서 모델 바깥의 지시문·검증 장치(하네스)가 성능에 필수라는 얘기를 보고, 집 맥미니 로컬 LLM 뉴스 선별기를 처음으로 채점해봤음. 내 정답과 일치율 43%. 모델은 그대로 두고 주제 설명 문구만 다시 썼더니 같은 기사에서 78%가 나옴.
선별기는 gemma4:12b임. 기사마다 0(무관)·1(배경)·2(관련)를 매기고, 0만 자동으로 버림. 나머지는 Claude가 다시 읽음.
채점용 기사 100건은 10월 7일에 뽑아만 두고, 정답은 안 채운 채 방치돼 있었음.
오늘 휴대폰으로 100건 정답을 직접 매김. 10분 남짓 걸림.
결과는 43% 일치. gemma가 '관련'이라고 한 30건 중 진짜 관련은 11건뿐이었음.
틀린 것 중 gemma만 '관련'으로 본 기사가 17건이었음. 대부분 다른 곳의 개별 사건 기사였음. 나는 나한테 직접 적용되는 제도 기사만 관련으로 쳤는데, 선별기 설명에는 '~전반'이라고 넓게 써 놨었음.
그래서 설명 문구를 다시 씀. 나한테 직접 적용되는 제도 기사는 관련, 다른 곳의 개별 사건 기사는 무관이라는 포함·제외 예시를 넣음. 모델과 판정 규칙은 그대로.
같은 100건을 다시 판정했더니
‣ 일치 43% → 78%
‣ '관련' 적중 11/30 → 16/17
‣ Claude가 다시 읽을 기사 100건당 70 → 43
기존 문구로 한 번 더 돌려봤는데 10월 7일 결과와 한 건도 안 바뀜. 그러니 이 100건에서 생긴 차이는 모델 컨디션이 아니라 문구 차이임.
남은 오차는 대부분 내가 관련으로 본 기사를 gemma가 배경으로 낮춰 준 경우(10건)임. 배경도 Claude가 다시 읽는 구간이라, 실제로 버려진 관련 기사는 100건 중 2건.
다만 이 100건을 보고 문구를 고친 거라, 새 기사에서도 78%가 나올지는 아직 모름. 다음 주 수집분으로 다시 재볼 계획임.