AI에 '일본어로 답해'라고 설정했음에도 불구하고, 질문의 선택지나 조작 설명만 영어로 나오는 경험을 해보신 적이 없으신가요? 표시되는 문구를 일본어로 통일하고 싶다면, 마지막 응답만 보고서는 충분하지 않습니다.
제 환경에서도 일본어 설정을 하고 규칙을 넣었음에도 불구하고, 과거 대화 기록을 살펴보니 응답 문 1,763건 중 683건이 영어였습니다 (메커니즘 적용 전의 기록입니다). 그래서 대화의 진입점, 조작 직전, 종료 시 세 곳에서 표시되는 문구를 체크하는 후크(hook)를 배치했습니다.
어디서 영어가 나왔을까
체크 대상은 제가 눈에 띄는 모든 문구입니다. 마지막 보고뿐만 아니라 중간의 '다음으로 확인하겠습니다' 같은 한 마디나, 질문 선택지, 조작 설명까지 포함합니다. 반면, 코드나 제품명, URL, 파일 경로는 영어인 것이 당연하므로, 영어라고 해서 일률적으로 막을 수는 없습니다.
처음에는 언어 설정과 '일본어로만 작성해라'라는 규칙으로 충분하다고 생각했습니다. 그런데 대화가 길어지면서 지시 사항이 희미해지고, 허가를 요청하는 화면 설명 등에서 영어가 섞이기 시작합니다. 그래서 규칙의 문구를 늘리는 것은 포기하고, 표시되기 직전에 내용물을 조사하는 방침으로 전환했습니다.
진입점・조작 전・종료 시 역할 분담
| 타이밍 | 확인할 것 | 후크 동작 |
|---|
| 제 발언을 받은 때 | 이 응답에서 지켜야 할 지시 사항 | 일본어로 작성하는 범위를 짧게 삽입 |
| ... | | |
| 예를 들어, 조작 자체는 영어 식별자여도, 저에게 보여주는 설명은 '공개 전 원고를 확인하겠습니다'처럼 일본어로 쓸 수 있습니다. 후크는 코드 블록・인라인 코드・URL・경로를 체크 대상에서 제외합니다. 제품명을 영어로 착각하는 경우가 있으므로, 제품명은 인라인 코드로 감싸서 운영하고 있습니다. | | |
작게 시도해 본다면, 대화 종료 시만으로도 충분합니다. 생각을 유사 코드로 쓰면 다음과 같습니다. 실제 구현 방식은 사용 중인 AI 툴의 후크 사양에 맞추어 주세요.
표시 문구 = 마지막 사용자 발언 이후의 AI 문구만 수집
대상 = 표시 문구에서 코드 블록・URL・경로를 제외한 것
영어 문구가 남아 있다면, 종료를 되돌려 일본어로 다시 작성하게 함
후크로도 막을 수 없는 것들
이 메커니즘으로 모든 영어가 표시되기 전에 사라지는 것은 아닙니다. 조작 사이의 한 마디는 다음 조작 전에 찾아내어 다시 말하게 해도, 한 번은 화면에 나타납니다. 대화 중 생각 요약이나 AI 툴 본체 화면 문구에도 이 후크는 도달하지 못합니다.
또한, 오판정으로 인해 대화가 끝날 수 없게 되는 것을 방지하기 위해, 같은 응답에 대한 되돌리기는 3회로 제한하고 있습니다. 후크를 수정하는 도중에 모든 조작이 멈춘 적도 있었습니다. 그 이후로는 후크 수정은 복사본으로 테스트한 후에 한 번에 교체하도록 하고 있습니다.
도입할 때의 순서
- 일본어로 하고 싶은 장소를 마지막 응답・중간의 한 마디・질문・조작 설명으로 나누어 작성한다.
- 실제 대화 기록에서 어디에 영어가 나오고 있는지 조사한다.
- 코드나 경로처럼 영어가 필요한 부분은 체크 대상에서 제외한다.
- 표시되기 전에 막을 수 있는 곳과, 표시된 후에 고칠 수밖에 없는 곳을 나눈다.
- 오판정 시 상한선을 정하고, 후크 자체 테스트를 먼저 통과시킨다.
일본어를 '설정'하는 것과 제가 '일본어만 목격'하는 것은 별도로 확인할 필요가 있었습니다.
지켜지지 않는 규칙을 문장으로 늘리는 대신, 후크에 맡긴다는 생각은 두 개의 AI로 개발하는 책에서도 자세히 쓰고 있습니다.
Discussion
