Claude vs GPT vs Gemini 🥊 | 동일한 대화에서 실제로 이들을 비교하는 방법

여러분도 궁금해했을 것입니다. ChatGPT에서 괜찮은 답변을 얻었을 때, 마음 한구석에서 이런 의문이 들곤 하죠. 'Claude라면 더 깔끔하게 처리했을까?', 'Gemini라면 예외 케이스 (edge case)를 잡아냈을까?'

솔직한 대답은, 여러분은 보통 확인하지 않는다는 것입니다. 왜냐하면 확인한다는 것은 다른 곳에서 모든 설정을 다시 해야 한다는 의미이기 때문입니다.

여기에 함정이 있습니다. 진정한 비교는 두 모델이 동일한 컨텍스트 (context)를 가질 때만 의미가 있습니다. 동일한 프롬프트 (prompt), 동일한 제약 조건 (constraints), 동일한 히스토리 (history)가 있어야 합니다. 새로운 탭에 설정을 다시 입력하는 순간, 여러분은 입력을 변경하게 됩니다. 무언가를 줄이거나, 단어를 바꾸거나, 잊어버린 세부 사항을 빠뜨리게 되죠. 이제 여러분은 모델을 비교하는 것이 아닙니다. 약간씩 다른 두 대화를 비교하면서 그것이 동일하다고 가정하고 있는 것입니다.

"동일한" 프롬프트를 세 번째 다시 입력하면서 이것을 과학이라고 부르는 중.

그래서 저는 대부분 신경 쓰지 않았습니다. 첫 번째 모델이 주는 답변을 그대로 받아들이고, 알 수 없다는 작은 찝찝함을 안은 채 넘어가곤 했습니다.

변화는 어리석고, 저 스스로도 바보 같다고 느껴질 정도입니다. 저는 대화를 다시 구축하는 대신, 정확한 대화 내용을 모델 간에 이동시키기 시작했습니다.

'Migrate My AI Chat'이라는 Chrome 확장 프로그램이 있는데, 이는 여러분이 이미 사용 중인 AI 사이트에 작은 버튼을 추가해 줍니다. 저는 ChatGPT에서 실제 답변을 얻을 때까지 전체 스레드 (thread)를 진행합니다. 그런 다음 그 동일한 대화를 Claude로 보냅니다. 바이트 단위까지 동일한 동일한 히스토리 (history)를 말이죠. Claude는 이를 받아들여 동일한 상황에 대해 답변합니다. 그런 다음 Gemini를 대상으로 이 과정을 다시 반복합니다.

이제 저는 실제로 모델을 비교하고 있습니다. 프롬프트에 대한 제 기억이 아니라 말이죠.

팝콘을 손에 들고, 세 모델이 정확히 동일한 스레드에 답변하는 것을 지켜보는 나.

이런 방식으로 하면 무언가를 빠르게 배울 수 있습니다. 어떤 모델은 단 두 줄의 수정만 요청했는데 파일 전체를 리팩터링 (refactor) 하려 듭니다. 어떤 모델은 말을 흐리며 확답을 피합니다. 또 어떤 모델은 다른 모델들이 그냥 지나쳐 버린 null 케이스 (null case)를 잡아냅니다. 이제 어떤 AI가 추상적으로