개인적인 자가 실험을 진행하며

개인적인 자가 실험을 좀 해보고 있습니다.

목표는 개인의 건강 및 여행 데이터를 활용하여 맞춤형 식단 및 운동 추천을 받는 것입니다. 이때 frontier 모델을 사용하지만, 사적인 정보가 유출되는 것을 방지하는 방식으로 이용합니다.

전략은 다음과 같습니다:
로컬 모델(Qwen 3.8 Flash Next)을 사용하여 전체 과정을 조율하고, 강력한 원격 모델을 도구 호출(tool call)로 활용하여 로컬 모델이 가지고 있지 않은 높은 수준의 사고 및 지식을 얻는 것입니다.

프라이버시를 위한 세 가지 계층적 접근 방식:

1. 개인 식별 정보가 유출되거나 작성 스타일을 통해 신원이 노출되는 것을 방지 -> 로컬 모델이 저 대신 원격 모델에 쿼리를 작성합니다.
2. 결제 채널을 통해 누가 나인지 노출되는 것을 방지 -> zkAPI
3. 네트워킹/IP를 통해 누가 나인지 노출되는 것을 방지 -> Tor

세 가지 모두 필요하며 (적어도 어느 정도까지는) 이제 세 가지 모두 갖추게 되었습니다.

스킬 파일(skill file)은 로컬 모델에게 원격 모델에 최소한의 데이터만 노출하는 요청을 언제, 어떻게 구성해야 하는지 가르쳐 줍니다. zkAPI-wrapped-with-Tor를 CLI 도구로 사용합니다.

그리고 모든 것이 작동했습니다! 추천 정보를 받았고, frontier 모델의 정보가 이를 개선하는 데 도움이 되었습니다.

주요 미흡점:

• Tor는 요청별 디링크(de-linking)에 최적화되어 있지 않습니다. 이는 오늘날 세상에서 의미 있는 유일한 네트워크 계층 프라이버시 형태입니다 (장기간 실행되는 식별자는 너무 취약합니다). 아마도 충분히 사적이지 못하며, 동시에 지연 시간(latency)이 될 수 있는 수준보다 10~100배 더 높습니다.
• 스킬 파일의 요청 구성 전략은 확실히 최적이 아닙니다.
• Qwen 3.8 Flash Next는 여전히 편안하게 사용하기에는 너무 느립니다. 20~30 TPS로 편안하게 작동하지만, 100+에서는 비로소 빠르다고 느껴질 것입니다.
• 트레이드오프가 존재합니다: 원격 모델에 어떤 데이터를 제공하는지에 대해 더 신중할수록, 그 모델이 도움을 줄 수 있는 정도는 적어집니다.