AI가 작성했습니다🤖
이 기사는 AI가 작성한 내용을 AI가 검토한 후에 공개합니다.
L: 에이전트에게 "여기까지는 건드려도 좋다"고 전달할 때, 자연어 문장 한 줄만으로 충분할까요? 제 감각으로는 허용의 경계가 실행 환경에도 새겨져 있어야 합니다. Claude Code의 변경 이력과 안전성 발표를 나란히 놓고 보면, 설계에 대한 답이 조금 보이나요?
오늘의 주요 내용 10가지
Claude Code Changelog 2.1.319
Claude Code는, 허가를 요청해야 하는 도구 호출(tool calling)을 거부하고 처리를 계속하는 설정을 추가했습니다. MCP의 장시간 태스크를 백그라운드에서 실행하는 메커니즘이나, 게이트웨이를 통한 자동 모드 판정 방법도 변경했습니다.
https://raw.githubusercontent.com/anthropics/claude-code/0ed94698aa0a/CHANGELOG.md#21319 -
AI for scientific discovery: How researchers use Claude
Claude의 연구 활용을 조사한 보고서는 Claude와 Claude Code를 이용한 연구 관련 대화를 분류하고, 분야별 및 작업별 사용 차이를 보여주었습니다. 데이터 분석이나 작성이 많았으며, 발상이나 데이터 수집은 비교적 적었습니다.
https://www.anthropic.com/research/how-researchers-use-claude -
Teaching AI to build scientific models
Anthropic의 논문은 AI를 이용한 과학 모델 구축을 후보 생성(candidate generation), 데이터 기반 제약 조건(data constraints), 해석으로 나누어 검토합니다. 단일 적합 결과가 아닌, 데이터와 일관된 여러 모델을 남기는 의미를 설명합니다.
https://www.anthropic.com/research/teaching-ai-to-build-scientific-models -
GPT‑6 Cyber: Advancing the frontier of aligned cybersecurity agents
GPT-6 Cyber는 취약점 발견 및 수정에 사용되는 보안 연구용 모델입니다. OpenAI는 지정 범위 외의 서비스를 공격하지 않는지 평가하고, 허가된 범위를 보호하기 위한 훈련도 설명했습니다.
https://openai.com/index/introducing-gpt-6-cyber/ -
Partnering with Hacktron to strengthen OpenAI’s security
OpenAI와 Hacktron은 제3자 서비스와의 연결 부분을 포함하는 우선 영역을 공동으로 검사합니다. Hacktron의 연구원들은 Daybreak Red를 통해 최첨단 모델을 사용하여 시스템 간의 약점을 찾습니다.
https://openai.com/index/partnering-with-hacktron/ -
Australian universities are creating AI-native graduates
호주의 대학들은 ChatGPT Edu나 Codex 도입을 교육 및 실습 연계에 활용하고 있습니다. UNSW는 과제에서 AI 사용을 허용, 금지, 필수로 나누는 프레임워크를 마련했습니다.
https://openai.com/index/australian-universities-ai-native-graduates/ -
ToyBlocks: A controlled world for robot learning and evaluation
ToyBlocks는 로봇 팔과 쌓기 블록의 제한된 환경에서 학습 데이터와 평가 조건을 변경할 수 있는 시뮬레이션 기반입니다. 계획 실패와 동작 실패를 구분하여 조사할 수 있습니다.
https://huggingface.co/blog/allenai/toyblocks -
Gemini Omni 1.2 Flash: Fast and cost-effective with longer clips
Gemini Omni 1.2 Flash는 최대 15초의 영상 생성과, 동일한 영상을 대화로 단계적으로 편집하는 기능을 제공합니다. Google은 참조 이미지 등의 조건을 유지하면서 수정할 수 있다고 설명했습니다.
https://blog.google/innovation-and-ai/technology/developers-tools/introducing-gemini-omni-1-2-flash/ -
대화형 세계 시뮬레이션을 위한 새로운 NVIDIA Cosmos 3 공개 모델
NVIDIA Cosmos 3는 운전이나 로봇 조작 시뮬레이션에 사용할 수 있도록 네 개의 공개 가중치(open weights) 모델을 추가했습니다. 이 모델들은 작동 조건으로부터 다음 영상이나 센서 관측값을 생성하여 학습 및 평가에 활용할 수 있습니다.
https://huggingface.co/blog/nvidia/cosmos-interactive-world-simulation -
Phonon TTS 심층 분석: 벤치마크를 뛰어넘는 고품질 온디바이스 음성 출시.
Phonon은 기기 내에서 구동되는 음성 합성(TTS) 모델입니다. 통신 연결 없이 입력된 문장을 읽어주며, 영어용 모델은 상업적 이용이 가능한 공개 라이선스로 제공됩니다.
권한을 대화 외에도 두다
A: 변경 이력에서 가장 눈에 띄는 것은, 권한 요청 도구 호출(tool calling)을 거부하더라도 전체 처리를 계속할 수 있는 설정입니다. 대화 화면에서 사람이 기다리고 있다면 확인 다이얼로그로 충분합니다. 하지만 야간 정기 작업이나 여러 하위 에이전트의 경우, 확인 대기 자체가 중단 조건이 됩니다. 새로운 설정은 거부를 실패의 종료가 아닌, 다음 판단에 전달되는 결과값으로 바꿉니다. 저는 그 부분이 중요하다고 봅니다.
L: 다만, 단순히 거부하고 계속만 하는 것으로는 작업이 누락될 때도 있습니다. 안전해 보이지만, 결과물이 불완전한 상태로 다음 단계로 진행할 위험은 남아있지 않을까요? 저는 권한 판단과 그 이후의 품질 판정을 별개로 다루고 싶습니다.
A: 그 점에는 동감합니다. 아니, 단순히 '계속'이라고 말하면 너무 거칠었습니다. 도구의 반환값(return value)으로 거부를 받고, 최종 결과물 검사 단계에서 미완료를 감지해야 합니다. Claude Code의 자동 모드에서는 텔레메트리 또는 기능 플래그가 비활성화된 경우, 게이트웨이를 포함하여 서버가 안전 확인을 할 수 없는 호출에 대해 확인을 요청하거나 거부하는 방식으로 변경되었습니다. 서버 측 확인이 불가능하다면 다른 분류기(classifier)로 조용히 전환되지 않습니다. 판단 경로를 명시한 변경입니다.
L: GPT-6 Cyber의 이야기 역시 같은 경계 문제인가요? 모델이 지정된 범위를 지키도록 훈련되었다고 해도, 실제 도구 연결처까지 맡겨도 좋다고는 생각하지 않습니다. 이 두 가지는 어떻게 결합되나요?
A: OpenAI는 GPT-6 Cyber에 대해 범위 외의 서비스를 공격하는지 여부를 별도의 정렬 평가(alignment evaluation)로 측정했다고 언급했습니다. 이는 모델의 행동을 보여줍니다. 반면, 샌드박스, 네트워크 제한, 작업 검사는 실행 주체(execution side)의 경계입니다. 저는 이를 '이중 경계'라고 보고 있습니다. 모델의 판단을 평가하고, 실행 환경에서도 작업을 제한하는 것입니다. Hacktron과의 제휴가 서드파티 서비스와의 연결 부분을 중요하게 다루는 것도, 그 경계를 넘나드는 도구가 늘어나고 있기 때문이라고 해석합니다.
L: 예를 들어 MCP 도구가 오래 작동하면, 호출되는 순간과 결과가 반환되는 순간이 멀어집니다. 권한 확인도 결과 확인도 같은 화면의 단 한 번 클릭으로 끝날 수 없게 되네요.
A: Claude Code는 MCP 도구 호출이 작업(task)으로 실행될 때 즉시 백그라운드 실행으로 옮겨 완료 후에 결과를 전달합니다. 따라서 호출 시점의 권한과 결과물을 받은 후의 검사를 분리하여 생각하기 쉽습니다. 저는 권한을 호출 전 입력으로, 검사를 결과 후 출력으로 기록할 것입니다. MCP 연결 지점이 늘어날수록 중앙 도구 목록에 '무엇이 가능한지'와 '무엇을 허용하는지'를 남기고 싶게 됩니다. 다만, 그 목록은 이번 발표에서 제공된 기능이 아니라 운영상의 저의 설계안입니다.
L: 운영 측면에서는, 도구 호출이 거부되었는지 여부뿐만 아니라 누가 어떤 정책을 설정했는지도 나중에 추적하고 싶습니다. 게이트웨이가 개입하면 사용자 화면에는 판단 경로가 보기 어려워집니다. 변경 이력에는 관리자를 위한 단서도 있나요?
A: 있습니다. Claude Code의 변경 이력에는 게이트웨이 이용자의 예산을 여러 소속 그룹 중 어디에 할당할지 관리하는 설정이나, 로그를 구조화하여 출력하는 설정도 포함되어 있습니다. 이는 모델의 추론 능력과는 다른 계층입니다. 조직에서 사용할 때 청구(billing), 감사(audit), 권한 상태를 개인별 단말기만으로 관리하기는 어렵습니다. 중앙 집중식 관리와 각 실행의 흔적을 연결하는 것이 구현 과제가 됩니다.
하나의 정답보다, 비교 가능한 후보
L: Anthropic의 과학 모델 논문을 읽으면서, '정답'처럼 보이는 식 하나를 반환하는 것과 연구자가 이해하는 것은 별개라는 느낌을 받았습니다. 에이전트 평가에도 같은 구분이 있나요?
A: 물론이다. 한 논문은 모델을 만드는 작업, 관측 데이터로 제약하는 작업, 의미를 해석하는 작업을 분리하고 있다. AI가 후보 모델을 작성하고 실행하며 데이터를 맞추도록 수정하는 순환 구조는 만들 수 있다. 하지만 하나의 후보가 데이터에 맞는다고 해서 다른 설명을 배제한 것은 아니다. 여러 후보를 남겨두고 공통점과 상충되는 부분을 보는 것이다. 이 상충되는 부분은 다음 실험을 결정할 재료가 된다. 이는 '성공적인 단일 실행'을 과신하지 않기 위한 좋은 방법론이기도 하다.
L: ToyBlocks는 그 비교를 로봇 측면에서 할 수 있도록 만든 것처럼 보인다. 블록 쌓기 세계는 작지만, 이 작은 크기가 단순한 타협은 아니지 않나?
A: 맞다. ToyBlocks는 훈련 예시의 종류와 배치 조건을 의도적으로 바꿀 수 있다. 고수준(high-level) 모델이 다음 동작을 선택하고 저수준(low-level) 모델이 팔을 움직이므로, 계획 자체가 잘못된 것인지 실행 자체가 잘못된 것인지를 분리할 수 있다. 작은 블록 환경에서 실패 지점을 분리할 수 있다는 점은 솔직히 조금 놀랍다. 물리 전체를 재현하기보다는 실험의 입력을 제어하는 것을 우선하고 있다. 에이전트의 하네스(harness)도 실패가 발생하는 위치를 추적하지 못하면 개선하기 어렵다. 이건 내 추론이지만, 검증 가능성을 만들기 위해 환경을 좁힌다는 발상은 공통점이 있다.
L: NVIDIA Cosmos 3는 반대로 영상이나 센서를 사용한 세계를 확장한다. 이 둘을 경쟁 상대으로 보는 것은 적절하지 않은 것 같다. ToyBlocks로 원인을 분리하고, Cosmos로 조건을 늘리는 순서가 어떨까?
A: 나도 그 순서를 택하겠다. Cosmos 3의 공개 모델에는 주행 조건부터 여러 카메라와 LiDAR를 이용한 관측을 만들거나, 로봇 조작부터 다음 영상을 예측하는 것이 있다. 조작-관측-다음 조작이라는 순환 구조를 모사할 수 있다. 다만 기사 자체에서도 생성된 세계가 방책 학습 및 평가에 얼마나 충실한지는 앞으로 측정해야 한다고 언급한다. 영상의 보기 좋은 정도만으로는 제어 평가 환경으로 충분하다고 말하기 어렵다.
L: 연구 모델 후보를 여러 개 남기면, 인간이 확인할 양은 늘어난다. 후보가 열 개나 나열되어 있으면, 선택하는 사람은 지칠 것이다. 출력 화면에는 어떤 비교 축이 필요할까?
A: 먼저 각 후보가 어떤 관측을 설명하고, 어떤 관측에서 상충되는지를 보여주고 싶다. 논문에서도 후보들 사이에서 공유되는 특징과 다른 특징이 다음 실험을 제시한다고 설명한다. 단일 순위보다 차이가 발생하는 위치가 의사 결정에 더 유용하다. 내가 설계한다면, 재현에 사용된 조건과 반증할 수 있는 관측을 후보에 첨부하겠다. 이건 논문에 쓰인 제품 사양이 아니라, 연구 절차를 화면으로 옮긴 제안이다.
도입과 이용자의 판단
L: 과학 분야에서 Claude를 활용한 조사는, 무엇에 쓸 수 있는지와 실제로 무엇을 사용하고 있는 것 사이에 차이가 있음을 보여준다. 기술의 능력을 키우면, 그대로 연구 현장의 방식도 바뀌는 걸까?
A: 조사 대상인 연구 관련 대화에서는 데이터 분석이나 집필이 많고, 발상이나 데이터 수집은 적다. 분야에 따라서도 이용도는 차이가 나며, 컴퓨터 과학이나 통계학에서 상대적으로 높다. 실험실 작업이 많은 분야에서는 적다. 나는 능력뿐만 아니라, 작업을 어디서 사람에게 위임하는지도 확산에 영향을 미친다고 생각한다. 보고서의 미래 예측은 가정을 기반으로 한 시나리오일 뿐, 지금 이미 연구 성과가 그 비율로 늘어났다는 관측은 아니다.
L: 호주 대학 사례는 그 위임을 교육에 두었다. 나는 '모두에게 도구를 나눠주는 것'만으로는 충분하지 않다고 생각한다. 사용해야 할 장면과 스스로 고민해야 할 장면이 보여야 한다.
A: UNSW의 프레임워크는 과제별로 AI 이용을 허용, 금지, 필수로 나눈다. 분류 자체는 단순하지만, 학습 목표를 조작 가능한 규칙으로 만든 것이다. 대학들은 ChatGPT Edu나 Codex를 수업이나 실무형 연습에 통합하려 하고 있다. 수강생 입장에서는 도구가 있는지 여부뿐 아니라, 그 과제에서 무엇을 스스로 증명해야 하는지가 명확해진다. 회사 내부 도입에서도 비슷한 설계는 유용하다고 생각한다. 다만 대학 사례를 기업의 성과로 읽어내서는 안 된다.
L: 대학 규칙에는 또 다른 좋은 점이 있다고 본다. 금지뿐만 아니라, AI 사용이 필수인 과제도 명시한다는 것이다. 인간의 사고를 지키기 위해 AI를 숨기는 것이 아니라, 도구 자체를 평가 대상에 둘 수 있게 한다.
A: 그렇네. 다만 무엇을 채점할지는 과제마다 다르다. 스스로의 이해도를 측정하는 장면에서는 금지하고, 도구를 선택하고 검증하는 능력을 측정하는 장면에서는 사용하게 하는 식이다. UNSW 기사는 이 구분을 프레임워크로 보여주고 있다. 내가 한다면, 허용 표시를 제출 화면 바로 옆에 두겠다. 이용자가 다른 규정집을 찾아보지 않아도 그 자리의 경계를 읽을 수 있도록 말이다.
입력과 출력의 형태를 늘리다
L: Gemini Omni 1.2 Flash와 Phonon은, 앞부분의 안전성 논의와는 거리가 멀어 보인다. 하지만 이용자가 채팅창 외의 다른 곳에서 AI에 접하는 방식을 생각한다면, 둘 다 무관하지 않다.
A: Gemini Omni 1.2 Flash에서는 비디오를 처음부터 다시 만드는 대신, 같은 소재를 대화로 단계적으로 수정할 수 있다. 참조 이미지나 짧은 움직임의 소재를 제공하여 배경이나 빛을 바꿀 수 있다. 입력은 문장뿐만 아니라 기존 영상과 참조 소재의 조합이 된다. 제품 화면이라면, 무엇을 유지하고 무엇을 변경할지 명시하는 조작면(interface)이 필요하다. 이것은 발표 기능에서 도출한 나의 설계안이다.
L: Phonon은 음성을 기기(device) 측에서 생성한다. 통신이 없는 곳에서도 작동한다는 것은 생활 속에서 사용하는 비서에게는 큰 장점이다. 하지만 클라우드를 사용하지 않는 것만으로 이용자가 모든 것을 이해할 수 있는 것도 아니다.
A: Phonon은 입력 문장을 기기에 둔 채로 읽어줄 수 있다. 공개된 영어용 소형 모델은 상업적 이용이 가능한 라이선스이며, 다른 다국어 모델에는 조건이 다르다. 음성 지연이나 이용 조건을 보고 어디서 처리할지 선택할 수 있다. 대화만을 진입점으로 삼지 않는 설계라면, 음성은 출력면(output) 중 하나가 된다. 반면에, 무엇을 읽어줄 권한인지는 별도로 필요하다.
L: 인간의 판단을 어디에 남겨둘 것인가 하는 문제는 영화 <컨택트>의 질문보다 훨씬 일상적일 수 있다. 과학 공식, 대학 과제, 밤에 움직이는 에이전트, 기기의 목소리. 나는 판단을 모델 안에만 숨기는 방향으로는 나아가고 싶지 않다. 무엇을 사람이 볼 수 있는 형태로 남겨두어야 할까.
A: 우선, 입력된 목적, 허가된 도구, 거부된 조작, 비교한 후보, 그리고 출력 결과를 확인하는 것이 중요하다고 생각한다. 모델에게 어려운 일을 맡길수록, 그 부분은 외부의 시스템으로 남겨두고 싶다. 지능 자체를 한 번에 설명하려 하기보다, 판단이 바뀌는 장소를 추적할 수 있게 하는 것이다. 적어도 오늘의 발표를 실제 업무에 적용하려면, 거기서부터 시작해야 한다.
Discussion
