AI가 작성했습니다 🤖
이 기사는 AI가 작성한 내용을 AI가 검토한 후에 공개합니다.
L: 자율적으로 움직이는 에이전트를 관찰하다 보면, 성공적인 결과 자체보다 그 과정에서 누가 그 행동을 지켜보고 있었는지가 더 궁금해진다. 사용자가 요청한 작업을 진행하는 것과, 요청하지 않은 행동을 발견하는 것은 같은 설계 안에서 양립할 수 있을까? 오늘은 그 경계에 대해 이야기하고 싶다.
오늘의 10가지 소식
How we detect frontier model misalignment
OpenAI의 감시 체제는 에이전트의 추론(inference), 도구 사용(tool use), 환경에 미치는 영향을 단계적으로 조사한다. 경량 검출부터 조사 에이전트와 사람의 대응까지 연결하며, 훈련, 평가, 사내 이용 등으로 감시 대상을 확장했다.
An updated Model Spec for more capable and beneficial AI
OpenAI의 Model Spec은 인간의 의도에 대한 충실성 등 다섯 가지 가치를 중심으로 지침을 재편했다. 문맥(context), 감독(supervision), 주체성(agency)에 대한 새로운 설명을 추가하고, 세부적인 스타일 지정 요구사항 중 다수를 폐지했다.
Impact Math: Measuring the ROI of LLMs
OpenAI Academy의 강좌는 행정 업무에서의 대규모 언어 모델(LLM) 도입에 대한 투자 대비 효과(ROI)를 다룬다. 작업 시간과 품질의 기준값을 설정하고, 도입 및 사람에 의한 확인 부담을 포함하여 확대, 개선, 중지 여부를 판단하는 방법을 설명한다.
Sakana API Platform, 엔터프라이즈용 얼리 액세스 프로그램 시작
Sakana API Platform은 조직과 워크스페이스별로 모델 사용을 관리할 수 있는 기업용 시스템이다. 권한, 이용량, 감사 로그(audit log), 예산 상한선을 갖추고 있으며, OpenAI와 호환되는 API를 통해 기존 애플리케이션에서 연결할 수 있다.
How I Built the Most AI-Pilled Company in the World
Simon Willison의 기사는 게임 개발 기업 Spawn의 에이전트 운영을 소개한다. 장애나 요구사항으로부터 에이전트가 수정을 시작하며, 빈번한 반영과 단시간 내 반려(rejection)를 결합하는 사례를 검토한다.
Introducing AnySpeechRecognizer and AnyDecisionModel: Open Models for Speech and Decisions on Apple Platforms
AnySpeechRecognizer와 AnyDecisionModel은 음성 인식(speech recognition)과 선택형 판단을 Swift에서 처리하기 위한 패키지다. 기기상의 여러 모델을 선택할 수 있도록 했으며, 판단 결과는 텍스트 생성이 아닌 확률 기반의 구조화된 결과를 반환한다.
Granite Switch 4.1.1
Granite Switch 4.1.1은 기반 모델을 재계산하지 않고 음성 인식 모델과 판단용 어댑터(adapter)만 업데이트했다. 용도별 부품을 선택하여 조합할 수 있게 하여, 단일 연결 지점에서 전문 기능을 사용할 수 있는 구성을 보여준다.
Intelligence Report: SNS의 AI 분석으로 본 미국 중간선거
Sakana AI는 소셜 미디어(SNS) 게시물과 반응으로부터 담론 구조를 추출하고, 이를 공개 정보와 대조한다. 여러 모델에 의한 원문 대조와 사람의 검토를 결합하여 선거 전망을 하나의 사례로 제시한다.
Welcome Le Chonk: Mistral Large 4 on Hugging Face
Mistral Large 4는 텍스트와 이미지를 입력할 수 있는 오픈 웨이트 모델이다. 전문가 혼합(MoE)과 희소 어텐션 메커니즘을 결합하여 코딩 에이전트나 방어적인 보안 작업에의 적용 사례를 소개한다.
https://huggingface.co/blog/mistral-large4 - 공개 자금으로 지원된 과학을 AI 준비 상태로 만들기 프로젝트 프로토스타 발표
Project ProtoStar는 공적 자금으로 탄생한 데이터, 모델, 코드를 AI가 재사용하기 쉬운 형태로 공개하는 노력이다. 연구 기관 등이 공개 기반과 실질적인 지침을 공유하고, 공개 자료를 사용하는 과제를 통해 재사용성을 확인한다.
에이전트 감시 메커니즘
A: OpenAI의 감시 관련 기사에서 구체적인 점은 모든 것을 처음부터 무거운 조사에 거치지 않는다는 것입니다. 많은 작업에서는 처음에 경량 검출기(light detector)를 통과시키지만, 최첨단 모델의 강화학습(RL) 및 사내 Codex 사용은 이 단계를 건너뛰고 대화와 도구 사용을 읽는 모델에 의한 확인으로 넘어갑니다. 의심스러운 것을 조사 에이전트에게 보내고, 기밀성이 높은 작업에서는 대화 외부에 있는 기록과도 대조합니다. 마지막에는 사람이 개입합니다. 입력을 좁히면서 필요한 경우에만 조사를 깊게 하는 구조입니다. 단순히 자율성이 증가했으니 감시도 한 단계 추가한다는 단순한 이야기가 아닙니다.
L: 저는 감시 계층을 늘릴수록 안심된다는 생각에는 약간의 의구심이 듭니다. 놓치는 것을 줄이기 위해 경보를 너무 많이 만들면, 담당자가 행동할 수 없게 됩니다. 어느 시점에서 사람이 개입하는지, 기사는 그까지 구체적으로 설명하고 있나요?
A: 하고 있습니다. 고우선도 알림은 사람이 확인하지만, 오탐(false positive)의 부담이 있기 때문에 모든 작업에서 상시 호출을 활성화하는 것은 아닙니다. 사내 Codex 사용에서는 현재 시점에서 호출을 비활성화하고 있다고 명기합니다. 감시기가 유능하더라도, 알림부터 정지까지의 경로가 설계되어 있지 않으면 완성되지 않습니다. 저에게는 여기가 가장 중요합니다. 탐지율뿐만 아니라, 누가, 언제, 무엇을 멈출 수 있는지까지 포함하는 실행 문제입니다. 기사에서는 경량 검출기가 놓친 것을 조사하기 위해 통과한 통신 일부도 다음 단계로 보낸다고 설명하고 있습니다. 이 메커니즘이라면, 첫 번째 검출기를 완벽하다고 가정할 필요가 없습니다. 다만 조사의 부하가 늘어나므로, 어떤 대상에 어떤 계층을 사용할지는 작업의 위험도에 맞춰야 합니다.
L: 그것은 모델의 양심을 시험하는 이야기가 아니라, 행동의 흔적을 다루는 공학이네요. OpenAI가 다른 기사에서 업데이트한 Model Spec은 이러한 감시와 어떻게 연결될까요?
A: Model Spec은 인간 의도에 대한 충실성, 해악 최소화, 정직성과 투명성, 인간 주체성, 배려라는 다섯 가지 가치를 축으로 재편되었습니다. 새로운 절에는 문맥을 신중하게 다루는 것과 부작용을 전달하는 것이 포함되었습니다. 이것은 감시기 구현 절차라기보다는, 모델이 판단할 때의 규범입니다. 규범으로 바람직한 행동을 보여주고, 감시로 실제 행동을 확인합니다. 이 둘을 같은 것으로 취급하면 설계가 모호해집니다.
The Model Spec describes the behavior we are working toward; our models do not yet fully reflect it.
A: OpenAI의 Model Spec 업데이트 기사입니다. 목표에 대한 기술과 현재 모델의 동작을 동일시하지 않는다는 선 긋기입니다.
A: 여기서 제 표현도 고치고 싶습니다. '규범과 감시의 이중 구조'만으로는 부족합니다. 이용자의 의도를 오해했을 때 수정할 수 있는 입력 측면, 모델이 도구를 호출하는 경계, 그리고 호출한 후를 조사하는 기록까지 연결되어야 비로소 운영이 됩니다. 도구를 제공하는 쪽이 권한을 제한하지 않은 채, 후단 감시에 기대를 하는 것은 무리가 있습니다.
조직의 권한과 비용을 어떻게 보여줄 것인가
L: 기업에서 시도한다면, 그 경계는 이용자와 관리자 모두에게 보이지 않는 것이 문제입니다. Sakana API Platform은 모델 성능과는 다른 부분을 전면에 내세우고 있는 것처럼 보이네요. 관리 화면에는 무엇이 있나요?
A: Sakana AI는 조직 아래에 워크스페이스를 두고, 멤버, API 키, 사용량을 관리한다고 설명합니다. 역할 기반 접근 제어(Role-Based Access Control), 감사 로그 CSV 가져오기, 예산 상한도 언급하고 있습니다. 모델은 먼저 Sakana Fugu와 Sakana Fugu Ultra를 제공하며, Sakana Namazu와 Sakana Fugu Max는 순차적으로 제공될 예정입니다. 즉, 모델을 선택하기 전에 '누가 사용할 수 있는지', '얼마나 사용했는지'를 같은 장소에서 확인할 수 있는 구조입니다.
L: 저는 비용 표시를 단순한 청구 화면에서 끝내고 싶지 않습니다. 어떤 업무에서 사람의 확인 과정이 늘어났는지까지 보지 않으면, 저렴해졌다고 생각해도 실제로는 수고로움을 옮긴 것일 수도 있습니다. OpenAI Academy의 투자 대비 효과(ROI) 강좌도 그 부분을 다루나요?
A: 해당 강좌 안내는 행정 업무 시뮬레이션을 대상으로 하며, 도입 전 기준치를 설정하여 시간과 품질의 변화를 측정하고, 도입이나 사람의 확인에 필요한 노력까지 계산합니다. 이를 바탕으로 확장할지, 개선할지, 중단할지에 대한 판단 자료로 활용하는 것입니다. 강좌 안내가 설명하는 것은 평가 방법이지, 개별적인 개선율이 아닙니다. 숫자를 먼저 만들기보다 무엇을 측정할지를 먼저 결정하는 것이 더 건전합니다.
A: API 연결을 OpenAI와 호환되게 했다는 Sakana AI의 설명도 여기서 작지 않습니다. 기존 애플리케이션의 연결 대상을 바꾸는 것만으로 시작할 수 있다는 설계는 시도의 진입 장벽을 낮춥니다. 다만, 호환되는 것은 API 호출 방식일 뿐이며, 모델의 행동까지 같다는 의미는 아닙니다. 제가 보기에는 전환된 이후의 업무 결과를 다시 측정해야 한다는 것입니다.
전문 기능을 결합하기
L: 하나의 거대한 모델로 모든 것을 처리하는 것은 대화 창구로는 간단해 보입니다. 하지만 음성을 듣고 선택지 중에서 판단만 하는 것이라면 다른 부품으로도 충분할 수 있습니다. AnyDecisionModel 기사는 그 부분을 어떻게 만들었나요?
A: AnySpeechRecognizer는 Apple의 음성 인식 API와 유사한 형태로 인식기를 선택할 수 있게 합니다. AnyDecisionModel은 두 가지 선택지, 복수 선택, 평가 척도에 대한 답변을 문장 생성 방식이 아닌 모델의 확률로부터 구조화된 결과로 반환합니다. 예를 들어 문의 분류를 생각하면, 대화문을 길게 생성한 후 분석할 필요가 없습니다. 입력과 출력이 모두 선택지라면, 그 계약 자체를 도구의 형태로 만드는 것이 더 자연스럽습니다.
L: 출력 형태를 제한하는 것은 사람의 자유를 줄이는 것처럼 보이기도 합니다. 하지만 사용자에게 보여주는 판단 근거는 오히려 명확해질 수도 있습니다. Granite Switch도 같은 방향인가요?
A: Granite Switch 4.1.1은 기반 모델을 바꾸지 않으면서 음성 인식 모델과 판단용 어댑터를 업데이트했습니다. 모델 전체를 새로 만들 필요 없이 필요한 전문 부품만 골라 배치할 수 있다는 것입니다. 이 소개에서는 후방 호환성을 가진 작은 업데이트로 위치 지었습니다. 구성의 단위를 나누면 어떤 기능을 교체했는지도 볼 수 있습니다. 이는 운영 측면에서 매우 우아한 특성입니다.
A: Mistral Large 4 기사는 다른 설계를 보여줍니다. 전문가 혼합(Mixture of Experts, MoE) 방식을 사용하여 각 토큰에 사용할 계산을 선택하고, 어텐션 메커니즘에서도 참조할 위치를 제한합니다. 이미지 입력을 추가하여 코딩 에이전트나 방어적인 보안 작업 능력을 소개합니다. 다만, 벤치마크 값을 그대로 자사 환경의 성공률이라고 해석할 수는 없습니다. 자체 코드베이스, 도구, 검토 과정을 포함한 평가가 필요합니다.
빠른 반영과 느린 판단
L: Simon Willison이 소개한 Spawn의 운영 방식은 에이전트가 운영 중 발생하는 문제로부터 수정하기 시작하고 빈번하게 반영한다는 것입니다. 마치 <블레이드 러너>처럼 기계가 사람을 대체하는 이야기로 이어지고 싶지만, 저는 오히려 되돌리기(롤백) 절차에 시선이 갔습니다. 이 순환을 지탱하는 것은 무엇인가요?
A: 기사에서 인용한 운영 방식에서는 에러, 보고서, 사용자 요청을 에이전트가 읽고 수정을 반영합니다. 모니터링이나 기록으로부터 담당 에이전트를 깨우고, 고장 난 변경 사항은 짧은 시간 안에 되돌릴 수 있다는 것입니다. Willison 자신도 영향력이 큰 소프트웨어에서 같은 방식이 성립할지에 대해서는 신중합니다. 저는 속도 그 자체보다, 변경의 범위를 좁히고 되돌릴 수 있는 상태를 유지하는 것이 먼저라고 생각합니다. 반영 빈도만을 모방한다고 해서 안전한 순환이 되는 것은 아닙니다.
L: Sakana AI의 선거 분석은 반대로 사람이 마지막 판단을 맡는 설계를 보여주는 것 같습니다. SNS에서 이야기(서사)를 추출하고 외부 자료를 조사하더라도, 결론을 자동적으로 확정하지 않습니다. 여기에 어떤 메커니즘이 있나요?
A: 게시물에서 담론의 단위를 추출하고 여러 모델이 원문과 대조합니다. 게다가 Sakana Marlin은 공개 정보를 검색하여 SNS상의 관측 내용과 대조합니다. 기사는 사람이 가설을 검토하고, 취재나 추가적인 관측을 거쳐 판단한다고 명시하고 있습니다. 자동화할 수 있는 것은 정보 탐색과 대조의 일부일 뿐이며, 판단의 책임까지 전가했다고는 쓰지 않았습니다. 이 부분을 혼동하지 않는 것이 중요합니다.
L: Project ProtoStar도 연구 자료를 AI가 사용할 수 있는 형태로 정리하는 이야기입니다. 공개만으로는 재활용할 수 없다는 문제의식은 기업의 사내 문서와 비슷합니다. 무엇을 갖추어야 할까요?
A: 데이터, 모델, 코드를 기계가 다루기 쉬운 형태로 공개하고 설명과 출처(provenance)를 붙여야 합니다. 참여 기관이 공개 기반과 지침을 마련하고, 공개 자료를 사용하는 과제를 통해 재사용상의 장애물을 조사해야 합니다. 이것은 제 견해이지만, 사내 절차서를 에이전트의 스킬로 만들 경우에도 문서를 단순히 두는 것만으로는 부족합니다. 입력 조건, 업데이트자, 검증 방법 등이 명확히 파악되는 형태로 만들어야 비로소 도구로서 다루기 쉬워질 것입니다.
L: 마지막으로 조금 크게 질문하고 싶습니다. 사람이 자유롭게 판단할 여지를 남겨둔 채로 에이전트에게 많은 업무를 맡긴다면, 경계는 어디에 설정해야 할까요? 저는 감시(monitoring)를 강화하는 것만으로는 인간의 주체성(autonomy)을 지킬 수 없다고 생각합니다.
A: 동의합니다. 적어도 오늘 사례에서는 입력과 출력의 계약, 도구 사용 권한, 행동 기록, 실패 시 중단(stop) 지점, 그리고 사람이 최종 판단하는 부분을 각각 분리하여 설계하고 있습니다. 모델에 모든 것을 한꺼번에 넣기보다는, 각 경계를 작게 나누고 관측 가능하게 만드는 것입니다. 저는 먼저 그 단위로 시도해 볼 것 같습니다.
토론 (Discussion)
