要旨

AI エージェント に施策運用を任せるとき、最初に決めるのはモデルではない。

最初に決めるのは 何を報酬として最適化するか

である。

たとえば、クーポン、メール、プッシュ通知、レコメンドを AI が選ぶとする。

ここで報酬をクリック率にすると、AI はクリックされやすい対象と文面を選びやすくなる。

それ自体は間違いではない。

しかし、事業上ほしいものが粗利、継続率、解約低下、顧客体験なら、クリック率は目的の代理指標にすぎない。

代理指標をそのまま報酬にすると、短期の数字は伸びても、長期の意思決定は壊れることがある。

この記事では、AI エージェント に施策を任せる前に、なぜ報酬設計を因果の問題として扱うべきかを整理する。

同じ内容を表にすると次の通りである。

##先に結論

AI エージェント に任せる施策運用で、危ない問いはこれである。

クリック率が最大になる施策を選んでください。

よりよい問いは、次である。

候補施策の中から、粗利と継続率を落とさずに、
14 日後の期待価値が最大になる policy を選んでください。
過去ログで評価できる範囲と、評価できない範囲を分けてください。

違いは、AI の性能ではない。

目的関数、比較対象、制約、評価期間が書かれているかどうかである。

クリック率はわかりやすいが、報酬としては危ない

クリック率は便利である。

しかし、便利な指標と、最適化してよい報酬は同じではない。

Amodei らは、AI システムの事故リスクの一つとして、目的関数の設計が悪いと望まない行動が出る問題を整理している。[1]

これは抽象的な AI 安全性の話だけではない。

施策運用でも、クリック率を報酬にすれば、クリック率を上げる行動が選ばれる。

問題は、そのクリックが事業価値を増やしたかどうかである。

小さな数値例

ある AI エージェントが、ユーザーごとに 通常案内

と 強い割引

のどちらを出すかを選ぶとする。

クリック率だけを見ると、強い割引は良く見える。

クリック率は 8%

から 15%

に上がる。

購入率も 3.0%

から 4.0%

に上がる。

しかし、割引原価を入れると、14 日後粗利は 30

から 20

に下がる。

この図のポイントは、強い割引が常に悪いということではない。

クリック率で見れば勝ち、粗利で見れば負け、という評価軸の違いである。

AI エージェント がクリック率を報酬にしているなら、強い割引を選ぶのは自然である。

だから、失敗は AI の判断ではなく、報酬設計にある。

因果の問いに直す

報酬設計を因果の問いに直すと、次のようになる。

同じ対象に対して、通常案内を出した場合と、強い割引を出した場合で、
14 日後の粗利はどれだけ変わるか。

ここで重要なのは、出した人の粗利

ではない。

同じ対象に別の行動を出したらどうなったか、である。

Rubin の潜在結果の考え方では、同じ単位について treatment ありとなしの結果を同時には観測できない。[2]

この問題があるから、単純なログ集計だけでは足りない。

AI エージェント に渡すべき問いは、次のように分解できる。

この流れは、contextual bandit や off-policy evaluation の問題に近い。

Dudik, Langford, Li は、過去ログから新しい policy を評価する問題で、過去 policy と新 policy の行動分布がずれることを主要な難しさとして扱っている。[3]

報酬を一つにしない

実務では、報酬を一つの数字にまとめたくなる。

しかし、最初から一つに押し込むと、何を犠牲にしたのかが見えにくくなる。

まずは、次のように分けて持つ方がよい。

そのうえで、採用判断のための value を定義する。

たとえば、

value = 14 日後粗利 - 期待解約損失 - 配信停止ペナルティ

のようにする。

この式が正しいという意味ではない。

重要なのは、何を足し、何を引いたか

を明示することである。

よくある失敗

AI エージェント の施策運用でよくある失敗は、だいたい次の形をしている。

この失敗は、モデルを大きくしても直らない。

로그와 보상과 비교 대상의 문제이기 때문이다.

AI 에게 전달해야 할 사양

AI 에이전트에 전략을 맡기기 전에, 최소한 이것만 작성하세요.

프로ンプ트로 바꾸면 다음과 같이 됩니다.

あなたは施策を選ぶエージェントです。
目的はクリック率ではなく、14 日後の期待粗利です。
ただし、配信停止率と解約率を悪化させてはいけません。
...

이렇게 쓰면, AI 는 단순한 텍스트 생성이 아닌, 설계 리뷰의 보조 도구로 사용되기 쉬워집니다.

policy learning 에 대한 이야기 연결

지금까지의 이야기는 단순히 AI 를 안전하게 사용하자
라는 이야기만은 아닙니다.

인과 의사결정의 문제입니다.

Athey 와 Wager 는 관측 데이터에서 treatment assignment policy 를 배우는 문제를 다루고, 제약된 policy 와 regret 의 관점을 포함하여 정리했습니다.[4]

실무의 전략 운영에서도 동일한 구조가 있습니다.

그래서, 보상이 로그 설계를 모호하게 두어 실행하면 위험합니다.

Book 과의 연결

이 글에서는 AI 에이전트의 보상 설계를 입구로 하여, 전략 의사결정의 함정을 정리했습니다.

Book 施策の効果を測り、次の一手を決めるための因果設計

에서는 이를 다음 순서로 다룹니다.

Book 은 그 설계를 하나의 지도로 정리했습니다.

맺음

AI 에이전트에 전략을 맡길 때, 클릭률을 보상으로 하는 것은 쉽습니다.

하지만 간단한 보상이 좋은 의사결정으로 이어진다는 것은 아닙니다.

중요한 것은 다음 3 가지입니다.

무엇을 보상하는가.
무엇과 무엇을 비교하고 있는가.
후에 다른 policy 를 평가할 수 있는 로그가 남아있는가.

클릭률, 구매율, 매출, 이익, 지속률, 해지율은 각각 다른 질문에 답합니다.

AI 가 무엇을 최적화할지는 인간이 먼저 결정해야 합니다.

AI 에게 전략을 맡기기 전에, 보상을 설계하세요.

그 보상이 인과적으로 무엇을 비교하고 있는지 확인하세요.

여기를 건너뛰면, AI 는 올바르게 최적화하면서 사업적으로는 잘못된 방향으로 나아갑니다.

Amodei D, Olah C, Steinhardt J, Christiano P, Schulman J, Mané D. Concrete Problems in AI Safety. arXiv:1606.06565. 2016. https://arxiv.org/abs/1606.06565 ↩︎

Rubin DB. Estimating Causal Effects of Treatments in Randomized and Nonrandomized Studies. Journal of Educational Psychology. 1974;66(5):688-701. https://doi.org/10.1037/h0037350 ↩︎

Dudík M, Langford J, Li L. Doubly Robust Policy Evaluation and Learning. ICML 2011. arXiv:1103.4601. https://arxiv.org/abs/1103.4601 ↩︎

Athey S, Wager S. Policy Learning with Observational Data. Econometrica. 2021;89(1):133-161. https://doi.org/10.3982/ECTA15732 ↩︎