新しいAIモデルへの乗り換え前チェック──自社業務で試す・権限を絞る・人が確認する

何が変わったか

公開されたのは新機能の発表ではなく、導入事例です。米国の資産運用会社 Balyasny Asset Management（運用資産 約380億ドル、投資プロフェッショナルとスタッフ 約2,000人）が、新しいモデルに乗り換えるかどうかをどう判断したかを、同社のChief AI Officer の言葉で説明しています。

• ●判断材料は一般公開されているベンチマーク（AIモデル同士を比べる共通テスト）ではなく、株式・マクロ・商品など、答え合わせができる自社の金融業務タスク数千件
• ●その対象部分では、Fable 5 が 89.4%、それまで本番で使っていたモデルが 86.1% だったとしています
• ●差が大きく出たのは、複数手順の計画・分析と、AIが手順を自分で進める「エージェント」的な実行だったとしています
• ●中央銀行に関する分析は、従来 約2日かかっていたものがエージェントの実行 約30分になり、重要な出力を使う前には人のレビューを挟むとしています

安全面について同社は「モデルそのものを制御装置とみなすのではなく、モデルの周りに制御を置く」という言い方をしています。具体的には、承認されたデータ範囲、必要最小限の権限、ツール単位の許可、ログと追跡、重要な出力への人のレビュー、例外時のエスカレーション経路の6つを挙げています。「モデルの能力が上がったからといって、それだけで広い権限が与えられるわけではない」というのが同社の立場です。

なお今回の記事は米国企業の事例で、提供条件についての記載はありません。対象国・対象言語の記載もありません。取り上げられている Claude Fable 5 自体は、AnthropicのヘルプセンターによるとMax・Team Premium はプラン標準、週の利用上限の50%まで。Pro・Team Standard は「使用クレジット」の従量課金で使う形です。API と従量課金型のEnterpriseはAPI料金。この体系は日本のプランでも同じだと国内メディアも報じています。

業務での使いどころ

規模はまったく違いますが、やり方はそのまま小さくできます。中小企業でAIの新しいモデルに乗り換えるか迷ったときも、判断の材料は「どのモデルが世界で一番賢いか」ではなく「うちの仕事でどちらがマシな答えを出すか」です。

1. 1自社の実務から、すでに正解が分かっている過去の仕事を10〜20件選ぶ（見積書のチェック、問い合わせメールの返信、議事録の要約など、結果を人が判定できるもの）
2. 2同じ指示文を、今使っているモデルと新しいモデルの両方に入れて答えを出させる
3. 3どちらの答えかを伏せたまま、担当者が「そのまま使える／直せば使える／使えない」の3段階で採点する
4. 4件数で数える。感想ではなく「20件中◯件」で比べる
5. 5乗り換えると決めたら、その用途で触れてよい資料・使ってよい機能をあらかじめ決めてから配る
6. 6金額・契約・社外に出る文面は、誰が確認してから出すかを先に決める

あなたは社内の業務品質をチェックする担当者です。
以下に、同じ指示に対する2つの回答（A・B）を貼ります。
どちらがどのAIの回答かは伏せています。

次の観点で、AとBをそれぞれ採点してください。

1. 指示に書かれた条件をすべて満たしているか（満たしていない条件を具体的に挙げる）
2. 事実として間違っている箇所・元の資料に無い情報を足している箇所
3. そのまま使えるか（「そのまま使える」「直せば使える」「使えない」の3段階）
4. 直す場合、どこを何分くらいで直せるか

・どちらが優れているかの結論は最後に1行だけ書いてください
・判断できない箇所は［判断できない］と書き、推測で埋めないでください

--- 指示文 ---
（ここに貼り付け）

--- 回答A ---
（ここに貼り付け）

--- 回答B ---
（ここに貼り付け）

この採点自体をAIにやらせる場合も、最後は人が目を通してください。採点役のAIが見落とすこともあります。採点表が20件たまると、次にモデルが更新されたときも同じ材料で比べられます。1回作れば使い回せるのが、この方法のいちばんの利点です。

社内で生成AIを使う業務について、利用範囲の案を整理してください。

【業務】
（例: 問い合わせメールの下書き作成）

【担当する人】
（例: カスタマーサポート担当3名）

次の4項目を表ではなく箇条書きで出してください。

1. この業務で入力してよい情報（具体例を3つ以上）
2. 入力してはいけない情報（具体例を3つ以上。判断に迷いやすいものを優先）
3. AIの出力をそのまま使ってよい場面／人の確認が必須の場面
4. 判断に迷ったときに誰に聞くか、を決めておくべき場面

・一般論ではなく、上に書いた業務と担当者に即して書いてください
・法令の解釈が必要な項目は［要確認］と書き、断定しないでください

試すときに気をつけること

• ●モデルが更新されるたびに、同じ評価セットでもう一度測る。前に良かったからといって次も良いとは限らない
• ●AIに社内システムやファイルを触らせる場合は、人ごと・用途ごとに使える範囲を分ける。全員に全部を開けない
• ●誰が・いつ・何を入力したかの記録が残る運用にする。問題が起きたときに追えないと原因が特定できない
• ●この事例は約2,000人規模の企業のもので、専用の社内基盤を自前で作っています。同じ仕組みをそのまま真似する話ではありません