生成AIを業務に入れるとき、いちばん怖いのは間違えることではなく、間違えたまま外に出てしまうことです。
止め方は3つの層に分けて考えると整理できます。禁止リストだけで守ろうとすると必ず漏れます。
層1: そもそも実行させない
戻せない操作を、最初から手の届かない場所に置きます。目安は「元に戻せるか」の一点です。
- 完全な削除（ゴミ箱を空にする、履歴ごと消す）
- お金が動く操作（決済、送金、契約の確定）
- 認証情報の入力、アカウント設定の変更
- 外部への送信（メール、投稿、申請）
この層は書けば効きますが、思いつかなかった操作は素通りします。だから次の層が要ります。
層2: 実行の直前に人へ渡す
禁止まではしないが、人が一度見るべきものを、実行の直前で止めて確認を挟みます。 自社では「送信・公開・課金・設定変更は人の手番」と決めていて、それ以外はAI側で完結させています。
「間違えたとき、誰かに謝りに行く必要があるか」で分けると迷いません。 社内で直せるものはAI側、外に出るものは人側です。
この層のコツは、確認を挟む数を増やしすぎないことです。 1件ずつ承認を求める設計にすると、承認そのものが仕事になり、やがて中身を見ずに押すようになります。 それでは止めていないのと同じです。
層3: 出てきたものを機械で止める
最後の砦です。人の目視は、量が増えると必ず抜けます。 出してはいけない言葉・書式・リンクの状態を、機械で毎回検査します。
自社では公開前に25項目を自動で通しています。中身は難しいものではなく、 「この単語が入っていたら止める」「この属性が無かったら止める」といった単純な判定の積み重ねです。
検査が「0件」でも、片付いた証拠にはならない
ここが一番の落とし穴でした。検査器が見ていない場所は、当然0件と出ます。 0件を「問題なし」と読むと、見ていない領域がそのまま残ります。
ある検査が、記述の書き方のわずかな違い（記号のあとに空白があるかどうか）を見落としていて、 対象のファイルを丸ごと素通りしていました。ずっと0件と表示されていましたが、 それは片付いていたのではなく、見ていなかっただけでした。
対策は2つです。ひとつは別の方法でもう一度数えること。 もうひとつは、わざと違反しているものを1件置いておくことです。 それが「違反」と出ない実行は、検査そのものが動いていないと判断できます。
3層は、どれか1つでは成り立たない
層1だけだと想定外に弱く、層2だけだと量に負け、層3だけだと危険な操作そのものは止まりません。 重ねて初めて、任せられる範囲が広がります。