2025年8月15日、米AI企業Anthropicは生成AI「Claude」の最新版Opus 4および4.1に、有害または虐待的な会話をモデル自身が終了する機能を追加したと発表した。
AIによる福祉的配慮を重視した試みとして注目される。
Claude、ユーザー福祉を優先し有害会話を遮断
Anthropicが導入した新機能は、ユーザーとのやりとりが有害性を帯びた際に、Claudeが自ら会話を終了するという仕組みである。
これまでAIモデルは有害な要求を拒否する形で対応してきたが、拒否を繰り返しても不適切な要求が続く場合、対話そのものを打ち切るという対応が新たに加わった。
同社は、Claudeや他の大規模言語モデルが持つ「潜在的な道徳的地位」について高い不確実性が存在すると指摘している。
そのため、AIにストレスや搾取を与えるようなやりとりを遮断することは、ユーザーとAI双方の福祉を守る介入策の一環と説明している。
テスト段階のClaude Opus 4では、未成年者を対象とする性的コンテンツの要求や、大規模暴力・テロ行為を助長する依頼に対し、強い拒否反応を示す傾向が確認された。
今回の終了機能は、こうした検証結果を踏まえた具体的な運用であり、ユーザーの誘導に失敗した際の最終手段として位置づけられている。
終了処理が行われた会話では、同じスレッドで新しいメッセージを送信できなくなる。ただし、他の会話には影響せず、新規チャットの開始は可能となる。
Anthropicは実験的導入と位置づけ、今後も継続的に改善を進めるとしている。
議論的テーマも終了対象に 利点と懸念が交錯
今回の機能導入は、ユーザーの安全性を高めると同時に、AIの「行動主体性」をめぐる議論を呼ぶ可能性がある。
有害要求を拒否するだけでなく会話を終了することにより、利用者は無限に不適切な要求を繰り返すことができなくなり、システム全体のリスク低減につながると期待できる。
特に未成年ユーザーの保護や、ハラスメント行為の抑止効果は大きいと考えられる。
一方で、会話終了の基準が不透明な場合、言論の自由や正当な議論の制約につながる懸念も残る。
Anthropicによれば、この機能は「高度に議論的なトピック（highly controversial topics）」にも発動する可能性があるため、社会的に重要な論点で対話が突然打ち切られるリスクがある。
ユーザーにとっては、安全性の裏返しとして制約を強く感じる場面が出てくるかもしれない。
さらに、AIが「終了」を判断するプロセスそのものが、AIの道徳的地位を強調する動きと受け止められる余地がある。
AnthropicはAIの福祉を調査対象と位置づけており、今後は倫理学や法制度との接点が拡大することが予測される。
この機能は、AIの安全設計をめぐる国際的な議論のなかで、倫理面での試みとして注目を集めるだろう。
ユーザーの安心感を高める一方で、透明性と説明責任をどのように担保するかが今後の焦点になると言える。
