米OpenAIは、児童性的虐待が疑われる画像を検出するツールを公開した。
AIで生成された画像も検出対象に含む。
審査を通過した組織にAPI経由で無償提供し、担当者が優先して確認すべき画像を絞り込めるようにする。
虐待の兆候から画像を抽出 初期評価では確認候補が48%減ると推計
2026年11月16日、OpenAIは新ツールの仕組みと初期評価の結果を公表した。
ツールは画像に見られる虐待の兆候をもとに、児童性的虐待素材(CSAM※)に該当する疑いがある画像を検出候補に挙げる。
このツールは、これまでに確認されていない可能性がある画像の発見にも役立つ。
担当者が確認の優先順位を付けるためのスコアと、画像がAIで生成された可能性を示す指標を返す。
OpenAIは、ツールの学習・評価と実運用に向けた設計にあたり、オンライン上の児童搾取に関する通報窓口を運営する米国の非営利団体NCMECの協力を得た。
ユーザーがアップロードした画像を用いた初期評価では、既存のツールとほぼ同数の虐待画像を検出しながら、確認候補に挙げる画像を48%減らせると同社は推計した。
確認候補に占める虐待画像の割合は、既存ツールが挙げた候補における割合の約2倍だった。
先行利用企業のfalが実運用の画像を用いて行ったテストでは、ツールが高い確信度で候補に挙げた画像のうち、72%を担当者が新規の児童性的虐待画像と確認した。
同社は、利用者からの通報を受け付ける仕組みや、疑わしい画像の確認・報告手順をまとめた開発者向けガイダンスも公表した。
OpenAIは、利用を希望する組織から専用フォームでアクセス申請を受け付けるとしている。
※CSAM:「Child Sexual Abuse Material」の略で、児童に対する性的虐待を記録・描写した素材を指す。今回の検出ツールは、そのうち画像を対象とする。
無償提供で導入の負担を軽減 人による確認体制が課題に
無償提供により、専用の検出機能を自前で開発する余力が限られる組織でも、既存の通報・監視の仕組みに画像の優先順位付けを取り入れやすくなる可能性がある。
導入先でも初期評価と同様に確認候補を絞り込めれば、担当者は疑いの強い画像に時間を割きやすくなり、対応の遅れを抑えられるだろう。
一方、投稿される画像の傾向はサービスごとに異なるため、確認候補が減る割合も導入先によって変わりうる。
一定のスコア以上の画像を確認対象とする運用では、その基準を引き上げると確認件数を抑えられる一方、対応が必要な画像が候補から外れるおそれもある。
導入先は、自組織が扱う画像で誤検出や見逃しの傾向を確かめたうえで、見逃しのリスクと担当者が処理できる件数を踏まえて運用を調整する必要がある。
導入組織は、誰が画像を確認し、適用される法令や確認結果に応じてどの窓口へ報告するかを、導入時に定めておくことが重要になりそうだ。
Open AI 「Strengthening the fight against online child sexual abuse with new tools and support」
関連記事:
X日本公式、違法コンテンツに厳格対応 Grok悪用も永久凍結、当局連携へ

Apple、同意のないAI生成の性的画像に対応 アプリ審査基準を改定

警察庁が公表 18歳未満の画像をAIで性的加工114件、被害9割が中高生
