2026年8月12日、米Google DeepMindは、大規模多言語対応の手話・テキスト翻訳モデル「SL2T」を発表した。まず米国手話（ASL）から英語への翻訳に対応し、Pixel 11のGboardとLive Transcribeで手話による入力を実現する。手話AIを研究段階から消費者向け製品へ展開する取り組みである。
手話を直接テキストへ、50言語超で学習
SL2Tは、手話をスマートフォンのカメラで認識し、直接テキストへ翻訳するモデルである。従来の音声認識とは異なり、手話は独立した自然言語として固有の文法や語彙体系を持つ。そのため、単語を順番に置き換えるのではなく、意味を理解して翻訳する機械翻訳（※）が必要になる。
さらに、手話は手や腕だけでなく、頭、顔、胴体など身体全体の動きを組み合わせて意味を伝える。SL2Tはこの複雑な情報を、端末上の「MediaPipe Holistic」で取得した身体のランドマーク情報として処理し、生のカメラ映像をサーバーへ送信しない。映像を直ちに破棄できる設計とすることで、プライバシーにも配慮した。
モデルは50以上の手話言語にまたがる10万時間以上のデータで学習し、
その約4分の1をASLデータが占める。複数の言語や方言などを共同学習することで共通する基礎構造を捉え、単一言語モデルを上回る性能を示したという。ASLから英語への翻訳では、FLEURS-ASLなどの主要ベンチマークでBLEURTスコア70を達成し、従来報告された結果を大幅に上回った。
※機械翻訳：ある自然言語の文章を、別の自然言語へ自動的に変換する技術。手話では独自の文法や身体動作を扱う必要がある。
手話入力の普及へ、精度と公平性が課題に
SL2Tによって、ろう者は手話を使ってウェブ検索やメッセージ、文書作成、Geminiへの指示などを行えるようになる。Live Transcribeでは、文字を入力する代わりに手話で返答する用途も想定されており、テスト参加者からはASLのほうが英語入力より速く自然で快適との声が寄せられた。
一方、実用化には課題も残る。Google DeepMindはストリーミング時の遅延や、手話をしていない入力に対するハルシネーション、左利きの話者への公平性、片手手話への対応などを重視した。特に片手手話は、スマートフォンを持ちながら操作する場面で重要になる。
今後は対応端末と手話言語を拡大し、手話生成や先端AI機能への展開も予定する。さらに、ろう者コミュニティと共同で設立したAI Sign Language Advisory Committeeを通じ、技術の影響や開発優先度を議論する方針だ。スマートフォンを起点に、手話をデジタル環境における標準的な入力手段へ近づけられるかが注目される。
関連記事：
