Googleの言語生成系AIへの挑戦をまとめてみた。LaMDA → PaLM → Bard → Magiの歴史

2023-06-272023-07-06

この記事では、LaMDAからの始まるgoogleの生成系AIへの挑戦の歴史をまとめて知ることができます。Googleがこれまでどのようにして言語生成系AIを開発して来たのか知りたい方には、必見の記事です。

対話特化のLaMDA

まずはLaMDAからいきましょう。LaMDA（Language Model of Dialogue Applications）は、Googleが2021年9月に発表した言語モデルで、特に対話を行うことに焦点を当てています。LaMDAは特定のタスクに特化しておらず、対話を通じてユーザーとやりとりすることで学習するAIです。Googleの目標は、LaMDAをGoogle検索に統合することで、よりユーザーフレンドリーな検索エンジンを実現し、より正確な検索結果を提供することでした。

LaMDAは1370億のパラメータを持っていますが、これはGPT-3の1750億のパラメータには及びません。ただし、言語モデルの性能と正確さは、使用されるデータ量だけが決定的要因ではないことに注意が必要です。また、GPT-3とLaMDAは異なる機能を持っているため、パラメータ数の違いは両者の競争力を直接測るものではありません。

LaMDAは、Googleが言語モデル開発の競争から取り残されていないことを証明しており、この分野のイノベーションにおいて重要な役割を果たしているといえます。

ChatGPTよりも多機能なPaLM

PaLM（Pathways Language Model）は、Googleが開発した多機能な言語モデルで、2021年10月に発表されたGoogleの「Pathway」AIアーキテクチャをベースにしています。Pathwayは、1つのモデルが何千、何百万ものタスクを同時にこなすことができ、新しいタスクを素早く学習し、より深い世界の理解を反映できるという特徴があります。これにより、個々のタスクを学習するためにたくさんの新しいモデルを開発する必要がなくなります。また、Pathwaysはマルチモーダルな機能を持っており、テキスト、画像、音声を同時に処理して、より正確な応答を生成することができます。

PaLMは、Pathways AIインフラストラクチャを利用しており、多様な言語タスクに対応する汎用的なモデルです。対話に特化しているLaMDAとは異なり、PaLMはGPT-3により近い競合となる多くのユースケースを持っています。言い換えれば、PaLMは「何でも屋」のような存在です。

PaLMは、GPT-3と比較すると優れた性能と正確さを発揮できるとされています。Googleが開発した最新のLLMは、5400億のパラメータを持っており、これはGPT-3の3倍以上です。OpenAIのGPT-3は、いくつかのタスクで80％以上の精度を示すことが実証されていますが、GoogleのPaLMもまた、複数の推論タスクで最先端のモデルを上回ることができます。さらに、最近リリースされたBIG-benchベンチマーク（150以上の言語モデルのタスクが含まれる標準化されたテスト）では、人間の平均パフォーマンスよりも優れた成果を示しています。PaLMは、モデルのスケールが大きくなるにつれて、性能が急速に向上することも示唆されています。

PaLMはまた、多言語対応のモデルでもあります。GPT-3と同様に、複数の言語での言語タスクを理解できるだけでなく、英語と多言語データセット（ウェブ文書、書籍、ウィキペディア、会話、GitHubのコードなどを含む）を組み合わせて学習することで、より正確な応答を提供することができます。

PaLMの高い性能は、より大きな計算能力を必要とすることを意味します。しかし同規模の他のモデルと比較して最高の学習効率（57.8％のハードウェア浮動小数点演算／秒（FLOPS）利用率）を達成しています。これは、PaLMが性能だけでなく効率性の面でも優れていることを示しています。

要約すると、PaLMはGoogleが開発した汎用性の高い言語モデルで、Pathways AIアーキテクチャをベースにしており、多機能性とマルチモーダルな能力を持っています。さまざまな言語タスクに対応でき、GPT-3と比較しても高い性能と正確さを持ち、多言語での対応が可能です。また、効率性の面でも優れており、今後のAI言語モデル開発において重要な競合となることが期待されています。

LaMDAとPaLMの融合！話題となったGoogle Bard

Google Bardは、Googleが開発した実験的な会話型AIチャットサービスで、ChatGPTと同様の機能を持ちつつ、最大の違いとしてウェブ上の情報を取り込むことができます。GoogleとAlphabetのCEOであるサンダー・ピチャイが発表したBardは、2年前に発表されたLaMDAを利用して作られています。

Bardの初期バージョンでは、より少ない計算能力で、より多くのユーザーにスケールできる軽量モデルバージョンのLaMDAが使用されています。さらに、Bardはウェブ上の情報を活用して回答を提供します。ピチャイ氏は、ウェブからの情報提供が「新鮮で高品質な回答」をもたらすと述べています。これは2021年までの情報を利用しているChat GPTとの一番の大きな違いと言えそうです。また、PaLMの一部を統合することによって、数学や論理の性能を向上させる取り組みが行われており更なる進化が期待されています。

Google Bardの待機リストは2023年3月21日にオープンし、まず米国と英国の限定ユーザーに順次アクセスが提供されました。現在では日本でも利用可能になっています。Googleは初期ユーザーのフィードバックを収集し、改善していくとしています。

GoogleがBardを発表した理由は、ChatGPTが大成功を収めたためです。ChatGPTは、ローンチ後1週間で100万人以上のユーザーを獲得しました。スイス銀行UBSの分析によれば、ChatGPTは史上最も成長が速いアプリです。この成功を受けて、Googleをはじめとする他のテック企業も、この分野に次々と参入しています。

GoogleがBardを発表した同じ週に、Microsoftは次世代のOpenAI大規模言語モデルを検索に特化させた新しいAI機能を持つBingを発表しました。

Googleは、まだ公開されていない他のAIサービスも開発しています。テック大手は通常、AI製品に関して慎重であり、製品の性能に自信が持てるまでリリースしません。

例えば、GoogleはAI画像生成器であるImagenを開発しており、公開されればOpenAIのDALL-Eに対抗する優れた選択肢となるでしょう。また、GoogleはAI音楽生成器のMusicLMも開発していますが、現時点ではリリースする計画はありません。

最近のMusicLMに関する論文では、Googleはこの種のモデルが創作コンテンツの誤用や、トレーニングでの固有のバイアスが表れることにより、トレーニングで代表性の低い文化に影響を与える可能性があること、さらに文化の盗用に対する恐れを認識しています。

そしてGoogle Chromeに代わるMagiへ

Googleは生成系AIだけでなく、新しい検索エンジンにも挑戦しています。過去に記事にまとめているので、ぜひチェックしてみてください。

更なるAI開発に向けて！新しいチームGoogle DeepMind 設立へ

2023年4月20日、GoogleとAlphabetのCEOであるSundar PichaiとDeepMindのCEO Demis Hassabisは、AIの進歩を加速させ、より安全で責任ある方法で高性能なAIシステムを開発するために、Google DeepMindという新しいユニットを設立することを発表しました。このユニットでは、Google ResearchのBrainチームとDeepMindが統合され、一つの集中的なチームとして活動します。Google DeepMindのCEOに就任するDemis Hassabisは、次世代の製品とサービスを支えるAIシステムの開発をリードします。一方、Jeff DeanはGoogleのチーフサイエンティストに就任し、Google ResearchとGoogle DeepMindの両方でチーフサイエンティストとして活動します。

まとめ

Googleが開発したLaMDAとPaLMは、AI言語モデルの分野で革新的な技術を提供しています。LaMDAは対話を中心に機能し、Google検索への統合が目標とされています。一方、PaLMはPathways AIアーキテクチャをベースに、多機能性とマルチモーダルな能力を持っています。Google Bardは、これらの技術を活用した実験的な会話型AIチャットサービスで、ウェブ上の情報を取り込むことができます。これらの技術は、AI言語モデル開発において競争力を維持し、イノベーションを推進する役割を果たしています。圧倒的な力を持つIT企業、Web2.0の勝者、とも称されるGAFAMの一角であるGoogle。新しい検索エンジンMagi開発の発表や、Google DeepMindチーム設立など、王座を揺るがしかねないAIの波に対して今後どのように動いていくのか目が離せません。