第44回 けいはんな「エジソンの会」
開催概要
創造力とは何か～未来への新たな扉を開く生成AIの衝撃～
| 講師 |
|
|---|---|
| 開催日時 | 2024年1月11日（木）14:00～18:00 |
| 開催場所 | 公益財団法人国際高等研究所 |
| 住所 | 〒619-0225 京都府木津川市木津川台9丁目3番地 |
| 概要 | 指数関数的な科学技術の進化に支えられ、人工知能研究は新たな時代を迎えています。特に、深層学習技術を拡張させたChatGPTに代表される生成AIは、大規模言語モデルと対話型検索で大きな注目を浴びており、創造性・柔軟性・拡張性を備えたシステムの実現で、人と機械の未来に革命をもたらそうとしています。 第44回会合では、大規模言語モデル（LLM）の先駆者であり、岸田首相との車座対話やNHK「サイエンスZERO」出演など、当領域でもっとも注目を集めている研究者の岡崎直観氏をお迎えし、発表から1年が経過した生成AIの革新的技術の核心と今後の展望を、日本版LLMの最新状況を交えながら、分かり易くご説明頂きます。また、常に先進的な研究開発に重点を置き、グローバル市場をテクノロジーで席捲してきたIBM社からは、人工知能分野におけるワールドワイドな研究拠点の生成AI研究とビジネス展開についてご説明頂きます。 生成AIの最新状況を学び、その可能性と世界の動向を見据えながら、これからの社会の在り方を発想することで、分野を超えた研究者・技術者、企業の様々な立場の皆様にも非常に興味深く、大いに参考にして頂けるものと期待しています。 |
| 配布資料 |
|
| 共催、後援、協力 | 【後援】 国立研究開発法人理化学研究所 公益財団法人関西文化学術研究都市推進機構 |
当日の様子
「エジソンの会」第44回会合は、「 創造力とは何か ～未来への新たな扉を開く生成AIの衝撃～ 」というテーマで開催いたしました。
今回、一昨年の発表後2カ月で1億人のユーザーを獲得した世界でもっとも注目を浴びているChatGPTを中心とした大規模言語モデルを取り上げ、生成AIの現状と今後の可能性を十分に認識することができました。まだまだ開発途上にある生成AIのこれからの進化に思いを馳せ、AIが人間の能力を凌駕し、独自性や創造性を生み出す可能性が高まるにつれて、「人と機械の未来」を見つめ直すとともに、改めて人間とは何かを再認識する機会が得られたのではないかと思います。
「エジソンの会」を創設され、学術領域では、自然言語処理・機械翻訳、パターン認識・画像処理等の研究で多大なる功績を上げられた故長尾真先生が、今日の生成AIの隆盛を見られたら、どのようなご感想を述べられたか、感慨深いものがありました。
ご講演いただいた内容は下記の通りです。
「生成AIは創造の扉を開くのか ～大規模言語モデルが産み出す新しい未来～」
岡崎 直観氏 東京工業大学 情報理工学院 教授
大規模言語モデル（Large Language Model）はこれまでの検索の代替として活用できるだけではなく、専門家レベルの支援を受けることや、パーソナライズされた相談相手にもなりえる。プログラム生成、汎用的な問題解決機として有効に使え、汎用性が高く、生成スピードも人と比べ圧倒的に速い。ただ、プロンプトの書き方によっては、期待する回答に大きな差が生まれることに注意が必要である。
教育現場でも、LLMに代表される生成AIは大きな議論を読んでおり、当学の指針としては、学生の主体的な学びの精神に則り、道具として使いこなせることを期待している。
昨年12月、当学と産総研との共同研究として日本語能力を強化したLLM「Swallow」を公開した。「Swallow」は、英語性能の高いモデル（Llama2）をベースに採用し、TASKに応じてベースモデルのデータ容量の異なる商用利用が可能な3種類（7B,13B,20B）のパラメータモデルを提供している。
学習データは、日本語のオープンで大規模なデータはあまりなく独自で作った。Common Crawlと呼ばれるネットのテキストから日本語のみを集め、スクリーニング処理をしたが、広く使われているコーパスよりも大きな規模のものとなっている。
情報漏洩を防ぎ、ビジネスにも安心して使えるように、データをダウンロードできる仕様になっている。いろいろなTASKで性能比較を行っており、ベースモデルに日本語の知識を増やすことで、応答の質が向上して来ている。
こういうベースモデルは汎用的な能力を開花させるためにいろんな方法でファインチューニングを図っていくが、そのための土台となるモデルには地頭の良いモデルを使いたい。ベースとなるモデルを選ぶのに知能指数をどのように計ったら良いのか、非常に難しいことを痛切に感じている。
LLMの悪影響について、非常に分かり易く纏められている論文では、①差別や特定の集団、グループ等の排除、有害な表現、②プライバシーの侵害、③誤情報の拡散や問題行動の誘発、③過度の依存による悪影響、④社会や環境への悪影響、が挙げられている。
悪影響への対策として、ハルシネーション（幻覚）の発生では、学習データのスクリーニングにより改善が見られ、また職業に対する性別や偏見では、言語モデルの性別バイアスの測定評価を行っている。また、レポートが人間によって書かれたか、LLMによって書かれたかを検出する方法としては、分類器による検出、尤度(ゆうど)に基づく検出、透かしによる検出などがあるが、技術の進歩を止めることは難しく、生成と検出はいたちごっこの関係にならざるを得ない。
画像や言語を生成するAIは創造の扉を開きつつある。完璧ではないが人間と協業するレベルに到達しており、今後も益々進化を遂げて、各研究分野に特化したLLMの構築・活用が進むだろう。人間の知的活動を尊重することに視点を置き、人や社会を豊かにするための研究開発に今後も挑戦していこうと考える。
「ビジネスのためのAI活用を加速するwatsonx」
倉田 岳人氏 日本アイ・ビー・エム株式会社 東京基礎研究所 技術理事
弊社は1956年にAI（人工知能）という言葉が生まれて以来、AIの研究開発に取り組んできた。その歴史の中で、1997年に「Deep Blue」でチェスの世界チャンピオンに勝利し、2011年には初代「Watson」がジョパディ（米国のクイズ番組）でグランドチャンピオンに勝利した。その後ネットの普及により非構造化データを取り込み、2018年には「プロジェクトディベーター」と呼ぶ複雑な話題や正解のない問題を人間と議論する製品を発表してきた。
AIの進化は、人手でルールを作成するエキスパート・システムからスタートしたが、タスク毎にルールを作成する機械学習を経て、大量のラベル付き学習データと自己教師あり学習による深層学習に進んできた。しかし、タスク毎に大量のラベル付きデータを準備することは難しく業務への導入は限定的であった。そこで、大量のラベルなし学習データを自己教師あり学習として、一つの巨大な基盤モデル（ファウンデーション・モデル）を構築した。用途に応じて少量のデータのカスタマイズが可能となっている。
LLMを支える自然言語処理については、ネット上の大量の文章データ（生データ）を収集し、幾つかの単語にマスクを掛け、元の文章を再現する「穴埋め問題」を大量に解かせることで、基盤モデルを生成した。追加学習や微調整による「ファインチューニング」、質や関連性の高い出力を生成するための「プロンプトエンジニアリング」によって、様々なタスクに高い精度で対応することが可能となっている。基盤モデルは、自然言語処理に限られたものではなく、プログラミング言語や化学式にも提供されている。
新しいコンテンツを生成するAIには、自然言語処理の大規模言語モデルおよび画像を扱うDiffusion Model があるが、今後、センサーデータ、時系列データ、表データ、対話や音声など対象範囲を広げてモデリングの可能性に挑戦していきたい。
昨年、弊社はビジネス向けに新しいデータプラットフォーム「watsonx」を発表した。
「watsonx」は、非生成タスク、生成・非生成タスク、生成AI専用の3種類の基盤モデルを提供し、タスクの特長に応じて、導入・運用コストが異なる基盤モデルを選択することができる。また、独自のLLM（Granite）の提供を開始した。文章要約、質問応答などでビジネス領域のタスクで優れた性能を発揮し、HAP（Hate abuse and profanity）フィルターの利用や技術仕様に関する詳細を公開した。
先月、弊社とメタを中心とする「AIアライアンス」をスタートさせた。オープンなAI-テクノロジーとオープンコミュニティの構築・支援を目的に、オープンで安全なAIが創られることを目指している。
お客様が、既存のAI利用に留まらず、独自にAIを構築して「AI価値創造企業」になっていただくよう、今後も一層のサポートを続けて行く所存である。
[インタラクティブ・セッション]
メガプラットフォーマーの動向や海外の莫大な開発投資と日本の状況、国内のAI人材の不足や海外流出への懸念、AIの説明責任の問題、日本語LLMの国内での連携や統合の可能性、昨今の学術論文の傾向と生成AIの影響などに話が及びました。特に生成AIの次の展開として、実世界とのインタラクションを通じたロボットの飛躍的な進化の可能性や生成AIが今後創発を生み出すかにも話しがおよび、言語学習をベースとしたLLMの限界についても議論されました。
最後に、「AIは万能のようにもてはやされているが、あくまでデータドリブンな帰納的学習であり、物理の第一原理計算による演繹的推論を抜きにして、LLMだけで科学が発展することはない」との上田先生のご指摘に、会場に参加された皆さまも大きくうなずかれていました。
-
インタラクティブ・セッションの様子