お使いのWebブラウザでは、当サイトの内容の一部が表示されない、リンクが機能しないなどの問題が発生することがあります。

お使いのWebブラウザではJavaScriptが無効になっています。当サイトの内容の一部が表示されない、リンクが機能しないなどの問題が発生することがあります。

情報通信研究機構
データ駆動知能システム研究センター

----

データ駆動知能システム研究センターでは、Web等に存在する大量のテキストを深く意味的に分析し、情報の価値ある組み合わせや、価値ある仮説を柔軟な入力を元に提示できる技術を開発しています。ますます複雑化していく現代社会において、一見かけ離れた情報間の予想もしなかった繋がりが非常に重大な帰結をもたらす事例がますます頻繁におきています。我々の目指す技術はそうした情報間の組み合わせをユーザに分かりやすい形で入手可能にするものです。より具体的には、文の同義性やテキストに書かれた因果関係などの事象間の意味的関係を元に、ユーザの多様なニーズに応えられる情報やその組み合わせ、あるいは仮説を、Web等に存在する膨大な情報源をもとに生成する技術です。こうした技術の開発には先進的な言語処理技術、膨大な言語資源が必要となりますが、これまでに開発してきた最先端技術や、関連分野を研究する公的機関としては日本最大級の計算リソースを用いてこれらの研究開発に挑んでいます。

代表的な成果は以下の3点です。1. 大規模言語モデルNICT LLM2. 高齢者介護支援マルチモーダル音声対話システムMICSUS3. 大規模Web情報分析システムWISDOM X 深層学習版

NEWS & TOPICS

New 日経新聞に、「生成AI、規模追求に一石 組み合わせで精度上げる「MoE」」と題した鳥澤フェローのインタビュー記事が掲載されました ()

日本経済新聞Digital Eyesに、鳥澤フェローが生成AIの動向に関してインタビューに答えた記事が掲載されました。

New DISAANA・D-SUMMの試験公開を終了しました ()

NICT DIRECTでは、災害時に溢れる膨大なツイッターの投稿を分析する対災害SNS情報分析システムDISAANAを2015年から、 災害状況要約システムD-SUMMを2016年から試験公開し、これまでに2017年の九州北部豪雨をはじめとする地震、風水害、大雪等の災害時に多数の自治体等で利用いただき、技術改良等も行ってきました。 こうした中、最近では、DISAANA等のために開発した技術が活用されているものも含めて、SNSを分析し災害対応に役立てる各種民間サービスが自治体等にも普及してきました。 これらに鑑みて、2023年1月10日にお知らせさせていただきました通り、本試験公開を2023年12月28日をもって終了とさせていただきました。これまでのご利用、ありがとうございました。

New 大規模言語モデルに関する研究員を公募しています ()

NICT DIRECTでは、現在開発中の大規模言語モデルNICT LLMの研究開発やそのための高品質な学習データ構築、並びに必要となる周辺技術の研究開発を行う研究員を募集しています。ご応募、お待ちしております。

応募要件や給与などの詳細は、公募情報をご覧ください。 自然言語処理や大規模データ分析の経験は必須ではありませんが、大規模言語モデルや深層学習モデルなどの研究開発経験を高く評価します。 また、勤務地はNICT本部(東京都小金井市)またはユニバーサルコミュニケーション研究所(京都府相楽郡精華町)となります。 なお、特定研究員制度により、該当の場合、研究員特別手当が支給されます。詳しくは、パーマネント職員給与規程第16条の2(*)をご確認ください。
(*) 規程の改正に伴い、2024年1月16日から2月23日までリンク切れとなっておりました。申し訳ございません。

New NHKニュース7で、「国産生成AIの開発進む『豊富な日本語の学習データが強み』」と題してNICTにおける大規模言語モデル開発の活動が紹介されました ()

NHKニュース7にて、大規模言語モデルNICT LLMの活動が紹介されました。 3,110億パラメータの大規模言語モデルの事前学習が完了してメンバーで結果を検証している様子や、生成AIを国内開発する重要性・今後の課題などについて語った鳥澤フェローのインタビューなどが報道されました。

日経ビジネスの記事「NTTが挑むパラメーター数抑えた生成AIの勝算 孫正義氏は苦言」にて、鳥澤フェローのコメントが紹介されました ()

日経ビジネス 2023年11月27日号掲載の生成AIに関する連載「シリーズChatGPTの衝撃」の記事「NTTが挑むパラメーター数抑えた生成AIの勝算 孫正義氏は苦言」にて、鳥澤フェローのコメントが紹介されました。 NTTが開発した小型のLLMに関してコメントしています。

沿革

2008年(平成20年)
知識創成コミュニケーション研究センター 言語基盤グループが発足(グループリーダー 鳥澤健太郎)。
音声・言語処理の基盤となる大規模な言語資源の構築・公開、及びその作成・活用に資する言語処理技術を研究。その成果として音声質問応答システム「一休」などのシステムを開発。
2011年(平成23年)
ユニバーサルコミュニケーション研究所 情報分析研究室が発足(室長 鳥澤健太郎)。
Web等に存在する大量のテキストを深く意味的に分析し、情報の価値ある組み合わせや、価値ある仮説を柔軟な入力を元に提示できる技術の研究、開発。
2015年(平成27年)
大規模Web情報分析システムWISDOM Xの試験公開を開始(3月31日)。 対災害SNS情報分析システムDISAANAの試験公開を開始(4月8日)。
2016年(平成28年)
ユニバーサルコミュニケーション研究所 データ駆動知能システム研究センターが発足(センター長 鳥澤健太郎)。
次世代音声対話システムWEKDAの研究開発を開始。 災害状況要約システムD-SUMMの試験公開を開始(10月18日)。
2018年(平成30年)
SIP第2期「国家レジリエンス(防災・減災)の強化」において国立研究開発法人防災科学技術研究所、株式会社ウェザーニューズ、LINE株式会社と協力して、SNS上で災害関連情報の収集、配信等を自律的に行う防災チャットボットSOCDAの研究開発を開始。
SIP第2期「ビッグデータ・AIを活用したサイバー空間技術」においてKDDI株式会社、NECソリューションイノベータ株式会社、株式会社日本総合研究所と協力し、次世代音声対話システムWEKDAの雑談応答技術も活用しつつ、高齢者の健康状態のチェックや社会的孤立の回避を狙ったマルチモーダル音声対話システムMICSUSの研究開発を開始。
2021年 (令和3年)
WISDOM X 深層学習版の試験公開開始。自動並列化深層学習ミドルウェアRaNNCをリリース(3月31日)。
研究センター長に大竹清敬が就任(4月1日)。
2023年 (令和5年)
大規模言語モデルNICT LLMの研究開発を開始。

代表的な成果 1. 大規模言語モデルNICT LLM

NICT LLMは、WISDOM XMICSUSなどの開発で培った高精度な言語処理・深層学習技術と、構築済みの350GBもしくは888GBの高品質な独自の日本語Webテキストを用いて開発した、NICT独自の生成系大規模言語モデルです。 これまでに、130億パラメータから1,790億パラメータ(OpenAI社のGPT-3と同等規模)、さらには日本語特化型では世界最大の大規模言語モデルとなる3,110億パラメータまで、パラメータ数を変えたさまざまなモデルの事前学習を完了し、特にファインチューニング等を行わなくても、事前学習のみで一定の精度で質問応答、創作、議論等が可能なことを確認し、また、モデルの大規模化と学習用テキストの大規模化に伴う性能向上を確認しています。

このNICT LLMの開発に関して2023年7月にプレスリリース「日本語に特化した大規模言語モデル(生成AI)を試作」を実施、多くの新聞やネットメディアで報道されています。 NHKニュース7でも当研究センターの活動が紹介されました。

現在、偽情報を生成するハルシネーション等の生成系大規模言語モデルの副作用の抑制を目指して、WISDOM Xを活用した情報を確認する機構や、複数のLLM同志が議論を行って最終的な情報を生成するシステムの検討にも着手しています。また、NICT LLMおよび関連技術の社会実装に向け、MICSUSなどの対話システムへの導入を計画するとともに、NICTで収集・開発した言語資源や言語モデル、研究知見などを共同研究等を通して民間等に提供する準備も進めています。

Preview for figure NICT LLMの動作例(質問応答、創作、要約等)
NICT LLMの動作例(質問応答、創作、要約等)
Preview for figure NICT LLMの動作例(LLMとユーザとの議論)
NICT LLMの動作例(LLMとユーザとの議論)

代表的な成果 2. 高齢者介護支援マルチモーダル音声対話システムMICSUS

MICSUSは、異次元の高齢化が進み介護人材の逼迫が喫緊の課題となる中、現在は人間の介護者(ケアマネジャー)が月一回程度面談で行なっている、 介護モニタリングと言われる高齢者の健康状態や生活習慣のチェックの一部を音声対話を通じて代替し、介護者の作業負担を軽減するための対話システムです。 また、Web情報を用いた雑談も行い、高齢者のコミュニケーション不足の抑制も狙っています。 内閣府戦略的イノベーション創造プログラム(SIP)第2期の支援により、KDDI株式会社、 NECソリューションイノベータ株式会社、株式会社日本総合研究所と共同で開発しました。

音声認識誤りに頑健な独自開発のHBERTを300万件のオリジナル学習データでファインチューニングしたモデルを活用し、遠まわしな言い回しなどを含む様々な発話に対して高精度な意味解釈を実現し、 高齢者との対話から健康状態や生活習慣の情報を適切に抽出します。 2022年度に全国各地の高齢者179名を対象に実証実験(総対話時間95.3時間、26,704ターン)を実施して評価を行いました。 実施後のアンケートで5段階中4.2と高評価をいただくとともに、言語処理の部分ではYES/NO疑問文への回答を93.5%の高精度で正しく意味解釈できています。 雑談的応答に関しても、91.8%が雑談として適切、25.4%に対して高齢者が笑顔を見せるなど、51.9%に対して高齢者が好意的反応を示し、雑談のクオリティは良好と言えます。

また、CEATEC2022、HANAZONO EXPO、けいはんなR&Dフェア2023など、 様々なイベントに出展して多くの家族づれや介護関係者にMICSUSとの対話を体験していただいています。

今後も、多数の民間企業と連携して本技術の社会実装に向けた強化を進めるとともに、さまざまな社会課題の解決、回避に向け、言語、音声の高度かつ高精度な意味的処理の実現を目指して研究開発を行います。 研究開発成果を、要素技術単位でKDDIをはじめとするさまざまな企業、組織にライセンス等を通して提供し、技術の社会実装に取り組んでいきます。 また、大規模言語モデルなどの最新の言語処理技術の応用も図っていきます。

Preview for figure 高齢者介護支援マルチモーダル音声対話システムMICSUS
高齢者介護支援マルチモーダル音声対話システムMICSUS

高知県日高村での実証実験の様子(KDDI提供)

MICSUSの詳しい紹介は、以下のサイトや動画をご覧ください。

研究紹介ムービー『NICTステーション ~MICSUS~』(NA上白石萌音)

マルチモーダル音声対話システムMICSUS紹介動画

代表的な成果 3. 大規模Web情報分析システムWISDOM X 深層学習版

2021年3月31日より、Web60億ページの情報を基に様々な質問に回答することができる大規模Web情報分析システムWISDOM X(ウィズダムエックス)「深層学習版」の試験公開を開始しました。 2015年3月31日より試験公開しておりましたバージョンでは、Web40億ページの情報を基に「なに」「なぜ」「どうなる」といったタイプの様々な質問に回答することが出来ましたが、「深層学習版」では、新たに「どうやって」(How-to)型の質問にも対応しました。 これらの様々な質問応答を通して関連情報の全体像を迅速かつ容易に把握できるようにし、価値ある想定外の発見も容易にします。 WISDOM Xは、近年、重要性を増しているイノベーションやリスク管理といった不確実性に対処する作業において価値ある考えるヒントを提供できると考えています。

2023年6月12日にニアリアルタイム解析を導入し、収集したWebページを即時に解析し、WISDOM Xの分析対象とするようにしました。 これにより一部の最新の情報に対しても質問の回答が行えるようになっています。 (ただし、収集した時点で最新情報かどうかはわかりませんので、最新情報がすべて検索可能になっているわけではありません。)

2023年12月18日に深層学習モデルを更新しました(分析対象はWeb176億ページ以上)。「なぜ?」、「どうやって?」タイプの質問において実験では精度が5%以上向上しています。

深層学習版の詳細につきましては以下のリンクをご覧ください。

Preview for figure 質問「AIが解決できそうな高齢化の問題は何がある?」への回答
質問「AIが解決できそうな高齢化の問題は何がある?」への回答
Preview for figure 質問「チーズとネギがあるけど、つまみになにをつくったらいいかな?」への回答
質問「チーズとネギがあるけど、つまみになにをつくったらいいかな?」への回答