お使いのWebブラウザでは、当サイトの内容の一部が表示されない、リンクが機能しないなどの問題が発生することがあります。

お使いのWebブラウザではJavaScriptが無効になっています。当サイトの内容の一部が表示されない、リンクが機能しないなどの問題が発生することがあります。

New 大竹センター長が、近畿情報通信協議会会長表彰を受けました ()

大竹センター長が、総務省近畿総合通信局と近畿情報通信協議会共催の令和6年度「電波の日・情報通信月間」記念式典にて、 電波の利用及び情報通信の発展に貢献した個人として、近畿情報通信協議会会長表彰を受けました。 SNS上の投稿や対話の内容から災害関連情報の分析をリアルタイムに行う 対災害SNS情報分析システムDISAANA災害状況要約システムD-SUMMを開発するとともに、 被災情報の収集を行う防災チャットボットSOCDAを企業等と共同開発し災害時の安全確保及び救助活動に寄与するシステムの開発に多大な貢献をしたことが評価されたものです。

Preview for figure 表彰式の様子
表彰式の様子
Preview for figure 近畿情報通信協議会会長表彰 表彰状
近畿情報通信協議会会長表彰 表彰状

New 日経新聞日曜版掲載の防災DXに関する解説記事で、NICTによる能登半島地震の際のSNS上でのデマ投稿の分析結果が紹介されました。鳥澤フェローのコメントも掲載されています ()

日経新聞日曜版掲載の編集委員による防災DXに関する解説記事:サイエンス Next Views「防災DXの光と影 デマ克服し長所伸ばせ」で、災害状況要約システムD-SUMMによる能登半島地震の際のSNS上でのデマ投稿の分析に関する記事が掲載結果が紹介されました。 日本独自のAI開発の必要性を訴える鳥澤フェローのコメントも掲載されています。

New 青弓社より書籍「生成AIの論点 学問・ビジネスからカルチャーまで」が発売されました。鳥澤フェローが「NICTのLLMとその周辺」に関して紹介しています ()

青弓社より、11人のトップランナーが生成AIについてレクチャーする書籍「生成AIの論点 学問・ビジネスからカルチャーまで」が発売されました。 2023年9月24日に開催された日本学術会議による公開シンポジウム「生成AIの課題と今後」 における登壇者の講演内容が書籍化されたものです。 鳥澤フェローが、第2章「NICTのLLMとその周辺」を執筆しています。

日テレNEWS NNNに、「AIに多様性を 国産生成AI開発の意義を開発者に聞く」「生成AI・大規模言語モデルとは 人材獲得・開発競争は?」と題した鳥澤フェローのインタビュー記事が掲載されました ()

日テレNEWS NNNに、鳥澤フェローが国産生成AI・大規模言語モデル(LLM)開発の意義と課題などに関してインタビューに答えた記事が掲載されました。

総務省「デジタル空間における情報流通の健全性確保の在り方に関する検討会」において、鳥澤フェローがオブザーバーとしてプレゼンを行いました ()

月刊正論に、「複数の『正義』で『悪』を無効化する」と題した鳥澤フェローの寄稿が掲載されました ()

月刊正論2024年5月号の特集「日本とAI」にて、「複数の『正義』で『悪』を無効化する」と題した鳥澤フェローの寄稿が掲載されました。

NAIST連携講座:データ駆動知識処理研究室は活動を停止しました ()

奈良先端科学技術大学院大学 情報科学領域の連携講座:データ駆動知識処理研究室は、2024年3月末日をもって活動を停止しました。

NHKで、災害状況要約システムD-SUMMによる能登半島地震の際のSNS上でのデマ投稿の分析が紹介されました ()

災害状況要約システムD-SUMMによる能登半島地震の際のSNS上でのデマ投稿の分析がNHKで紹介されました。

日経新聞に、「生成AI、規模追求に一石 組み合わせで精度上げる「MoE」」と題した鳥澤フェローのインタビュー記事が掲載されました ()

日本経済新聞Digital Eyesに、鳥澤フェローが生成AIの動向に関してインタビューに答えた記事が掲載されました。

日刊工業新聞に、災害状況要約システムD-SUMMによる能登半島地震の際のSNS上でのデマ投稿の分析に関する記事が掲載されました ()

DISAANA・D-SUMMの試験公開を終了しました ()

NICT DIRECTでは、災害時に溢れる膨大なツイッターの投稿を分析する対災害SNS情報分析システムDISAANAを2015年から、 災害状況要約システムD-SUMMを2016年から試験公開し、これまでに2017年の九州北部豪雨をはじめとする地震、風水害、大雪等の災害時に多数の自治体等で利用いただき、技術改良等も行ってきました。 こうした中、最近では、DISAANA等のために開発した技術が活用されているものも含めて、SNSを分析し災害対応に役立てる各種民間サービスが自治体等にも普及してきました。 これらに鑑みて、2023年1月10日にお知らせさせていただきました通り、本試験公開を2023年12月28日をもって終了とさせていただきました。これまでのご利用、ありがとうございました。

大規模言語モデルに関する研究員を公募しています ()

NICT DIRECTでは、現在開発中の大規模言語モデルNICT LLMの研究開発やそのための高品質な学習データ構築、並びに必要となる周辺技術の研究開発を行う研究員を募集しています。ご応募、お待ちしております。

応募要件や給与などの詳細は、公募情報をご覧ください。 自然言語処理や大規模データ分析の経験は必須ではありませんが、大規模言語モデルや深層学習モデルなどの研究開発経験を高く評価します。 また、勤務地はNICT本部(東京都小金井市)またはユニバーサルコミュニケーション研究所(京都府相楽郡精華町)となります。 なお、特定研究員制度により、該当の場合、研究員特別手当が支給されます。詳しくは、パーマネント職員給与規程第16条の2(*)をご確認ください。
(*) 規程の改正に伴い、2024年1月16日から2月23日までリンク切れとなっておりました。申し訳ございません。

NHKニュース7で、「国産生成AIの開発進む『豊富な日本語の学習データが強み』」と題してNICTにおける大規模言語モデル開発の活動が紹介されました ()

NHKニュース7にて、大規模言語モデルNICT LLMの活動が紹介されました。 3,110億パラメータの大規模言語モデルの事前学習が完了してメンバーで結果を検証している様子や、生成AIを国内開発する重要性・今後の課題などについて語った鳥澤フェローのインタビューなどが報道されました。

日経ビジネスの記事「NTTが挑むパラメーター数抑えた生成AIの勝算 孫正義氏は苦言」にて、鳥澤フェローのコメントが紹介されました ()

日経ビジネス 2023年11月27日号掲載の生成AIに関する連載「シリーズChatGPTの衝撃」の記事「NTTが挑むパラメーター数抑えた生成AIの勝算 孫正義氏は苦言」にて、鳥澤フェローのコメントが紹介されました。 NTTが開発した小型のLLMに関してコメントしています。

電子情報通信学会の通信ソサイエティマガジン(2021年冬号)掲載の防災チャットボットSOCDAの解説論文が、第18回電子情報通信学会通信ソサイエティ論文賞(和文マガジン論文賞)を受賞しました ()

電子情報通信学会の通信ソサイエティマガジン(IEICE B-plus)のVol.59(2021年冬号)の小特集「ここまで進んだ防災とICT」掲載の解説論文「災害対応におけるICT活用と防災チャットボットSOCDA」が、 18回目となる2022年度電子情報通信学会通信ソサイエティ論文賞にて、 和文マガジン論文賞を受賞しました。 大竹研究センター長が、共同開発を行ったウェザーニューズ、LINEのメンバーと共著で、防災におけるICT活用を解説するとともに、 防災チャットボットSOCDAの機能や活用事例、将来の展望を紹介したものです。

ITmediaビジネスオンラインに、鳥澤フェローのインタビュー記事「生成AIが互いに議論? 国立法人NICTが目指す「フェイクを見破る術」とは」が掲載されました ()

ITmediaビジネスオンラインの連載「生成AI 動き始めた企業たち」の第8回として、NICTの生成AIに関する記事「生成AIが互いに議論? 国立法人NICTが目指す「フェイクを見破る術」とは」が掲載されました。 鳥澤フェローがインタビューに答えて、これまでに蓄積済みの大規模・高品質な日本語データや、WISDOM X, MICSUSなどの開発で蓄積した自然言語処理のノウハウ・経験の活用や今後の計画など、NICTのLLMの特徴を紹介しています。

日経サイエンス2023年10月特大号の大規模言語モデルの特集に、鳥澤フェローのインタビュー記事「Unknown unknownに備えよ」が掲載されました ()

日経サイエンス2023年10月特大号の「特集:大規模言語モデル 科学を変えるAI」p.53に、鳥澤フェローのインタビュー記事「Unknown unknownに備えよ」が掲載されました。

NICTで開発中の1790億パラメータの大規模言語モデル(LLM)に関する記事が、日刊工業新聞に掲載されました ()

2023年8月18日の日刊工業新聞朝刊6面に、「【モノづくり イノベーション】[AI新時代] 情報通信研究機構 LLM、日本語を猛特訓! 高精度計算 知見積み上げ 1790億パラメーターに挑戦」と題して、NICTで開発中の大規模言語モデル(LLM)に関する記事が掲載されました。

「高齢者介護支援マルチモーダル音声対話システムMICSUS」に関して、KDDIによる取り組みを紹介する記事が、日刊工業新聞に掲載されました ()

2023年7月7日の日刊工業新聞朝刊6面に、「AI新時代/KDDI 高齢者と対話、さらに自然に」と題して、「高齢者介護支援マルチモーダル音声対話システムMICSUS」に関するKDDIによる取り組みを紹介する記事が掲載されました。NICTとの連携に関しても記載されています。

独自に収集した350GBの日本語Webデータのみで学習した、400億パラメータの生成系大規模言語モデルを開発しました ()

この度NICTは、これまで構築してきた識別系言語モデルの学習に用いていた、ノイズに相当するテキストが少ない350GBの高品質な独自の日本語Webテキストを用いて、400億パラメータの生成系の大規模言語モデルを事前学習し、 その動作の検証を開始しました。詳細は、プレスリリース「日本語に特化した大規模言語モデル(生成AI)を試作」をご覧ください。 今後、共同研究等を通して民間企業、国研、大学等と協力して、日本語の大規模言語モデルの研究開発や利活用に取り組む予定です。

なお本件に関する記事が、以下に示す複数のWEBメディアに掲載されています。

Preview for figure NICTの大規模言語モデルプロトタイプの動作例
NICTの大規模言語モデルプロトタイプの動作例

NICTの先端ICT研究を紹介するNICTステーションにて、AIで高齢者をケアするMICSUSを紹介するムービーを公開しました ()

NICTの先端ICT研究を紹介するムービーの発信基地NICTステーションにて、AIで高齢者をケアするマルチモーダル音声対話システムMICSUS(ミクサス)を紹介するムービーを公開しました。 NICTを訪問した女性レポーターに、研究者とNICTの公式キャラクター“N”が、『研究内容』と『社会的インパクト』をご紹介しています。”ワクワクする未来”を創る先端ICT研究を、ぜひご覧ください。

        研究紹介ムービー『NICTステーション ~MICSUS~』(NA上白石萌音)

高齢者向け対話AIシステムMICSUS(ミクサス)を活用した介護モニタリングの実証実験を実施、遠まわしな言い回しなどを含む様々な発話に対する高精度な意味解釈を実現し、介護者の業務負荷を軽減できることを確認しました ()

NICTは、KDDI、NECソリューションイノベータと共同で、日本総研の協力を得て、2022年6月28日から2023年1月28日まで、内閣府SIP第2期に採択され研究開発している高齢者介護支援用マルチモーダル音声対話システムMICSUSを活用した介護モニタリングの実証実験を実施しました。

MICSUSは、異次元の高齢化が進み介護人材の逼迫が喫緊の課題となる中、現在は人間の介護者が月一回程度面談で行なっている、介護モニタリングと言われる高齢者の健康状態や生活習慣のチェックの一部を音声対話を通じて代替する対話システムです。 また、Web情報を用いた雑談も行い、高齢者のコミュニケーション不足の抑制も狙っています。

本実証では、サービス付き高齢者向け住宅等の施設や自宅で生活する高齢者179名を対象に、MICSUSが組み込まれたぬいぐるみ型の専用端末やスマートフォンを介してMICSUSと面談(計927回)を行う実証実験を北海道から九州まで全国各地で実施しました。 総対話時間は95.3時間、一回の面談での高齢者の発話は平均14回程度で、実施後の高齢者のアンケートで5段階評価で平均4.2の高評価をいただくことができました。 またWebベースの雑談的応答に対しても、その半数以上に対して高齢者が笑顔を見せる、または積極的な興味を示す等、良好な結果が得られました。 介護モニタリングにおいては、高齢者の健康状態や生活状況の変化の情報を収集するための面談とその記録業務に介護者が要する時間を約7割削減することに成功、介護者の業務負荷を軽減できることを確認しました。

言語処理の部分では、音声認識誤りに頑健な独自開発のHBERTを300万件のオリジナル学習データでファインチューニングしたモデルを活用し、遠まわしな言い回しなどを含む様々な発話に対して高精度な意味解釈を実現しています。 今回の実証でも、高齢者の健康状態や生活習慣を適切かつ正確(精度約93%)に収集、雑談も含め、すべての高齢者の発話に対し高精度(精度約93%)で適切に応答することができました。

また、本件に関する記事が、複数のWEBメディアに掲載されています。

今後も、多数の民間企業と連携して本技術の社会実装に向けた強化を進めるとともに、さまざまな社会課題の解決、回避に向け、言語、音声の高度かつ高精度な意味的処理の実現を目指して研究開発を行います。 研究開発成果を、要素技術単位でKDDIをはじめとするさまざまな企業、組織にライセンス等を通して提供し、技術の社会実装に取り組んでいきます。

             高知県日高村での実証実験の様子(KDDI提供)

HANAZONO EXPOに高齢者介護支援用マルチモーダル音声対話システムMICSUS(ミクサス)を出展しました ()

11月5日(土)、6日(日)の2日間、東大阪市の花園中央公園で開催されたHANAZONO EXPOにて、SIP第2期で研究開発を進めている高齢者介護支援用マルチモーダル音声対話システムMICSUS(ミクサス)の出展を行いました。 このイベントは、2025年に開催される大阪・関西万博への機運醸成を目的として、東大阪市の主催で今年初めて開催されたものです。

イベント当日の週末は天候にも恵まれて2日間で7万人の参加者があり、MICSUSのブースにも多くの方が来場され、200組以上の方にMICSUSとの対話を体験していただくことができました。 対話が思った以上にスムーズに進行することに感心される方も多く、また子どもたちにもぬいぐるみとのお話を楽しんでいただきました。 内覧日には東大阪市の野田義和市長を始めとする市の幹部や議員団の方々にも体験いただきました。 東大阪市とは、今回のイベントへの出展と並行して、東大阪市の介護施設でのMICSUSの実証実験の計画を進めています。

SIP第2期は今年度が最終年度であり、今後も、今回のような展示会や実証実験などでMICSUSを多くの方に使用していただく機会を通じて、社会実装に向けた課題の抽出と改良を継続していく予定です。

マルチモーダル音声対話システムMICSUSのご紹介を行う動画を公開しました ()

内閣府プロジェクト(SIP第2期)の一環でNICTが参画して研究開発している、高齢者との対話を通じて健康状態や生活習慣をチェックできる「マルチモーダル音声対話システムMICSUS(ミクサス)」をご紹介する動画をYouTubeにおいて公開いたしました。 動画の後半では高齢者の方に実際にMICSUSをお使いいただいた様子もご覧いただけます。

「大規模深層学習のための自動並列処理ソフトウェアRaNNC」が「第35回 独創性を拓く 先端技術大賞」経済産業大臣賞を受賞しました ()

情報通信研究機構・データ駆動知能システム研究センターの田仲正弘主任研究員を代表とするグループが、産経新聞社主催の「第35回 独創性を拓く 先端技術大賞」(後援・文部科学省、経済産業省、フジテレビジョン、ニッポン放送)の経済産業大臣賞を受賞しました。 この先端技術大賞は、優れた研究成果をあげた理工系の学生や企業の若手研究者、技術者を表彰するために設けられた賞で、経済産業大臣賞は社会人部門の最優秀賞となります。 2022年6月9日付の産経新聞朝刊1面でも紹介されています。表彰式は、7月に開催される予定です。

今回受賞対象となった研究成果は、田仲正弘主任研究員、東京大学情報基盤センターの田浦健次朗センター長、塙敏博教授、情報通信研究機構の鳥澤健太郎フェローによる「大規模深層学習のための自動並列処理ソフトウェアRaNNC」です。 このRaNNC(Rapid Neural Network Connector)は、大量のコンピュータ資源が必要とされる大規模ニューラルネットワークの深層学習を、ほぼ自動で並列化することで、飛躍的に簡単化するものです。 大規模ニューラルネットワークの代表例として、1,750億個のもの学習パラメータを持つGPT-3があり、人間が書いたものと同等レベルの高品質なテキストを生成する等の成果で広く知られていますが、こうした規模のニューラルネットの学習には、多数の専門家による数ヶ月単位のチューニングを要したと考えられます。一方、RaNNCを用いた自動的な並列化により、人手のチューニング無しに、GPT-3を超える2,000億パラメータのニューラルネットワークの学習が可能なことを確認しています。 RaNNCはGitHubでオープンソースで公開されています。ライセンスはMITライセンスのため、商用目的を含め無償でご利用いただけます。

データ駆動知能システム研究センターでは今後とも、受賞対象となった研究成果をさらに発展させるなど、深層学習の研究の推進に貢献してまいります。

鳥澤健太郎主管研究員が、2021年度「情報処理学会フェロー」の称号を授与されました ()

鳥澤健太郎主管研究員が、一般社団法人情報処理学会より、2021年度「情報処理学会フェロー」の称号を授与されました。 「情報処理学会フェロー」は、情報処理および情報通信等の分野で学術的または産業的発展・普及・振興などに著しい貢献をされた情報処理学会会員に、その貢献を称えるとともに、その貢献がより多くの方々に周知され社会的認知度を高めることを目的として授与されるものです。

鳥澤健太郎主管研究員の対象業績は、「Web,SNSを対象とする大規模自然言語処理システムの開発と実用化」です。膨大なネット情報の有効活用のため、WebやSNSなどの大規模な言語資源を対象にした知識抽出、質問応答、仮説生成等のための深層学習技術を開発するとともに、 複雑な質問にも回答する質問応答システム(WISDOM X)、 Twitter上の災害情報を分析し救援活動を支援するシステム(DISAANA/D-SUMM)、 高齢者介護を支援するためのマルチモーダル音声対話システムMICSUSなどの 斬新な自然言語処理システムの研究開発や社会実装に関して優れた成果を挙げていることが評価されました。

データ駆動知能システム研究センターでは今後とも、受賞対象となった大規模自然言語処理技術の強化開発と社会実装を推進してまいります。

自動並列化深層学習ミドルウェアRaNNCが PyTorch Annual Hackathon 2021において First Place(第1位)を受賞しました ()

東京大学情報基盤センターと共同で開発している自動並列化深層学習ミドルウェアRaNNC(Rapid Neural Network Connector)が、 PyTorch Annual Hackathon 2021において、PyTorch Developer Tools & Libraries 部門の First Place(第1位)を受賞しました。

PyTorch Annual Hackathonは、世界中で広く使用される深層学習の代表的ソフトウェアPyTorchに関する成果を競うイベントとして、 PyTorchの開発元であるFacebookが公式に開催する唯一のイベントであり、世界中から数多くの参加者を集めています。 今回受賞したミドルウェアRaNNCは、PyTorchの従来機能では困難であった大規模ニューラルネットワークの学習を、飛躍的に簡単化するものです。 RaNNCはオープンソースとしてGitHubで公開されており、 MITライセンスで利用可能です。商用目的を含め無償でご利用いただけます。

電子情報通信学会の通信ソサイエティマガジン(2021年冬号)に防災チャットボットSOCDAの解説論文が掲載されました ()

電子情報通信学会の通信ソサイエティマガジン(IEICE B-plus)のVol.59(2021年冬号)の小特集「ここまで進んだ防災とICT」に、 「災害対応におけるICT活用と防災チャットボットSOCDA」と題した解説論文が掲載されました。 大竹研究センター長が、共同開発を行っているウェザーニューズ、LINEのメンバーとともに、防災におけるICT活用を解説するとともに、 防災チャットボットSOCDAの機能や活用事例、将来の展望を紹介しています。

BSフジの科学ドキュメンタリー「ガリレオX」の減災特集にて、大竹研究センター長のインタビューが放送されました ()

10月10日(日)に放送されたBSフジ「ガリレオX」の第252回「減災」災害から逃げる科学にて、災害が起きた後に状況をいち早く集約し共有するシステムとして、大竹研究センター長が、 対災害SNS情報分析システムDISAANA災害状況要約システムD-SUMM防災チャットボットSOCDAの紹介を行いました。

10月17日(日)11:30~12:00にBSフジで再放送されるとともに、その後はyoutubeで配信されますので、ぜひご覧ください。

企業のDX活動をWEBデータに基づいて自動的に分析・評価する「WISDOM-DX」を開発しました ()

大規模Web情報分析システムWISDOM Xを活用して、デジタルトランスフォーメーション(DX)に関する企業活動を自動的に分析・評価する実験システム「WISDOM-DX」を、IPA(独立行政法人情報処理推進機構)と共同で開発しました。

従来、企業のDX活動は、専門家がアンケート調査を行って評価しており、アンケートの設計・実施・評価の各段階で多くの時間とコストがかかっていました。本システムは、企業のDX活動の情報をWISDOM Xを用いてWEBページから自動的に抽出します。さらに、優良事例との類似度などをスコア化することで、DX評価の自動化にも成功しました。これにより、従来は半年近くかかっていた企業のDX活動状況の調査を、リアルタイムでより大規模に実施することが可能になります。

ACL-IJCNLP 2021で発表する論文のBERTACのコードと事前学習済みのCNNモデルをオープンソースとして公開しました ()

BERT等の事前学習済みモデルと敵対的学習で事前学習したCNNを組み合わせ、GLUEやQA等のベンチマークで高性能を達成したBERTACのコードと事前学習済みのCNNモデルをGitHubで公開しました。

また、ACL-IJCNLP 2021での発表は、8月3日の"Session 5C: Machine Learning for NLP 2"で午前9時40分(日本時間)から行う予定です。

  • BERTACのGitHubリポジトリへのリンク
  • BERTAC: Enhancing Transformer-based Language Models with Adversarially Pretrained Convolutional Neural Networks, Jong-Hoon Oh, Ryu Iida, Julien Kloetzer, Kentaro Torisawa, In the Proceedings of the Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2021), pp. 2103–2115, Bangkok, Thailand, August, 2021. [WEB]

情報処理学会学会誌(2021年6月号)に社会課題解決と自然言語処理技術に関する記事が掲載されました ()

情報処理学会の学会誌である情報処理 Vol.62 No.6(2021年6月)のデジタルアーキテクシャデザイン特集に「社会課題解決に貢献する自然言語処理技術の社会実装と展開 - AIでの人助けに何が必要か - 」と題した 鳥澤健太郎・NICTフェローが執筆した記事が掲載されました。ここ10年ほどのDIRECTの研究開発の概要が書かれています。

  • デジタルアーキテクチャデザイン:5.社会課題解決に貢献する自然言語処理技術の社会実装と展開-AIでの人助けに何が必要か-, 鳥澤健太郎, 情報処理, Vol. 62, no. 6, pp. 27-33, May, 2021.
  • 掲載記事へのリンク

敵対的学習を用いてBERT等の大規模言語モデルの性能向上を図るBERTACに関する論文がACL-IJCNLP 2021に採択されました ()

敵対的学習で事前学習したCNNをBERT等の大規模言語モデルと組み合わせて言語処理タスクの性能向上を図るBERTAC (BERT-style TLM with an Adversarially pretrained Convolutional neural network)に関する論文が、言語処理分野のトップカンファレンスであるACL-IJCNLP 2021 (Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing)に採択されました。
  • BERTAC: Enhancing Transformer-based Language Models with Adversarially Pretrained Convolutional Neural Networks, Jong-Hoon Oh, Ryu Iida, Julien Kloetzer, Kentaro Torisawa, In the Proceedings of the Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2021), pp. 2103–2115, Bangkok, Thailand, August, 2021. [WEB] [GitHub]

  • 発表論文へのリンク (2021年7月26日)

大規模Web情報分析システムWISDOM X「深層学習版」の試験公開を開始しました ()

大規模Web情報分析システムWISDOM Xは、大量のWebページを情報源として質問に回答するシステムです。 2015年に試験公開を開始した初期バージョンは、深層学習を用いた自然言語処理技術がそれほど成熟していなかったこともあり、深層学習技術を使っていませんでした。 一方で、今回試験公開を開始したWISDOM X深層学習版は、約350GBのWebテキストやNICTで構築した高品質かつ大量の学習データをBERTという巨大ニューラルネットワークに学習させ、さらにその独自改良版を用いることで、2015年に試験公開の初期バージョンよりも、広範な質問により高い精度で回答できるようになり、また、新たに「どうやって」(How-to)型の質問にも対応しました。 Web60億ページの情報を基に、例えば、「高齢者のケアができるAIを使った技術には何がある?」「花がきれいで、食べられる実をつける木で庭に植えるのに良いのは何?」、「ふわふわのパンケーキを焼くにはどうすればいい?」「AIはどうしたらCO2回収の技術の開発に貢献できる?」「AIが話題だけどなんでなん?」等、様々な質問に回答します。 www.wisdom-nict.jpにて商用目的を除き、どなたでもお試しいただけます。

自動並列化深層学習ミドルウェアRaNNC(ランク)をオープンソースで公開しました ()

大規模なニューラルネットワークの学習に際し、ネットワークを分割し並列化することで高速化を行うことができますが、これまでは複雑なネットワークの定義を人が書き換えて、並列化することが一般的でした。 自動並列化深層学習ミドルウェアRaNNC (Rapid Neural Net Connector; ランク)はPyTorchで書かれた通常のネットワークの定義を、人が変更しなくても、学習の速度を最適化しつつ、ネットワークをGPUのメモリに収まるように自動で分割し、並列での学習を行うことができるミドルウェアです。 これによって1枚のGPUで学習させることが難しかった巨大なニューラルネットワークを、複数のGPUを用いて、いわゆるデータパラレルとモデルパラレルのハイブリッドで、並列に学習させることが極めて容易になります。 現在、実際に50億個のパラメータを持った拡大版BERTの事前学習を約350GBのWebテキストを用いて行っており、今後さらに大きなネットワークでの学習を行う予定です。 また、RaNNCを適用可能なネットワークのアーキテクチャに基本的に制限はなく、画像認識用のニューラルネットワーク等でも動作を確認しております。 ニューラルネットワークの並列化を自動化するソフトウエアはこれまでにもいくつか提案されていますが、我々の知る限り、RaNNCほどの柔軟性、実用性があるものは他に存在しません。 RaNNCはオープンソースとしてGitHub で公開されており、MITライセンスで利用可能です。 商用目的を含め無償でご利用いただけます。

なお、RaNNCについては、並列分散処理分野におけるトップレベルの国際会議であるIPDPS(IEEE International Parallel and Distributed Processing Symposium)に採択されており、(プレプリント) GPU テクノロジカンファレンス(GTC)(2021年4月12-16日開催)でも概要について講演の予定です。

  • NICTプレスリリースへのリンク(2021年3月31日)
  • Automatic Graph Partitioning for Very Large-scale Deep Learning, Masahiro Tanaka, Kenjiro Taura, Toshihiro Hanawa and Kentaro Torisawa, In the Proceedings of 35th IEEE International Parallel and Distributed Processing Symposium (IPDPS 2021), pp. 1004-1013, Portland, Oregon USA, May, 2021. [WEB]

防災チャットボットSOCDAの神戸市消防団での取組が第3回 日本オープンイノベーション大賞 総務大臣賞を受賞 ()

内閣府プロジェクト(SIP第2期)において推進されている「防災チャットボットSOCDA」の研究開発プロジェクト(大竹清敬上席研究員(データ駆動知能システム研究センター・耐災害ICT研究センター兼務)が参加)が、神戸市の消防団にて運用している「神戸市消防団スマート情報システム」に対し第3回日本オープンイノベーション大賞総務大臣賞の受賞が決定しました。

大規模ニューラルネットワーク学習ミドルウェアRaNNCに関する論文がIPDPS 2021に採択されました ()

データ駆動知能システム研究センターで開発している、大規模ニューラルネットワーク学習のためのミドルウェアRaNNC (Rapid Neural Network Connector)に関する論文が、分散並列処理のトップカンファレンスであるIPDPS 2021 (35th IEEE International Parallel and Distributed Processing Symposium)に採択されました。

  • Automatic Graph Partitioning for Very Large-scale Deep Learning, Masahiro Tanaka, Kenjiro Taura, Toshihiro Hanawa and Kentaro Torisawa, In the Proceedings of 35th IEEE International Parallel and Distributed Processing Symposium (IPDPS 2021), pp. 1004-1013, Portland, Oregon USA, May, 2021. [GitHub]
  • 発表論文へのリンク

防災チャットボットSOCDAのご紹介を行う動画を公開しました ()

内閣府プロジェクト(SIP第2期)の一環で、NICTが参画して研究開発している「防災チャットボットSOCDA」をご紹介する動画をYouTubeにおいて公開いたしました。NICT公式HPにおける CEATEC 2020 ONLINE 特別サイトからもご覧いただけます。

NICTが開発したDISAANA, D-SUMMの技術を活用した商用サービス販売開始 ()

NICTは、災害時に発生する膨大な災害関連情報をリアルタイムに収集・情報分析することで、より適切な情報を提供し、状況把握・判断をリアルタイムに支援するリアルタイム社会知解析システムの研究開発に取り組んでいます。その一環として、自然言語処理技術を活用した対災害SNS情報分析システムDISAANA, 災害状況要約システムD-SUMMを開発するとともに、ビジネスライセンスの供与等による社会実装を進めて参りました。
このたび、日本電気株式会社(代表:新野 隆、以下NEC)が、これらのDISAANA, D-SUMMの技術を活用して、Twitter上の災害に関する膨大な情報をリアルタイムで解析・可視化するソリューション「高度自然言語処理プラットフォーム」の商用サービスの販売を開始することになりました。

情報通信月間推進協議会会長表彰「志田林三郎賞」を受賞 ()

鳥澤健太郎 (センター長) が、第70回「電波の日」及び令和2年度「情報通信月間」に当たり、電波利用又は情報通信の発展に貢献した個人及び団体、デジタルコンテンツの今後の創作活動が期待される者に対してする表彰の一環として、情報通信月間推進協議会会長表彰「志田林三郎賞」を受賞しました。 功績の概要は、「大規模 Web 情報分析システムや対災害 SNS 情報分析システムなど、世界最先端の自然言語処理技術を開発し、 我が国における自然言語処理技術の発展に多大な貢献をした」とされています。例年、本賞の授与は表彰式で行われていましたが、今年度はコロナウイルス感染防止のため、表彰式は行われず、表彰状の送付のみが行われました。

Preview for figure 令和2年度 志田林三郎賞 賞状
令和2年度 志田林三郎賞 賞状

EMNLP2019発表 ()

自然言語処理分野の国際会議EMNLP-IJCNLP2019で以下の発表を行いました。
  • Event Causality Recognition Exploiting Multiple Annotators’ Judgments and Background Knowledge, Kazuma Kadowaki, Ryu Iida, Kentaro Torisawa, Jong-Hoon Oh and Julien Kloetzer, In the Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP 2019), pp.5820--5826, Hong Kong, China, November, 2019. [PDF]

ACL2019発表 ()

自然言語処理分野の国際会議ACL2019で以下の発表を行いました。
  • Open Domain Why-Question Answering with Adversarial Learning to Encode Answer Texts, Jong-Hoon Oh, Kazuma Kadowaki, Julien Kloetzer, Ryu Iida and Kentaro Torisawa, In the Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019), pp.4227--4237, Florence, Italy, July, 2019. [PDF] supplementary materials

平成31年度文部科学大臣表彰 ()

大竹清敬、水野淳太、鳥澤健太郎が、平成31年度 科学技術分野の文部科学大臣表彰 科学技術賞(研究部門)を受賞しました。受賞研究テーマは「SNS情報の深い意味的分析に基づく被災状況把握技術の研究」です。
Preview for figure 平成31年度 科学技術分野の文部科学大臣表彰 科学技術賞(研究部門)受賞式
平成31年度 科学技術分野の文部科学大臣表彰 科学技術賞(研究部門)受賞式