お使いのWebブラウザでは、当サイトの内容の一部が表示されない、リンクが機能しないなどの問題が発生することがあります。

お使いのWebブラウザではJavaScriptが無効になっています。当サイトの内容の一部が表示されない、リンクが機能しないなどの問題が発生することがあります。

「大規模深層学習のための自動並列処理ソフトウェアRaNNC」が「第35回 独創性を拓く 先端技術大賞」経済産業大臣賞を受賞しました ()

情報通信研究機構・データ駆動知能システム研究センターの田仲正弘主任研究員を代表とするグループが、産経新聞社主催の「第35回 独創性を拓く 先端技術大賞」(後援・文部科学省、経済産業省、フジテレビジョン、ニッポン放送)の経済産業大臣賞を受賞しました。 この先端技術大賞は、優れた研究成果をあげた理工系の学生や企業の若手研究者、技術者を表彰するために設けられた賞で、経済産業大臣賞は社会人部門の最優秀賞となります。 2022年6月9日付の産経新聞朝刊1面でも紹介されています。表彰式は、7月に開催される予定です。

今回受賞対象となった研究成果は、田仲正弘主任研究員、東京大学情報基盤センターの田浦健次朗センター長、塙敏博教授、情報通信研究機構の鳥澤健太郎フェローによる「大規模深層学習のための自動並列処理ソフトウェアRaNNC」です。 このRaNNC(Rapid Neural Network Connector)は、大量のコンピュータ資源が必要とされる大規模ニューラルネットワークの深層学習を、ほぼ自動で並列化することで、飛躍的に簡単化するものです。 大規模ニューラルネットワークの代表例として、1,750億個のもの学習パラメータを持つGPT-3があり、人間が書いたものと同等レベルの高品質なテキストを生成する等の成果で広く知られていますが、こうした規模のニューラルネットの学習には、多数の専門家による数ヶ月単位のチューニングを要したと考えられます。一方、RaNNCを用いた自動的な並列化により、人手のチューニング無しに、GPT-3を超える2,000億パラメータのニューラルネットワークの学習が可能なことを確認しています。 RaNNCはGitHubでオープンソースで公開されています。ライセンスはMITライセンスのため、商用目的を含め無償でご利用いただけます。

データ駆動知能システム研究センターでは今後とも、受賞対象となった研究成果をさらに発展させるなど、深層学習の研究の推進に貢献してまいります。

鳥澤健太郎主管研究員が、2021年度「情報処理学会フェロー」の称号を授与されました ()

鳥澤健太郎主管研究員が、一般社団法人情報処理学会より、2021年度「情報処理学会フェロー」の称号を授与されました。「情報処理学会フェロー」は、情報処理および情報通信等の分野で学術的または産業的発展・普及・振興などに著しい貢献をされた情報処理学会会員に、その貢献を称えるとともに、その貢献がより多くの方々に周知され社会的認知度を高めることを目的として授与されるものです。

鳥澤健太郎主管研究員の対象業績は、「Web,SNSを対象とする大規模自然言語処理システムの開発と実用化」です。膨大なネット情報の有効活用のため、WebやSNSなどの大規模な言語資源を対象にした知識抽出、質問応答、仮説生成等のための深層学習技術を開発するとともに、複雑な質問にも回答する質問応答システム(WISDOM X)、Twitter上の災害情報を分析し救援活動を支援するシステム(DISAANA/D-SUMM)、高齢者介護を支援するためのマルチモーダル音声対話システムMICSUSなどの斬新な自然言語処理システムの研究開発や社会実装に関して 優れた成果を挙げていることが評価されました。

データ駆動知能システム研究センターでは今後とも、受賞対象となった大規模自然言語処理技術の強化開発と社会実装を推進してまいります。

自動並列化深層学習ミドルウェアRaNNCが PyTorch Annual Hackathon 2021において First Place(第1位)を受賞しました ()

東京大学情報基盤センターと共同で開発している自動並列化深層学習ミドルウェアRaNNC(Rapid Neural Network Connector)が、 PyTorch Annual Hackathon 2021において、PyTorch Developer Tools & Libraries 部門の First Place(第1位)を受賞しました。

PyTorch Annual Hackathonは、世界中で広く使用される深層学習の代表的ソフトウェアPyTorchに関する成果を競うイベントとして、 PyTorchの開発元であるFacebookが公式に開催する唯一のイベントであり、世界中から数多くの参加者を集めています。 今回受賞したミドルウェアRaNNCは、PyTorchの従来機能では困難であった大規模ニューラルネットワークの学習を、飛躍的に簡単化するものです。 RaNNCはオープンソースとしてGitHubで公開されており、 MITライセンスで利用可能です。商用目的を含め無償でご利用いただけます。

電子情報通信学会の通信ソサエティマガジン(2021年冬号)に防災チャットボットSOCDAの解説論文が掲載されました ()

電子情報通信学会の通信ソサエティマガジン(IEICE B-plus)のVol.59(2021年冬号)の小特集「ここまで進んだ防災とICT」に、 「災害対応におけるICT活用と防災チャットボットSOCDA」と題した解説論文が掲載されました。 大竹研究センター長が、共同開発を行っているウェザーニューズ、LINEのメンバーとともに、防災におけるICT活用を解説するとともに、 防災チャットボットSOCDAの機能や活用事例、将来の展望を紹介しています。

BSフジの科学ドキュメンタリー「ガリレオX」の減災特集にて、大竹研究センター長のインタビューが放送されました ()

10月10日(日)に放送されたBSフジ「ガリレオX」の第252回「減災」災害から逃げる科学にて、災害が起きた後に状況をいち早く集約し共有するシステムとして、大竹研究センター長が、対災害SNS情報分析システムDISAANA災害状況要約システムD-SUMM防災チャットボットSOCDAの紹介を行いました。

10月17日(日)11:30~12:00にBSフジで再放送されるとともに、その後はyoutubeで配信されますので、ぜひご覧ください。

企業のDX活動をWEBデータに基づいて自動的に分析・評価する「WISDOM-DX」を開発しました ()

大規模Web情報分析システムWISDOM Xを活用して、デジタルトランスフォーメーション(DX)に関する企業活動を自動的に分析・評価する実験システム「WISDOM-DX」を、IPA(独立行政法人情報処理推進機構)と共同で開発しました。

従来、企業のDX活動は、専門家がアンケート調査を行って評価しており、アンケートの設計・実施・評価の各段階で多くの時間とコストがかかっていました。本システムは、企業のDX活動の情報をWISDOM Xを用いてWEBページから自動的に抽出します。さらに、優良事例との類似度などをスコア化することで、DX評価の自動化にも成功しました。これにより、従来は半年近くかかっていた企業のDX活動状況の調査を、リアルタイムでより大規模に実施することが可能になります。

ACL-IJCNLP 2021で発表する論文のBERTACのコードと事前学習済みのCNNモデルをオープンソースとして公開しました ()

BERT等の事前学習済みモデルと敵対的学習で事前学習したCNNを組み合わせ、GLUEやQA等のベンチマークで高性能を達成したBERTACのコードと事前学習済みのCNNモデルをGitHubで公開しました。

また、ACL-IJCNLP 2021での発表は、8月3日の"Session 5C: Machine Learning for NLP 2"で午前9時40分(日本時間)から行う予定です。

  • BERTACのGitHubリポジトリへのリンク
  • BERTAC: Enhancing Transformer-based Language Models with Adversarially Pretrained Convolutional Neural Networks, Jong-Hoon Oh, Ryu Iida, Julien Kloetzer, Kentaro Torisawa, In the Proceedings of the Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2021), pp. 2103–2115, Bangkok, Thailand, August, 2021. [WEB]

情報処理学会学会誌(2021年6月号)に社会課題解決と自然言語処理技術に関する記事が掲載されました ()

情報処理学会の学会誌である情報処理 Vol.62 No.6(2021年6月)のデジタルアーキテクシャデザイン特集に「社会課題解決に貢献する自然言語処理技術の社会実装と展開 - AIでの人助けに何が必要か - 」と題した 鳥澤健太郎・NICTフェローが執筆した記事が掲載されました。ここ10年ほどのDIRECTの研究開発の概要が書かれています。

  • デジタルアーキテクチャデザイン:5.社会課題解決に貢献する自然言語処理技術の社会実装と展開-AIでの人助けに何が必要か-, 鳥澤健太郎, 情報処理, Vol. 62, no. 6, pp. 27-33, May, 2021.
  • 掲載記事へのリンク

敵対的学習を用いてBERT等の大規模言語モデルの性能向上を図るBERTACに関する論文がACL-IJCNLP 2021に採択されました ()

敵対的学習で事前学習したCNNをBERT等の大規模言語モデルと組み合わせて言語処理タスクの性能向上を図るBERTAC (BERT-style TLM with an Adversarially pretrained Convolutional neural network)に関する論文が、言語処理分野のトップカンファレンスであるACL-IJCNLP 2021 (Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing)に採択されました。
  • BERTAC: Enhancing Transformer-based Language Models with Adversarially Pretrained Convolutional Neural Networks, Jong-Hoon Oh, Ryu Iida, Julien Kloetzer, Kentaro Torisawa, In the Proceedings of the Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2021), pp. 2103–2115, Bangkok, Thailand, August, 2021. [WEB] [GitHub]

  • 発表論文へのリンク (2021年7月26日)

大規模Web情報分析システムWISDOM X「深層学習版」の試験公開を開始しました ()

大規模Web情報分析システムWISDOM Xは、大量のWebページを情報源として質問に回答するシステムです。 2015年に試験公開を開始した初期バージョンは、深層学習を用いた自然言語処理技術がそれほど成熟していなかったこともあり、深層学習技術を使っていませんでした。 一方で、今回試験公開を開始したWISDOM X深層学習版は、約350GBのWebテキストやNICTで構築した高品質かつ大量の学習データをBERTという巨大ニューラルネットワークに学習させ、さらにその独自改良版を用いることで、2015年に試験公開の初期バージョンよりも、広範な質問により高い精度で回答できるようになり、また、新たに「どうやって」(How-to)型の質問にも対応しました。 Web60億ページの情報を基に、例えば、「高齢者のケアができるAIを使った技術には何がある?」「花がきれいで、食べられる実をつける木で庭に植えるのに良いのは何?」、「ふわふわのパンケーキを焼くにはどうすればいい?」「AIはどうしたらCO2回収の技術の開発に貢献できる?」「AIが話題だけどなんでなん?」等、様々な質問に回答します。 www.wisdom-nict.jpにて商用目的を除き、どなたでもお試しいただけます。

自動並列化深層学習ミドルウェアRaNNC(ランク)をオープンソースで公開しました ()

大規模なニューラルネットワークの学習に際し、ネットワークを分割し並列化することで高速化を行うことができますが、これまでは複雑なネットワークの定義を人が書き換えて、並列化することが一般的でした。 自動並列化深層学習ミドルウェアRaNNC (Rapid Neural Net Connector; ランク)はPyTorchで書かれた通常のネットワークの定義を、人が変更しなくても、学習の速度を最適化しつつ、ネットワークをGPUのメモリに収まるように自動で分割し、並列での学習を行うことができるミドルウェアです。 これによって1枚のGPUで学習させることが難しかった巨大なニューラルネットワークを、複数のGPUを用いて、いわゆるデータパラレルとモデルパラレルのハイブリッドで、並列に学習させることが極めて容易になります。 現在、実際に50億個のパラメータを持った拡大版BERTの事前学習を約350GBのWebテキストを用いて行っており、今後さらに大きなネットワークでの学習を行う予定です。 また、RaNNCを適用可能なネットワークのアーキテクチャに基本的に制限はなく、画像認識用のニューラルネットワーク等でも動作を確認しております。 ニューラルネットワークの並列化を自動化するソフトウエアはこれまでにもいくつか提案されていますが、我々の知る限り、RaNNCほどの柔軟性、実用性があるものは他に存在しません。 RaNNCはオープンソースとしてGitHub で公開されており、MITライセンスで利用可能です。 商用目的を含め無償でご利用いただけます。

なお、RaNNCについては、並列分散処理分野におけるトップレベルの国際会議であるIPDPS(IEEE International Parallel and Distributed Processing Symposium)に採択されており、(プレプリント) GPU テクノロジカンファレンス(GTC)(2021年4月12-16日開催)でも概要について講演の予定です。

  • NICTプレスリリースへのリンク(2021年3月31日)
  • Automatic Graph Partitioning for Very Large-scale Deep Learning, Masahiro Tanaka, Kenjiro Taura, Toshihiro Hanawa and Kentaro Torisawa, In the Proceedings of 35th IEEE International Parallel and Distributed Processing Symposium (IPDPS 2021), pp. 1004-1013, Portland, Oregon USA, May, 2021. [WEB]

防災チャットボットSOCDAの神戸市消防団での取組が第3回 日本オープンイノベーション大賞 総務大臣賞を受賞 ()

内閣府プロジェクト(SIP第2期)において推進されている「防災チャットボットSOCDA」の研究開発プロジェクト(大竹清敬上席研究員(データ駆動知能システム研究センター・耐災害ICT研究センター兼務)が参加)が、神戸市の消防団にて運用している「神戸市消防団スマート情報システム」に対し第3回日本オープンイノベーション大賞総務大臣賞の受賞が決定しました。

大規模ニューラルネットワーク学習ミドルウェアRaNNCに関する論文がIPDPS 2021に採択されました ()

データ駆動知能システム研究センターで開発している、大規模ニューラルネットワーク学習のためのミドルウェアRaNNC (Rapid Neural Network Connector)に関する論文が、分散並列処理のトップカンファレンスであるIPDPS 2021 (35th IEEE International Parallel and Distributed Processing Symposium)に採択されました。

  • Automatic Graph Partitioning for Very Large-scale Deep Learning, Masahiro Tanaka, Kenjiro Taura, Toshihiro Hanawa and Kentaro Torisawa, In the Proceedings of 35th IEEE International Parallel and Distributed Processing Symposium (IPDPS 2021), pp. 1004-1013, Portland, Oregon USA, May, 2021. [GitHub]
  • 発表論文へのリンク

防災チャットボットSOCDAのご紹介を行う動画を公開しました ()

内閣府プロジェクト(SIP第2期)の一環で、NICTが参画して研究開発している「防災チャットボットSOCDA」をご紹介する動画をYouTubeにおいて公開いたしました。NICT公式HPにおける CEATEC 2020 ONLINE 特別サイトからもご覧いただけます。

マルチモーダル音声対話システムMICSUSのご紹介を行う動画を公開しました ()

内閣府プロジェクト(SIP第2期)の一環で、NICTが参画して研究開発している「マルチモーダル音声対話システムMICSUS」をご紹介する動画をYouTubeにおいて公開いたしました。 動画の後半では高齢者を対象とした実証実験の様子や、最新版のMICSUSの対話シーンもご紹介します。 NICT公式HPにおける CEATEC 2020 ONLINE 特別サイトからもご覧いただけます。

NICTが開発したDISAANA, D-SUMMの技術を活用した商用サービス販売開始 ()

NICTは、災害時に発生する膨大な災害関連情報をリアルタイムに収集・情報分析することで、より適切な情報を提供し、状況把握・判断をリアルタイムに支援するリアルタイム社会知解析システムの研究開発に取り組んでいます。その一環として、自然言語処理技術を活用した対災害SNS情報分析システムDISAANA, 災害状況要約システムD-SUMMを開発するとともに、ビジネスライセンスの供与等による社会実装を進めて参りました。
このたび、日本電気株式会社(代表:新野 隆、以下NEC)が、これらのDISAANA, D-SUMMの技術を活用して、Twitter上の災害に関する膨大な情報をリアルタイムで解析・可視化するソリューション「高度自然言語処理プラットフォーム」の商用サービスの販売を開始することになりました。

情報通信月間推進協議会会長表彰「志田林三郎賞」を受賞 ()

鳥澤健太郎 (センター長) が、第70回「電波の日」及び令和2年度「情報通信月間」に当たり、電波利用又は情報通信の発展に貢献した個人及び団体、デジタルコンテンツの今後の創作活動が期待される者に対してする表彰の一環として、情報通信月間推進協議会会長表彰「志田林三郎賞」を受賞しました。 功績の概要は、「大規模 Web 情報分析システムや対災害 SNS 情報分析システムなど、世界最先端の自然言語処理技術を開発し、 我が国における自然言語処理技術の発展に多大な貢献をした」とされています。例年、本賞の授与は表彰式で行われていましたが、今年度はコロナウイルス感染防止のため、表彰式は行われず、表彰状の送付のみが行われました。

Preview for figure 令和2年度 志田林三郎賞 賞状
令和2年度 志田林三郎賞 賞状

EMNLP2019発表 ()

自然言語処理分野の国際会議EMNLP-IJCNLP2019で以下の発表を行いました。
  • Event Causality Recognition Exploiting Multiple Annotators’ Judgments and Background Knowledge, Kazuma Kadowaki, Ryu Iida, Kentaro Torisawa, Jong-Hoon Oh and Julien Kloetzer, In the Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP 2019), pp.5820--5826, Hong Kong, China, November, 2019. [PDF]

ACL2019発表 ()

自然言語処理分野の国際会議ACL2019で以下の発表を行いました。
  • Open Domain Why-Question Answering with Adversarial Learning to Encode Answer Texts, Jong-Hoon Oh, Kazuma Kadowaki, Julien Kloetzer, Ryu Iida and Kentaro Torisawa, In the Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019), pp.4227--4237, Florence, Italy, July, 2019. [PDF] supplementary materials

平成31年度文部科学大臣表彰 ()

大竹清敬水野淳太鳥澤健太郎が、平成31年度 科学技術分野の文部科学大臣表彰 科学技術賞(研究部門)を受賞しました。受賞研究テーマは「SNS情報の深い意味的分析に基づく被災状況把握技術の研究」です。
Preview for figure 平成31年度 科学技術分野の文部科学大臣表彰 科学技術賞(研究部門)受賞式
平成31年度 科学技術分野の文部科学大臣表彰 科学技術賞(研究部門)受賞式