【ニュース】スパコン「富岳」で大規模言語モデル 独自のデータで学習させ全工程把握

 　理化学研究所のスーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku―LLM」が5月10日に公開された。共同開発研究には、東京工業大や富士通に加え、本学大学院情報科学研究科の坂口慶祐准教授が参加した。Fugaku―LLMは優れた計算性能と日本語能力を有し、科学研究やビジネスへの利用が期待されている。

Fujitsu Research Portal 上で体験できる
Fugaku―LLMとのチャット

　同研究は昨年5月に開始し、日本語処理に配慮した言語モデルを作ることを目指した。大規模言語モデルなどの規模を示す指標の一つであるパラメータ数は130億で、国内で多く開発されている70億パラメータのモデルよりも高性能である。一から独自のデータで学習したことで、全学習工程を把握し、透明性と安全性を担保できた。

　本学は学習用データの収集と学習モデルの選択を担った。坂口准教授は、日本語の文字列処理を効率よく行えるような工夫を導入した。さらに、サイバーエージェントが独自に作成した日本語の大規模データを用いることを提案、交渉し、実際に使用できるようにした。

　同研究では、「富岳」を応用したことにより、LLMの学習における演算速度を既存技術の6倍に、通信速度を3倍に高速化することができた。また、LLMの学習に用いられるGPUが世界中で不足している中、GPUの代わりに国産CPUが実装されている「富岳」を用いたことは、経済安全保障の観点からも重要といえる。

　同研究から得られた知見により、日本におけるAI研究の発展、そして次世代の研究や産業へのAI応用が期待される。Fugaku―LLMの開発における研究成果は、GitHubやHugging Face、Fujitsu Research Portalで無償公開されている。