サイバーエージェント、最大68億パラメータの日本語LLM（大規模言語モデル）を一般公開
2023.5.17
サイバーエージェントは、最大68億パラメータの日本語LLM（Large Language Model、大規模言語モデル）を一般公開ししました。
近年、OpenAI社が開発した「ChatGPT」※1 を始めとする生成AI・LLMは急速な進化を遂げており、世界中のあらゆる業界・ビジネスにおいて活用が進んでいます。
一方、既存のLLMのほとんどは英語を中心に学習されているため、日本語および日本文化に強いLLMは少ない状況です。
■最大68億パラメータの日本語LLM（大規模言語モデル）の公開について
こうした背景のもと、当社は日本語LLMの開発に取り組んでおり、このたび一部モデルをHugging Face Hubにて公開いたしました。公開されたモデルはオープンな日本語データ※2で学習したもので、商用利用可能なCC BY-SA 4.0ライセンス※3で提供されます。なお、本モデルは日本国内における現行の公開モデルにおいて最大級の規模となります。（※2023年5月17日時点）
本モデルをベースとしてチューニングを行うことにより、対話型AIなどの開発も可能となります。これにより、より多くの方々が日本語の自然言語処理に関する最先端の研究開発に取り組んでいただけます。
■Hugging Face Hub URL
https://huggingface.co/cyberagent
当社では、これまで培った知見を活かしチャットボットやRPAをはじめとする業界特化型のLLMの構築や、各企業と連携したLLMを活用したビジネス開発の推進等を予定しております。また、LLMを活用したビジネス開発に携わるエンジニアの新規採用を実施し、体制強化に努めてまいります。
