日本産LLM(大規模言語モデル)!!!!

こんにちは！

マーケティング部受託プロダクトチームのインターン生、村高歩夢です！

みなさん、ついに日本にも大規模言語モデルが公開されました！

しかも、ちょうど今日！

おめでたいですね〜

サイバーエージェントが本日5/17に国内最大級のLLM (大規模言語モデル)を公開しました！

そのパラメータは最大68億！

アメリカのLLM、chatGPTのGPT-3は1750億！

パラメータはAIの知識量だと思ってください。GPT-3のデータ量は45TB！

ちなみにchatGPTに尋ねると、1.75兆パラメータ、何百TBと教えてくれました。

見栄っ張りなLLMですね〜。LLMはLittle Little Mindの略かぁ？

これを見て、日本産LLM「ちょっと少ないか〜」と思ってるあなた！

日本のLLMってこと忘れてませんか？

日本語を多く学習させてるんですよ！

chatGPTは英語メインで学習させています。そして、フランス語、スペイン語、中国語と多くの言語がある中、日本語を学習させています。

1750億の中の「幾つ」が日本語なんだよってね。

日本語に限ればchatGPTよりも優秀かもしれないですよ？

流行りのフェルミ推定（雑）で計算してみると、

世界の総人口に対する日本の人口の割合がchatGPTの持つ1750億パラメータのなか「幾つ」と考えます。

世界の人口が80億人、日本人口が1億人とすると

1750億 ÷ 80 = 22億

つまり、chatGPT(日本語利用) = 22億

サイバーエージェントのLLM = 68億

フリーザ = 53万

こう考えると日本産LLM良くないですか？

日本でもAI界隈が続々賑わってきてますね！

これからも情報をキャッチし続けないと！

インターンについて｜村高について