LLMとは何か？

この記事ではLLMについてまとめておこうと思う。ChatGPTを使いだすと必ずこの「LLM」という言葉が出てくるので、備忘録も兼ねて整理しておく。

LLMとは（Large Language Model）の頭文字を取った言葉で、日本語では「大規模言語モデル」と訳されいる。

LLMとは、膨大な量のテキストデータからパターンや関連性を学習することで、与えられた単語やフレーズのパターンや構造を捉え、それに基づいて反応する能力を持った「深層学習（ディープラーニング）モデル」であり、以下のようなことができる。

• 文章生成: 与えられたテーマやキーワードに基づいて、新しい文章を作成することができる
• 質問応答: ユーザーからの質問に対して、適切な答えを提供することができる
• 機械翻訳: 1つの言語で書かれた文章を、別の言語に変換することができる
• 文章要約: 長い文章を短く、要点を押さえた形でまとめることができる

これらは「自然言語処理タスク」と呼ばれ、この自然言語処理タスクを驚くべき精度で実行するのがLLMである。

代表的なLLMを挙げると以下のようなものがある。

• OpenAI:「GPT-3.5」「GPT-4」
• Google:「PaLM2」
• Google：「LaMDA」
• Meta LLaMA2

このように人間を超える能力を持っているように見えるLLMの注意点をおさえておこう。

• LLMの性能を最大限に引き出すためには、大量のデータと高度な計算能力が必要となる。膨大なエネルギーが必要とされるというわけだ。
• 単に学習データのパターンを学習するだけであり、人間のように意味を理解する能力はない。意味を理解して文章を作ったり、応答しているわけではないことをよく理解していないと、間違った利用方法になってしまう。

注意点は結構大事だな…。

最後にChatGPTとLLMの関係について整理しておく。結構、ごっちゃになって使い方があいまいになってしまうよね。

GPT-3.5、GPT-4はLLMの一種である。GPTとは「Generative Pre-trained Transformer」の頭文字をとっている。

ChatGPTはGPT-3.5もしくはGPT-4といったGPTモデルを利用して、会話形式のテキスト生成に特化した対話型AIサービスである、というわけだ。ChatGPTは正確に言うとLLMではない。

では。