色々なLLMと日本語で話してみた

この記事は、Insurtechラボ202306アドベントカレンダーの19日目の投稿となります。

日本語で会話できるLLMが沢山でてきましたね！
「XXXという評価でChatGPTを超えた」というようなニュースを聞くと気になって仕方ありません。パラメータ数が7BくらいのモデルならローカルPCでも動かせそうなので、色々なLLMに日本語でプロンプトを投げて動かしてみることにしました。

前提

検証に利用したローカルPC

GeForce GTX 4090が7枚刺さった「BIG BOSS」みたいなやつは用意できませんので、、自宅に転がっているゲーミングPCを使いました。具体的にはこのくらいです。

• モデル、インストールしたパッケージなどを含めて約100GBくらいのストレージを消費
• このスペックのPCなので、動かす候補となったLLMは7b付近のものです

利用したLLM

「あれが無いだろうが！」もあると思いますが、他意はありません。
私のローカルに転がっていなかっただけです（ストレージが足りない・・）。

できるだけInstruction Tuningされているモデルを優先して使用しました。

検証のまえに・・・

検証の前提

会話ではなく、質問をして応答を返すだけ

会話をしながら文脈を追ってくれるかを見るつもりでしたが、LLMを増やしすぎて大変になったことと、言うことを聞いてくれないLLMがあったので、単発の応答だけにしました。

プロンプトの構成

システムプロンプトが応答の精度に大きな影響を与えるモデル（特にLlama2系）があったり、逆に与えると命令を聞いてくれなくなるLLMがありました。そのため、モデル配布サイトに書かれていたテンプレートや例を参考に以下のように設定しています。

bilingual-gpt-neox-4b

ユーザー: Hello, you are an assistant that helps me learn Japanese.
システム: Sure, what can I do for you?
ユーザー: (入力したテキスト)
システム:

いままで、text-generation-webuiなどのツールで全く会話にならなかったのですが、「ユーザー:xxx（改行）システム:」が必要だったことを初めて知りました。配布サイトをちゃんと読むべきでした。

japanese-large-lm-3.6b

ユーザー: (入力したテキスト)
システム:

bilingual-gpt-neox-4bと同じように入れると回答が良くなったので最小限にしました。

Weblab-10B

以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。

### 指示:
 (入力したテキスト)

### 応答:

ELYZA-japanese-Llama-2-7b

(tokenizer.bos_tokenの値)[INST] <<SYS>>
You are Assistant, a helpful, respectful, honest and highly intelligent assistant.
<</SYS>>
 (入力したテキスト)[/INST]

Llama 2 13B Chat

[INST] <<SYS>>
You are Assistant, a helpful, respectful, honest and highly intelligent assistant
<</SYS>>
 (入力したテキスト)[/INST]

Xwin-LM 13B V0.1

[INST] <<SYS>>
You are Assistant, a helpful, respectful, honest and highly intelligent assistant
<</SYS>>
 (入力したテキスト)[/INST]
Assistant:

最後に「Assistant:」を入れないと何故か会話してくれませんでした。
Llama2はOKなのに。なんでだろう。

gpt-3.5-turbo、gpt-4

{"role": "system", "content": "You are Assistant, a helpful, respectful, honest and highly intelligent assistant."}
context.append({"role": "user", "content": (入力したテキスト)})

正確には、上記はopenai APIで投げる時のjsonフォーマットです。contentの中身は実際の文になります。

LLMの動かし方

Hugging Faceサイトにあったサンプルコードを見ながらpythonで検証コードを書きました。モデルによって利用したパッケージが違います。

LLMに渡すパラメータ

私が網羅的に知らないため、モデル配布サイトに書かれていたpythonコーディング例にあったパラメータを参考に、全てのLLMで同じになるようにしました。

今考えると、同じ言葉をリピートしないようにみたいなパラメータを渡し忘れていました・・・

AutoTokenizerを使用するモデルでは、use_fastやlegacyの使い方に差があったため、以下のように設定しています。

それから、上記4つのモデルはこれでモデルをロードしています。

model = AutoModelForCausalLM.from_pretrained(
  model_path, device_map="auto", torch_dtype=torch.float16)

遅すぎたのでtorch_dtype=float16を入れました。

環境設定

venvを使ってpython仮想環境を作っています。動作環境はWindowsネイティブ（WLS2なし）です。以下のコマンドはpowerShellから打っています。llama-cpp-pythonはCUDA対応済み、pyTorchはCUDA 11.8ビルド済みです。

> mkdir llms
> cd llms
> python -m venv ./venv
> .\venv\Scripts\Activate.ps1

# pipが古かったのでアップデート
> python -m pip install --upgrade pip

# pyTorch系。CUDA 118を使用
> pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# transformers系
> pip install transformers sentencepiece

# device_map="auto" を使うために入れる
> pip install accelerate

# legacy = Falseしたら、入れろ！と怒られた・・・
> pip install protobuf

# CUDA Toolkit、cuDNNなどのライブラリを事前にセットアップしておく必要あり
> $env:CMAKE_ARGS = "-DLLAMA_CUBLAS=on"
> $env:FORCE_CMAKE = 1
> pip install llama-cpp-python --force-reinstall --upgrade --no-cache-dir -vv

# OpenAI API呼び出し用
pip install openai

llama-cpp-pythonをCUDA対応する手順は以下を参照ください。

関連記事ローカルPCでLLMを動かす（llama-cpp-python）

2023.09.18

検証（やっと）

• 1プロンプト毎に5回実行
  • モデルが8個あり、検証文が6個、各5回なので、240回流して、240回検証したことになります。もうお腹いっぱいです
• 回答結果から、質問に答えていそうなもの、または、質問応答に近いものを独断と偏見で人間が選びました
• 「時間」はモデルをロードしてから結果が返ってくるまでの秒数です
• VRAM使用量は取り忘れました・・・（もう無理です）
• 以下は検証結果を表に示しますが、左端の数値とモデルの対応関係は以下の通りです。たとえば「3」ならば、「Weblab-10B」のことを示します。

検証1：知識を問う

日本で最も標高が高い山の名前を教えてください

日本語を話せるLLMならこれくらいは知っているだろうというやつです。小手調べ的な。

Llama2が英語で淡々と富士山のことを答えているのは面白いです。Llama2は日本語で答えるよう指示してもローマ字（「Ohayou gozaimasu!」とか）で答えたりするので、諦めて英語にしています。

槍ヶ岳や北海道にあるトムラウシを最高峰に挙げるLLMもあり、ニヤニヤして見てました。そうそう、こういうのが見たかった！

3のWebLab-10Bと4のELYZA-japanese-Llama-2-7bが回答までに時間が掛かるようです。VRAMオフロードで動いている可能性が高いです。別のプロンプトで2700秒も掛かるものもありました。パラメータ数が多いLlama 2 13B Chat、Xwin-LM 13B V0.1はGGUF形式なので起きていないと想定されます。そのため、2と3について、かかる時間は参考程度でお願いします。

検証2：知識からさらに知識を問う

日本で最も標高が高い山の周辺にある観光名所を３つ教えてください

標高が高い山を間違えているLLMがあったので、どんなカオスになるのか楽しみですね！

「XXXXのYYYYを教えてください」という質問だと、YYYYではなくXXXXに気を取られて勘違いするケースが見られました。狙い通りです。「指示をもう少し分かり易く書けよ！」ですが、口頭ではこんな感じなので、というやつです。

ところで、私には富士山周辺のは知らないので、正しいかどうか全くわかりません（何故聞いた？）！合ってますか？
エベレストとか恐山とかあげてきたものは、流石にフィルターしました。

検証3：エピソードを作ってもらう（得意でしょ？）

医療保険に未加入のユーザに対して、医療保険への加入が人生において非常に大切であることを説明したい。医療保険に入っていて非常に良かったと思える具体的で実体験を伴うエピソードを考えてください

単に聞いてみました。何ら狙いはありません。以前、保険加入を決意させるような感動的なエピソードが作れなくてすごく悔しかったことなどありましたが、それとは全く関係ありません。ええ、全く本当に。

今まで口数が少なかった1のrinna（bilingual-gpt-neox-4b）が急に饒舌になって驚きました。何かツボにハマったんでしょうかね。

全体的に印象に残るエピソードは弱めで（プロンプト悪いんだろうな）、淡々と事実を述べているだけに見えました。4のELYZA-japanese-Llama-2-7bがシンプルながら一番印象に残りました。

保険に入っただけで儲かったというエピソードを提案してくるケースがありました。そういう確率が高いということなのでしょうか。保険はみんなで支え合うものなので儲けを意識してはいけませんよ（と言っておく）。

検証4：最後まで聞かないとわからない

一郎、花子、太郎の家族３人でレストランに食事をしにいきました。３人は次のようにそれぞれ料理を注文しました。、太郎「焼きそばパン３つ」、一郎「塩ラーメン１つと餃子６個入が１つ」、花子「ペペロンチーノ１つとトマトジュース１杯」、太郎「焼きそばパンの注文はキャンセルします。代わりに味噌ラーメンを１杯」、一郎「メロンパン２つ追加で」。料理が提供されたのち、太郎は「餃子６個入りを追加」と注文を追加しました。最終的に太郎が注文した料理を教えてください。

昔、何かのCMでロボットかAIがこんな感じで次々と注文されてみたいなのがありました。あれをやってみたくてこのお題。ちなみに正解は、「味噌ラーメン1杯、餃子6個入り1つ」です。いいから、焼きそばパンも食っておけよ、というやつです。LLMも大苦戦です。

途中、「もう太郎は焼きそばパン食ったことにしていいよね？」と思えてきました。ペペロンチーノを食べるのは流石にちょっと花子に申し訳ない・・・

完全正解だったのはXwin-LM、gpt-3.5、gpt-4。Llama2は太郎に関しては正解でしたが、他の人の注文まで述べて撃沈。gpt-4は5回全て正解でした。7のgpt-3.5-turboが2.2秒はすごく早いです。6のXwin-LMも丁寧で良いです。

あと太郎くんとは関係ありませんが、頼んでもいないのに全員分の注文を列挙した上で、メロンパン2個の追加を見逃して食い逃げを許すLLMが多かったです。AIウェイトレスは追加注文の見逃しに注意してね！

全体的に、他人の注文と混じったり、焼きそばパンのキャンセルに対応できないケースが見られました。人間でも難しいので、LLMでも同じなんですね。

検証5：計算させる

太郎は買い物に行くために、10時に時速10キロメートルの速度で自宅を歩いて出発しました。それから60分後、太郎の母の花子は太郎が財布を忘れたことに気づき、時速20キロメートルの速度で太郎を追いかけました。太郎と花子は同じ道を歩いており、太郎と花子は立ち止まらずに歩いているとします。花子は太郎に追いつくことはできますか？

ChatGPTは計算が苦手と聞き、数学特化のLLMはいないのでこのお題。
ちなみに正解は、花子は太郎に追いつくことができます。

追いつくことができるかどうかだけを問うているので、3のWebLab-10Bの回答だけで十分です。しかし、ちゃんと理由を述べてくれるLLMがたくさんありました。ありがたいことです。どうせ理由も知りたいんでしょ？ですかね。システムプロンプトが効いているのかな。

計算を間違えても正解するケースもありました。たとえば、太郎は時速10キロ * 60分ので「600km」を歩くとか。花子の計算も間違っているので、結果的に正解。600kmを1時間で歩くのはちょっと無理かな。

太郎も歩いているから花子は追いつけない、という理由を挙げるLLMがいて面白かったです（ELYZAかXwin-LMのどちらか・・）。まるでゼノンのパラドクスの「アキレスと亀」のような解説になっていて、逆にそこに辿り着いてしまうのは興味深いです（1回目で出てきたので、すぐに取れるだろうと収集してなかった・・残念）

そして、gpt-4は5回とも正解でした。すごい。

検証6：幻想が得意なら見せてもらおうか、その性能とやらを

あなたはファンタジー小説家です。キーワード「別世界」「呪い」「ドラゴン」「タンポポ」「邪王炎殺黒龍波」「飛影」のうち最低3つを含むような小説を書いてください。小説の先頭にタイトルを書いてから始めてください。本文の長さは200文字程度で、この小説の読者は10代から30代前半の男性をメインターゲットとしています。

ハルシネーションをむしろ起こしてくれたら面白くなるというやつです。

正直にいうと、ここにくるまでにAIの生成物を200個以上読んできて、もはやインパクトのあるもの、設定が入り組んでいなくて地の文より会話が多いものしか目に入らなくなっている私がここにいます。。日本一高い山を恐山というLLM見て笑い転げていたあの頃が懐かしい。

力作揃いで驚きました。200文字に絞ってお願いしたのに全然聞いてくれません。LLM8個 x 5回分の短編を読まされました。

gpt系は指示に従ってくれているのですが、面白くてもキーワードを3つ使ってくれない、文字数を守らない、タイトルをつけてくれないと指示を丸っと無視しているものが多い印象です。
逆に、gpt系は指示による縛りでうまくのりきれなかったのかもしれませんね。でもgtp-4の「タンポポ・ドラゴンウェイブ」には笑いました。こういう発想なかったです。

4のELYZA-japanese-Llama-2-7bの回答が物語の狂気をよく表現しています。狙って書いたならすごいです。単なる無限ループと思いきや「俺は生きている」「俺はまだ生きている」と少しずつ表現が違っており、これが怖くなります。そして、最後は「タンポポは、俺を殺した。」で終わってるんですよ？衝撃ですね。ここには載せていないもののELYZAは他にもよく出来た回答をしてきており、同じLlama系でも違うんだと驚きました。

個人的には2のjapanese-large-lm-3.6bの回答も読みやすくてよかったです。max_tokensが少なすぎてすごく良いところで切れており、続きがもう読めないという。。
『「タンポポ」「タンポポ?」「タンポポ」ドラゴンは笑った。』が単なる繰り返しじゃなくて、少女とドラゴンが会話し合っている感じが目に浮かんできて面白かった！

感想戦

やっと終わった・・・何か適当にコメントし過ぎた気もしますが、ここまで長文だと誰も読まないので気は楽なもんです。木を隠すには森の中というやつです。

「これ何回分かあるよね？」

そうですね。いつもの感じです。反省しています。でもこれでも切った測定結果があるんです。

さて、色々書きましたが、総じて面白かったです。指示に従わず、想定外な回答が来るほど楽しかったので、一種の娯楽としてやりました。検証？なんでしたっけ？

gpt系は素直に指示に従ってくれて、普段は重宝するし、惑わされず的確に回答するので、まさに「すげー」のですが、今回に限っては、この特殊な状況においては、ちょっと面白くないと感じてしまいました。もっと崩していこうよ、笑わせてくれよと。不思議なものです。

やばい、9/28を過ぎてしまった。

以上です。お疲れ様でした。

・・・

・・・

ではなく、感想戦です。印象に残ったものをいくつか。

• システムプロンプトが非常に大事でした（特にLlama系が）。変更すると精度が大きく変わった感覚があります。
  • Llama2のモデル配布サイトにあるシステムプロンプトを使って、曖昧でAIをケムに巻くような質問を投げたとき「正直なアシスタントとしては、」と怒られてしまいました。怒られたのでそのプロンプトは検証対象から外しました・・・
  • システムプロンプトに何を設定すれば良い結果になるのか判らず、今回はHugging Factにあったサンプルをアレンジし、可能な限り同じシステムプロンプトを設定してお茶を濁しました。いつかちゃんと検証してみたいです。
• 1のbilingual-gpt-neox-4b、2のjapanese-large-lm-3.6bは、長い文や入り組んだもの（今回はそんなものばかり）は少し厳しそうです。ただ、急に饒舌になったり、シンプルに返してくれたり、そして何より高速なので、うまく状況が合えば、今回使用したローカルPCくらいでも十分動くので夢は広がります。
• 3のWebLab-10B、5のELYZA-japanese-Llama-2-7bは、ローカルPCが貧弱なせいで思ったよりも色々と試せませんでした。クラウドのGPU使うしかないのかな。
• 5のLlama2はしっかりと回答してくれていたので、英語だけなのが勿体無い。英語しか保証していないので、難しいかもですが・・・
• 6のXwin-LMが思ったよりも良い感触でした。Llama2系で、日本語メインのLLMではないのに。これはすごいです。今回使ったのはGGUF形式だからなのか処理時間も速いです。最近はLlama2で遊んでいましたが、Xwin-LMに乗り換えようかな。コーディング能力もあったらopen-interpreterの裏方をCodeLlama2からXwin-LMに乗り換えたいくらい
• 7のgpt-3.5-turbo、8のgpt-4系はプロンプトの指示に他のLLMよりも従ってくれます。そして、性能は圧倒的でした。gpt-4は本当にすごいです。その代わり、gtp-4はgtp-3.5-turboよりも総じて遅く、ランニングコストも高くつきます。そううまくはいきませんね。

検証による課金

比較用として少しだけ登場いただいたgpt-3.5とgpt-4にかかったものだけです。

この検証を本格的に始める前はllama-cpp-pythonのserver機能を使ってサーバを立て、そこにopenapiでアクセスして検証していたので、こんなもので済んだとも言えます。gpt系の性能は圧倒的ですが、コスト削減のためにローカルPCで検証できるというのは素晴らしいですね！

それにしても、40回しかgpt-4nに投げていないのに$1.15もかかるのか。gpt-3.5-turboは40回以上投げているのに。

まとめ

以上、LLMと日本語で話してみた遊んでみた、でした。

何ヶ月も前にみんながやったことを、ようやく自分でも試すことができて嬉しいです。そして待っただけあって、Xwin-LMのような面白いLLMにも出会えたので、良しとしましょう。

ここまで辿り着いたくれた勇者の皆様、超長文を読んでいただき、ありがとうございました。