2023/11/13にAmazon Bedrockで「Llama-2-13b-chat」が利用可能になりましたね！利用できるのは「US East (N. Virginia)」「US West (Oregon)」のみで、残念ながら東京リージョンでは利用できません。 13Bはローカル実行してみたことはあったものの、貧弱ローカルでは快適に動かなかったので、さっそく動かしてみました。

Anthropic社がAIチャット「Claude 2」が2023/10/16（現地時間）から日本でも利用できるようになりました。そして、なんと本家には無料枠があると！これは使うしかないという訳で、本家のClaude 2使ってみたです。

Amazon Bedrockが9月末にGAされていたのですね。今頃気づきました・・・ ここ最近は、Hugging Faceで公開されたLLMをローカルPCで動かして遊んでいたのですが、公開されていないけど性能の良いLLMもずっと気になっており、それらがAmazon Bedrock経由でAPIアクセスできると聞いて、遅ればせながら「使ってみた」です

ずっと気になっていた日本語を理解できてローカルPCで動くLLMを使って遊んでみました。パラメータ数の少ないLLMでも日本語で返してくれるので、本当に素晴らしいです。ChatGPTと使い分けできるレベルのLLMがローカルPCで動いてくれたら無限に使えるので、夢が広がります

ローカルPCでコード生成AIを試してみたかったので、「Open Interpreter」を利用し、コード生成ができるAI（Code Llama、GPT-3.5、GPT-4）を動かしてみました。セットアップ手順と実際にどのくらいコードを書いてくれるものなのか検証してみました。

llama-cpp-pythonを使ってLLaMA系モデルをローカルPCで動かす方法を紹介します。GPUが貧弱なPCでも時間はかかりますがCPUだけで動作でき、また、NVIDIAのGeForceが刺さったゲーミングPCを持っているような方であれば快適に動かせます。有償版のプロダクトに手を出す前にLLMを使って遊んでみたい方には良いプロダクトだと思います。