Amazon Bedrockが9月末にGAされていたのですね。今頃気づきました・・・ ここ最近は、Hugging Faceで公開されたLLMをローカルPCで動かして遊んでいたのですが、公開されていないけど性能の良いLLMもずっと気になっており、それらがAmazon Bedrock経由でAPIアクセスできると聞いて、遅ればせながら「使ってみた」です

ずっと気になっていた日本語を理解できてローカルPCで動くLLMを使って遊んでみました。パラメータ数の少ないLLMでも日本語で返してくれるので、本当に素晴らしいです。ChatGPTと使い分けできるレベルのLLMがローカルPCで動いてくれたら無限に使えるので、夢が広がります

ローカルPCでコード生成AIを試してみたかったので、「Open Interpreter」を利用し、コード生成ができるAI（Code Llama、GPT-3.5、GPT-4）を動かしてみました。セットアップ手順と実際にどのくらいコードを書いてくれるものなのか検証してみました。

llama-cpp-pythonを使ってLLaMA系モデルをローカルPCで動かす方法を紹介します。GPUが貧弱なPCでも時間はかかりますがCPUだけで動作でき、また、NVIDIAのGeForceが刺さったゲーミングPCを持っているような方であれば快適に動かせます。有償版のプロダクトに手を出す前にLLMを使って遊んでみたい方には良いプロダクトだと思います。