ローカルPCでLLMを動かす(llama-cpp-python)
llama-cpp-pythonを使ってLLaMA系モデルをローカルPCで動かす方法を紹介します。GPUが貧弱なPCでも時間はかかりますがCPUだけで動作でき、また、NVIDIAのGeForceが刺さったゲーミングPCを持っているような方であれば快適に動かせます。有償版のプロダクトに手を出す前にLLMを使って遊んでみたい方には良いプロダクトだと思います。
llama-cpp-pythonを使ってLLaMA系モデルをローカルPCで動かす方法を紹介します。GPUが貧弱なPCでも時間はかかりますがCPUだけで動作でき、また、NVIDIAのGeForceが刺さったゲーミングPCを持っているような方であれば快適に動かせます。有償版のプロダクトに手を出す前にLLMを使って遊んでみたい方には良いプロダクトだと思います。
7月という事で,Insurtechラボ2Qのキックオフをしています。ちなみに4月のキックオフの内容は下記記事に書いています。 キックオフについて 今回のキックオフについては「エキサイティングな1週間にする」をテーマに運...
最近、AI(人工知能)に関する話題が絶えません。テクノロジーの進化により、私たちの生活や社会にAIが大きな影響を与えています。しかしながら、AIという言葉自体は聞いたことがあるけれど、具体的にどのようなものかわからないと...
ChatGPT(OpenAIのAPI)を使って、ゼロベースで簡単なサービスを作り上げていきます。ほとんどコードを書かずに作り上げていっているため、非エンジニアの方でもご理解頂けやすい説明になってます♪