ローカルPCでLLMを動かす(llama-cpp-python)
llama-cpp-pythonを使ってLLaMA系モデルをローカルPCで動かす方法を紹介します。GPUが貧弱なPCでも時間はかかりますがCPUだけで動作でき、また、NVIDIAのGeForceが刺さったゲーミングPCを持っているような方であれば快適に動かせます。有償版のプロダクトに手を出す前にLLMを使って遊んでみたい方には良いプロダクトだと思います。
llama-cpp-pythonを使ってLLaMA系モデルをローカルPCで動かす方法を紹介します。GPUが貧弱なPCでも時間はかかりますがCPUだけで動作でき、また、NVIDIAのGeForceが刺さったゲーミングPCを持っているような方であれば快適に動かせます。有償版のプロダクトに手を出す前にLLMを使って遊んでみたい方には良いプロダクトだと思います。
Insurtech研究所の取り組みでOpenAI APIを使い、AIからおすすめの保険商品を提案してもらえる機能を開発しました。その中からAIに提案してもらうためのプロンプト、APIのレスポンスを機械的に処理するための工夫をご紹介したいと思います。
こんにちは、Insurtech研究所メンバーのモヒートです。この記事は2023年9月アドベントカレンダー9日目の記事になっています。 社会人1年目の私は、ほとんど開発経験のない状態から、アジャイル開発の世界に足を踏み入れ...
この記事はInsurtech9月アドベントカレンダーの6日目の記事で書いています(遅れての投稿です)。昨年構築したInsurtechラボですが、今年度は外部登壇を意識していて4月から毎月実施しています。私たち自身アジャ...
Insurtech研究所研究員のまーしーです。この記事は2023年9月アドベントカレンダー8日目の記事になっています。(「⑤共創 エンドユーザーの価値を探す活動」をテーマに書いています。) サクセスファクターを実施した...
オウンドメディアである「InsurTech研究所」をリニューアルする機会が生まれたので、方針を決めるために、改めて当サイトの運営の目的を考えました。内部向けには発信とフィードバックを増やすこと、外部向けにはラボの活動を知ってもらい、好きになってもらうことが目的だと考えています。
この記事はアドベントカレンダーの4日目の記事で書いています。 本日は誰も書き手がいなかったので、集まれる人でモブワークでネタを話し合って、45分で記事を書けるかチャレンジしてみました。 やったこと みんなで検討できるネタ...
所長のタケです。この時期は9月アドベントカレンダーの3日目の記事として書いています。 過去に「エンジニアとして発信することについて」という記事で自身の成長のために発信することが良いという事を書いていますが、今回は発信する...
所長のたけです。アドベントカレンダー202309の2日目の記事になります。今回は、ラボの運営メンバーで2回目の合宿に行ってきたので、やったことや感想を記載します。 今回は運営メンバーでラボについての今後の運営を考える...
こんにちは。所長のたけです。2023年度も上半期が終了ということで、9月はアドベントカレンダー月間としたいと思います。今回のテーマも前回と同じくInsurtehcラボのビジョンについてです。 6月と同じように下記テーマ...
ラボでは毎年、仕事を推進する上での合宿をやろうと考えています。(というかどの組織であっても私は合宿は必須と考えています。) 先日も、ラボの上位組織である事業部のリーダー層でも合宿を企画して実施しました。 しかしながら...
7月になったので、キックオフとして全員でゴールデンサークルの読み合わせの会をしています。 下記は参考ですが、2Qキックオフの記事と前回のGCLTの記事になります。 【2023.2Qのキックオフ】 【2023.1QのGCL...