オンプレLLM

あれこれやってる。

• React + TailwindCSS
• TailwindCSトレーニング
• Reactでメールサービス
• ReactでFirebase
• Reract+Next.js

あれもこれも、結果RAGを組入れるというためなのだけれど、昨日まで気づかなかった、というか確信がなかった。
フロントエンドをReactでバックエンドをPython+FastAPIで構築ということを。
まずはということで例によってVibeコーディングで進める。Kiroが入門者の500クレジットから50クレジット/月になってしまった。30クレジットを使って構築してみた。そうだCursorがそろそろ使える期間に入るということで本日はCursorでやってみる。元ネタはWeb版のClaudeである。

LLMのAPIに課金することなく出来ないかと思て行ったらClaudeが提案してきた。客観的にAIに教えられる。最先端を目指すのではなく、できる範囲で早めに作れである。
Pythonでプロトタイプをさっさと吐き出して動作する（驚き！）

しかし、非力なおいらのPCではレスポンスが遅い。LLM APIを契約しないとまともなものにならないけれど、これからはオンプレで構築もあるという。クラウドでの情報を学習データとしてなどの懸念が強いとか。

まずはオンプレでというのを体験できた。これにLLMの有料APIで入れ替えれば企業の求めるチャットボットを作ることができそうだ。Dynabookを買おうと思っているがGPUを使ったデスクトップを自作もありだな。ノートブックを持ち歩く仕事がなさげだから。必要ならWindows10のノートを持って歩くのもありだ・・・ううむ貧乏くさい。