llmaker

概要

• LLM、ベクトルデータベース、埋め込み、キャッシュ、可観測性、検索・エージェント機能を一体化したオープンソース基盤です。
• 1つのCLIコマンドで各サービスを構築・接続し、単一のフリートとして管理できます。ローカル完結の本番向け構成を素早く用意できます。

主な特徴

• プライベートネットワーク上に必要なコンテナ群を自動配置し、サービス間の接続や設定を手作業で組み立てる負担を削減します。
• 宣言的かつ再適用可能なスタック管理に対応し、モデルやサービス全体の状態、ログ、リソース使用量をダッシュボードで確認できます。
• OpenAI互換モデルと標準搭載の検索トレーシングにより、RAGやエージェント処理の動作を把握しやすくします。

こんな人におすすめ

• 外部APIにデータを送信せず、社内情報を使ったチャットボットやFAQアシスタントを自社環境で構築したいチームに適しています。
• ベクトルDBや埋め込み、キャッシュ、監視などを個別に構築する手間を減らし、LLMアプリを本番運用へ移行したい開発者向けです。