infra-runtime
8件
- Niko1221/Strata ★30940 / 言及 2件
ローカル環境でのQwen3.8などのLLM推論エンジンを提供。APIエミュレーション機能も備える。
- dphnAI/sonar ★1881 / 言及 1件
大規模LLMの推論エンジン。CUDAやTPUなど多様なハードウェアに対応した高速な推論を提供します。
- joshuaswarren/omarchy-egpu ★16 / 言及 1件
eGPU環境でのLLM推論設定、ベンチマーク、およびAMD/NVIDIA/Intel GPUの互換性検証。
- mendableai/firecrawl ★194558 / 言及 1件
AIエージェント向けのウェブデータ収集・抽出ライブラリ。RAGや検索強化に不可欠なインフラツールです。
- DS4SD/docling ★69441 / 言及 1件
PDFやドキュメントを構造化データに変換し、RAGなどの生成AIシステムで利用できるようにするツール。
- BerriAI/litellm ★61893 / 言及 0件
LLM API ゲートウェイ。多様なモデルへの接続、コスト追跡、ロードバランシングを提供するAIインフラツールです。
- langgenius/dify ★159348 / 言及 0件
LLMやツールを活用したエージェントワークフロー構築プラットフォーム。RAGパイプラインやマルチエージェント実装を支援するインフラです。
- langflow-ai/langflow ★155955 / 言及 0件
LLMや画像生成モデルを用いたAIエージェントのワークフローを視覚的に構築・デプロイするためのフレームワークです。