dphnAI/sonar

infra-runtime ★ 1881 / fork 211 / 言及 1件 / Python

大規模LLMの推論エンジン。CUDAやTPUなど多様なハードウェアに対応した高速な推論を提供します。

GitHubで見る・ api-restcudainference-engineinferentiaintelloramachine-learningrocm