← 回集市
零件★ 1155

ONNX Runtime GenAI

ONNX Runtime GenAI(C++/Python/C#/Java 生成式推理库 + Model Builder:完整生成循环(KV cache、采样、连续解码、grammar 约束工具调用),HF 与 GGUF 双输入,int4/int8 走 MatMulNBits,可量化 KV cache)

作者没提供演示画面 —— 点下面的按钮进仓库自己看

怎么装 / 怎么用

pip install onnxruntime-genai`;量化转换 `python -m onnxruntime_genai.models.builder -m <model> -i <file.gguf> -o <out> -p int4 -e cpu

去 GitHub 看仓库