← 回集市
零件★ 3385
ik_llama.cpp
ik_llama.cpp(C++ 推理框架 + llama-server:llama.cpp fork,额外 SOTA 量化(IQ2/IQ3_KT、Q5_KS_R16、Q2_0、NVFP4、Ternary→Prism),MoE 缓存、多卡 NCCL 图并行;产出与 GGUF 生态兼容)
作者没提供演示画面 —— 点下面的按钮进仓库自己看
怎么装 / 怎么用
git clone` 后 `cmake -B build -DCMAKE_BUILD_TYPE=Release` + `cmake --build build --config Release`(VS2022 / clang18;另有 Docker 镜像与 CMakePresets)
去 GitHub 看仓库