← 回集市
零件★ 16492
MNN / MNN-LLM
MNN / MNN-LLM(C++ 推理引擎 + 转换/量化工具链(MNN-Converter、MNN-Compress):INT4 W4A16,x86 AVX2/AVX512 与 ARM 深度优化,同一套代码出 PC/手机/IoT 包)
作者没提供演示画面 —— 点下面的按钮进仓库自己看
怎么装 / 怎么用
cmake 源码构建(开 LLM 引擎)或用官方预编译库 / MNN Workbench;`llm_demo` 直接跑 MNN 格式 LLM
去 GitHub 看仓库