← 回集市
零件★ 133527

llama.cpp

llama.cpp(CLI(llama-cli)+ OpenAI 兼容本地 HTTP 服务(llama-server)+ C/C++ 库)

作者没提供演示画面 —— 点下面的按钮进仓库自己看

怎么装 / 怎么用

winget install ggml.llamacpp`;或 `git clone` 后 `cmake -B build -DGGML_CUDA=ON && cmake --build build --config Release`;模型用 GGUF

去 GitHub 看仓库