LLM硬件适配评估工具

llmfit 简介

llmfit 是一款终端工具，用于根据系统的 RAM、CPU 与 GPU 配置为 LLM 选出最佳适配模型。它会自动检测硬件信息，从内置模型目录中为每个模型在内存适配、估算速度、模型质量、上下文长度四个维度打分，并给出理想排序。

工具同时提供交互式 TUI（默认启动）和经典 CLI 模式，原生支持多 GPU、MoE 架构、动态量化选择、速度估算以及 Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio 等本地推理后端。

安装方式

Windows

scoop install llmfit

macOS / Linux

使用 Homebrew 安装预编译二进制（推荐）：

brew install AlexsJones/llmfit/llmfit

或通过 MacPorts：

port install llmfit

快速安装脚本（自动写入 /usr/local/bin 或 ~/.local/bin）：

curl -fsSL https://llmfit.axjns.dev/install.sh | sh

uv / pip

全局安装或更新：

uv tool install -U llmfit

无需安装、临时运行：

uvx llmfit

Docker / Podman

docker run ghcr.io/alexsjones/llmfit           # 输出 recommend 命令的 JSON 结果
podman run ghcr.io/alexsjones/llmfit recommend --use-case coding | jq '.models[].name'

启动交互式 TUI：

docker run --rm -it ghcr.io/alexsjones/llmfit --tui

从源码编译

git clone https://github.com/AlexsJones/llmfit.git
cd llmfit
cargo build --release
# 产物位于 target/release/llmfit

使用示例

llmfit          # 交互式 TUI：展示硬件信息与全部模型排名

TUI 顶部显示已检测到的硬件配置，下方列出每个模型在适配、速度、质量、上下文四个维度上的得分。

面向脚本与 Agent 的 CLI 命令：

llmfit fit                    # 以表格形式输出全部模型按适配度排序
llmfit recommend --json       # 以 JSON 形式输出最佳推荐（适合自动化消费）
llmfit info "<model>"         # 查看单个模型的适配分析与验证命令
llmfit bench                  # 针对已运行的推理后端测量真实 tok/s 与首 token 时延
llmfit doctor                 # 输出硬件检测报告，便于提交 Bug

工作原理

llmfit 首先检测系统的 RAM、CPU、GPU/VRAM 与可用后端，然后对目录中的每个模型在四个维度上打分：

• 内存适配：根据模型参数与量化级别估算所需显存/内存；
• 速度估算：基于内存带宽模型，参考在线推理采样与社区实测数据；
• 模型质量：来自目录内置的相对质量评分；
• 上下文长度：模型支持的最大上下文窗口。

每个估算值都会附带输入假设，llmfit info 命令可展示该数字的计算依据以及在本机验证的方式。

贡献

欢迎提交贡献，尤其是新模型条目。提交 PR 前请运行：

cargo fmt

多数 CI 检查失败均由格式问题导致。自定义模型可参考 docs/custom-models.md 指南，既可加入本地配置，也可加入内置目录。

代码签名

Windows 发布二进制通过 SignPath.io 进行 Authenticode 签名，签名流程由 GitHub Actions 自动执行，仅针对本仓库构建的产物，签名请求由项目维护者审批。

许可证

MIT