TokenSpeed

项目概述

TokenSpeed 是一款面向智能体工作负载（agentic workloads）设计的高性能大语言模型推理引擎，目标是兼顾 TensorRT-LLM 级别的推理性能与 vLLM 级别的易用性，成为生产级智能体场景中最强的推理引擎。

核心架构

TokenSpeed 在架构设计上区别于现有推理引擎，核心由三部分组成：

• 调度器（Scheduler）：控制面使用 C++ 实现，执行面使用 Python 实现。请求生命周期、KV Cache 所有权、重叠时序被编码为有限状态机，并通过类型系统在编译期保证 KV 资源复用的安全性。
• 内核（Kernels）：可插拔的分层内核系统，提供可移植的公共 API 与集中式注册表，并包含针对 Blackwell 架构优化的 MLA（Multi-head Latent Attention）实现，专门面向智能体场景。
• 入口（Entrypoint）：与 SMG 集成的 AsyncLLM，在 CPU 侧以极低开销处理请求。

关键差异化

控制面与执行面分离是该项目的核心设计理念：核心调度系统在 C++ 中以有限状态机实现，借助类型系统在编译期而非运行期保证请求生命周期与 KV Cache 状态的安全管理；执行层则使用 Python 实现，便于研究者与工程师快速迭代。

内核子系统作为一等公民独立存在，通过公共 API、注册中心与可扩展插件机制与引擎解耦，便于适配异构加速器。

项目由非营利性的 LightSeek 基金会维护，获得 NVIDIA、AMD 等厂商的硬件与工程支持。

性能与里程碑

近期发布的代表性指标与事件包括：

• 在 NVIDIA GB300 上为 Qwen3.8-Flash-Next 实现单用户 685 tokens/s。
• 在 AMD Instinct MI355X 上推进 Kimi K3 推理。
• 在 Qwen3.5-397B-A17B 的智能体负载下达到 580 TPS。
• 陆续在 Day 0 支持 Kimi K3、Qwen3.8、Qwen3.8 Flash Next、GLM 5.3 Flash、TML Inkling 等模型。
• 加入 PyTorch Ecosystem Landscape。

文档与使用入口

官方文档围绕以下主题展开：

• 入门指南：安装与快速上手。
• 服务启动：部署本地推理服务。
• 模型配置：各模型的部署配方（recipes）。
• 服务参数：服务器端配置说明。
• 并行策略：张量并行、流水线并行等分布式推理配置。

@misc{tokenspeed2026,
  author       = {{TokenSpeed Team}},
  title        = {{TokenSpeed}: A Speed-of-Light {LLM} Inference Engine},
  year         = {2026},
  howpublished = {\url{https://github.com/lightseekorg/tokenspeed}}
}