SGLang-Neuron 现在通过 AWS Deep Learning Container 公开提供。它把 SGLang 接到 AWS Trainium 上,让用户沿用现有 SGLang 服务端接口和生成 API,在 Trainium 上做模型服务和强化学习 rollout。底层运行在原生 PyTorch 上,不是另起一套调用方式。这个定位决定了它的价值主要在接口连续性和后端可替换性,而不是要求调用方重写业务。
什么是 SGLang-Neuron
SGLang-Neuron 是连接 SGLang 与 AWS Trainium 的 out-of-tree 插件。安装插件后,会通过 SGLang 的插件入口注册 neuron 平台;启动服务时设置 SGLANG_PLATFORM=neuron 即可选中。对使用者来说,启动方式仍是 SGLang 的 server interface,调用方式仍是同一套 generation APIs。它面向两类任务:在 Trainium 上服务模型,以及用 SGLang 生成强化学习 rollout。Trainium 是 AWS 的 AI 芯片产品组合,定位是面向大规模 AI 训练和推理提供有竞争力的经济性。
关键能力与运行原理
分工清晰:SGLang 核心继续负责 API server、请求生命周期、RadixAttention 和 prefix-cache 记账;插件负责 Trainium 特有的模型、attention、MoE 和 graph runner。TorchNeuron 把 Trainium 注册为原生 PyTorch 设备。模型执行路径使用标准 PyTorch 操作,同时引入用 Neuron Kernel Interface(NKI)编写的内核来提升性能;这些操作和内核通过 torch.compile 编译成可执行程序,由 graph runner 在服务期间准备和执行。
另一个关键能力是 PD 分离。prefill server 计算 prompt 的 KV cache,再通过 NIXL over Elastic Fabric Adapter(EFA)传给 decode server,由 decode server 生成剩余 token。两个 server 仍各自使用 SGLang 的调度器和请求生命周期,插件管理 Trainium 执行与 KV-cache 传输路径。out-of-tree 设计让 Trainium 支持与 SGLang 核心独立开发、独立迭代,这是理解其演进节奏的关键。
与上一代相比,变化在哪里
这里需要把可确认事实和推断分开。可确认的是,这一版以 out-of-tree 插件形态接入,底层走原生 PyTorch,使用标准 PyTorch 操作加 NKI 内核,并通过 torch.compile 和 graph runner 执行;同时以 AWS Deep Learning Container 公开提供,支持 PD 分离。对调用方而言,服务端接口和生成 API 保持不变,变化集中在后端平台选择、容器环境、启动参数和 Trainium 执行路径。
目前没有给出上一代 SGLang-Neuron 的具体版本、性能数字或迁移前后对比,因此不能据此断言吞吐、延迟或成本一定提升。更稳妥的理解是:这次变化首先发生在集成方式和交付方式上,即把 Trainium 支持从核心中解耦出来,让插件和 SGLang 核心各自迭代;性能表现仍取决于模型、并行配置、上下文长度、KV cache 设置和实际负载。若业务已经在用 SGLang API,迁移侧的主要工作是环境与参数适配,而不是重写调用方逻辑;这是基于同一套接口作出的推断,不是性能承诺。
适用场景与上手方式
适用场景包括在 AWS Trainium 上部署前沿模型