背景:为什么生成式 AI 推理如此困难
生成式 AI 推理的工程难度来自几个层面:模型权重动辄数十到数百 GB、延迟指标以 token 为单位、冷启动包含容器与权重传输等多分钟环节、GPU 容量紧张,而传统监控工具又无法提供生产环境真正需要的 token 级信号。Amazon SageMaker AI 提供两种部署路径——托管端点和 SageMaker HyperPod Inference,前者由 AWS 负责基础设施和运维,后者面向需要 Kubernetes 原生控制力的团队,可在自有 GPU 集群上运行。2026 年上半年,SageMaker AI 在这两条路径上一共交付了 13 项推理新能力,本文按部署路径拆解它们的能力边界、关键原理和典型场景。
两条部署路径如何选型
托管端点的特点是无运维负担,通过控制台、SDK、CLI 即可部署,自动扩缩容由 CloudWatch 驱动,API 协议支持与 SageMaker endpoint 兼容的 OpenAI 风格 HTTP 接口。它适合希望快速上线、不愿管理基础设施的团队。HyperPod Inference 则是基于 Kubernetes 的方案,通过 kubectl、Terraform 或控制台管理,使用 Karpenter、KEDA、CloudWatch 进行扩缩容,支持 HTTP、gRPC 以及自定义负载均衡器,适合训练—推理一体化、需要在多云或混合云环境运行工作负载的团队。从定位上看,托管端点是把推理作为服务消费,HyperPod Inference 是把推理作为可定制的平台来运营。
托管端点的七项关键能力
推理推荐(2026 年 4 月):过去为生成式模型挑选合适的实例类型、推理容器和优化配置,通常需要手动对上千种组合做两到三周基准测试。推理推荐把这个过程自动化为三步:先用模型架构、规模、显存需求过滤实例空间,再按目标(成本、延迟或吞吐)套用 EAGLE 3.0 投机解码、核函数调优、张量并行等策略,最后用 NVIDIA AIPerf 在真实 GPU 上跑出具备统计置信度的多轮结果,产出可直接部署的 SageMaker Model Package,并附带 TTFT、ITL、P50/P90/P99 延迟、吞吐与成本预估。在 GPT-OSS-20B 的吞吐优化演示中,相同请求延迟下 tokens/s 提升约 2 倍。生成推荐本身不额外计费,在 ML Reservations 容量上跑基准测试也无需额外付费。
容量感知实例池(2026 年 5 月):原先端点锁定单一实例类型,一旦容量不足就会启动失败。实例池允许定义最多 5 种实例类型的优先级列表,创建时按序尝试,扩容时由下一可用类型承接,缩容时优先回收回退实例,让集群在容量恢复后逐步回到首选硬件。每个池条目可以指向不同的优化配置,例如在高显存实例上用张量并行、中端实例上用投机解码、回退实例上用量化。推理推荐可以自动生成这些按硬件划分的配置。
OpenAI 兼容 API(2026 年 5 月):端点新增 /openai/v1 路径,支持 Chat Completions 与流式输出。原本基于 OpenAI SDK、LangChain 或 Strands Agents 构建的应用迁移到 SageMaker,只需修改 endpoint URL,SDK 调用、流式逻辑、提示词格式均保持不变。鉴权使用基于现有 AWS 凭证签发的 bearer token,有效期最长 12 小时,从而省去 SigV4 签名改写。14 个 AWS 区域可用,支持 vLLM、SGLang 的 AWS Deep Learning Containers,以及实现 /v1/chat/completions 的自定义容器。
容器缓存(2026 年 6 月):扩容时新实例需要从 Amazon ECR 拉取完整镜像,大于 10 GB 的推理容器仅拉镜像就要数分钟。容器缓存在支持的加速器实例类型上自动预拉镜像,新实例启动时容器已本地就绪,无需任何配置或代码改动。在 Qwen3-8B + ml.g6.2xlarge + LMI 容器(17.7 GB 压缩)的场景下,端到端启动延迟从 525 秒降到 258 秒,降幅约 51%;模型下载时间也从 168 秒降到 77 秒。早访问客户实测改进幅度在 38% 到 65% 之间。容器缓存与亚分钟级 CloudWatch 指标、实例存储数据缓存共同构成三层扩容优化套件。
推理可观测性与 CloudWatch Insights 仪表盘(2026 年 6 月):SageMaker 现通过 OpenTelemetry 原生输出 100+ 详细推理指标,并附带 CloudWatch 上的预构建 Insights 仪表盘,新端点默认开启可观测性,进入 InService 后两分钟内开始采集。仪表盘覆盖三类信号:性能(TTFT、ITL、吞吐、模型延迟与系统开销、KV 缓存利用率、队列深度)、容量(整集群 GPU 利用率、显存、温度、磁盘及蜂窝可视化)、可靠性(可用区分布及风险评分、冷启动各阶段、扩缩事件历史)。PromQL 兼容端点允许从 Amazon Managed Grafana 直接查询指标。
异步推理内联负载(2026 年 6 月):此前异步推理每次都需要先把输入上传到 S3 再调用端点,即便只是几百字节的 JSON 也会多一跳网络往返和 S3 PUT 费用。InvokeEndpointAsync 现已支持 Body 参数,直接接受最大 128,000 字节的内联负载,适用于绝大多数异步工作负载。原有 InputLocation 流程仍然兼容。31 个 AWS 区域可用。
前缀感知路由:在许多 LLM 应用中,系统提示词、检索文档、对话历史等前缀在同一会话或同一文档范围内反复出现。如果每个实例都从头重算这些前缀,会浪费大量 GPU。前缀感知路由把请求开头的若干 token 作为指纹,把共享前缀的请求持续路由到同一实例,从而最大化 KV 缓存复用,并内置过载保护与扩容稳定性保护。在 Llama 3.1 70B、7 实例、长上下文(8,000 token 前缀)的基准下,P90 TTFT 降低 33%–37%,P50 TTFT 降低 71%–77%,KV 缓存命中率从约 25% 提升到 82%;短上下文场景 P90 TTFT 也降低 24%–37%;路由自身开销仅 1.3–1.9 毫秒。开启只需在端点配置中设置 RoutingStrategy、PrefixLength、ConcurrencyThreshold,无需修改模型容器或服务框架。该功能适合 RAG、多轮对话、模板化 Bot、代码补全等场景,支持多租户前缀隔离、推理组件与动态 LoRA 适配器,在 SageMaker 实时推理端点上即可使用。
HyperPod Inference 的六项关键能力
EKS 简化推理 Operator(2026 年 4 月):在 Kubernetes 上部署 LLM 通常要手工维护 Deployment、Service、ConfigMap、HPA 和健康检查。简化推理 Operator 是 EKS 原生插件,支持控制台、CLI、SDK、kubectl、Terraform 一键安装,部署模型只需提交一份自定义资源即可。它内置多实例类型回退、CloudWatch/AMP/KEDA 自动扩缩、EKS 插件生命周期管理,并支持直接从 SageMaker JumpStart 部署热门基础模型。
托管分层 KV 缓存与智能路由:针对长上下文与多轮工作负载,HyperPod Inference 把 KV 缓存拆成两层:L1 位于节点 CPU 内存,负责低延迟本地复用;L2 基于 Redis,实现跨节点共享,让一个模型 Pod 计算出的前缀可被集群其他 Pod 复用。智能路由通过三种策略保持缓存有效:前缀感知路由把共享前缀请求导向最可能命中缓存的实例,KV 感知路由基于实时缓存状态选最高占用率的实例,轮询则用于不关心缓存复用的负载。组合使用后,长上下文与多轮工作负载相比无缓存基线延迟可降低最高 40%。
数据采集(2026 年 5 月):面向合规、漂移监控与离线评估的数据采集需求,HyperPod Inference 通过 CRD 在三个采集点启用:SageMaker 端点(应用边界的完整请求与响应)、ALB(用于路由可见性与延迟测量)、模型 Pod(容器边界用于模型级调试)。数据直接写入 S3,无需自建 sidecar 容器或应用埋点,可按需在任意采集点选择性启用。
此外,HyperPod Inference 还包括性能特性、模型缓存,以及把预填充与解码阶段拆开的推理解耦方案,共同面向在自有 Kubernetes 集群上需要细粒度控制的生产级推理。
与上一代相比的变化
相对此前的 SageMaker 推理,这一轮更新把几件事做成了开箱即用:其一,选型从经验驱动变为数据驱动,推理推荐替代了人工对上千组合的试错;其二,容量从单点变为可降级,实例池把单实例类型绑定变成了多类型优先级列表;其三,接入面从私有协议扩展为 OpenAI 兼容接口,迁移成本被显著压低;其四,扩容延迟被三层机制(亚分钟指标、实例存储缓存、容器缓存)联合压缩;其五,可观测性从分散的 CloudWatch 指标升级为覆盖 TTFT、ITL、KV 缓存、可用区风险、冷启动各阶段的统一仪表盘;其六,异步推理从必须 S3 中转变为可内联负载;其七,前缀感知路由与分层 KV 缓存让长上下文延迟从反复重算变为可复用;其八,HyperPod Inference 把原本需自研的推理 Operator、数据采集、推理解耦都封装进了 Kubernetes 原生抽象。
适用场景与如何用起来
托管端点适合中小团队、需要快速上线、对运维负担敏感的工作负载,典型用法是在控制台选择模型、调用推理推荐生成 Model Package、为端点配置实例池与前缀感知路由,客户端把请求地址切到 /openai/v1 即可复用既有 OpenAI SDK 代码,鉴权改为 bearer token。需要异步处理大批量提示词时,可以直接把 JSON 作为 Body 提交,无需先上传 S3。
HyperPod Inference 适合需要在自有 Kubernetes 集群上运行推理、有训练—推理一体化或多云/混合云诉求的团队,典型用法是先安装简化推理 Operator,再通过 CRD 声明模型、启用分层 KV 缓存与前缀感知路由,按需开启数据采集与推理解耦。客户端可通过 kubectl、Helm、Terraform 管理整个生命周期。
在端点上线初期,建议先用推理推荐锁定实例类型与优化配置,再按容量预算引入实例池;对延迟敏感的 RAG 或长上下文应用,从默认 RANDOM 路由切换到 PREFIX_AWARE 是收益最大的改动之一;异步推理若提示词在 128 KB 以内,优先使用内联负载以减少 S3 中转。
局限与边界
需要明确的是,这些改进并非没有边界。OpenAI 兼容 API 目前在 14 个区域可用,与 SageMaker 全部区域并不重叠;支持的是与 OpenAI 风格兼容的 HTTP 接口,而非完整的 OpenAI 全量功能集。异步推理内联负载上限 128,000 字节,超出仍需走 S3。容器缓存仅在受支持的加速器实例类型上自动启用,基础类型可能不在其列。前缀感知路由与分层 KV 缓存的收益高度依赖工作负载的前缀重复度,在请求之间无共享前缀的场景下收益有限,KV 命中率大约在 25% 量级的场景中才会有数量级跃升。推理推荐本身不收费,但其推荐的部署仍按 SageMaker 正常计费;在 ML Reservations 上跑基准测试才能完全免去基准环节费用。HyperPod Inference 要求团队具备 Kubernetes 与集群运维能力,不适合希望完全免运维的用例。
如何用起来：通过 OpenStarry 接入
如果你想直接用上 qwen 这类模型/工具，可以通过 OpenStarry 用一个 Key 快速接入，无需各自注册多个平台：
- 一个 Key 接入 13 款模型，完整兼容 OpenAI SDK，两行代码即可迁移；
- 官方原厂通道与自动容灾，节点异常时自动切换；
- 按量付费、人民币结算，模型调用费用以 OpenStarry 官网标价为准。
接入示例：
base_url: https://api.openstarry.com/v1
api_key: <你的 OpenStarry Key>
model: qwen3.7-max