为什么需要 LLMSnail
大模型推理链路长、层级多（推理引擎、计算后端、算子、GPU kernel），且充满异步与并发，请求级端到端可观测与故障定位一直很难：您很难一眼看出「慢在哪一层、谁出的问题」。LLMSnail 为您提供非侵入、跨层级的推理可观测与诊断能力：无需修改推理引擎或业务二进制，即可采集从请求入口到 GPU 算子的完整事件，并通过两阶段异常检测（先对正常行为建模，再用大模型做步骤级与算子级定位）快速找到异常步骤与根因算子，部署开销低、开箱即用。
能力对应 ICLR 2026 工作 Truffld（Bridging Non-Intrusive Tracing and Fine-Grained Cross-Layer Representations for LLM Inference Diagnosis）：在多节点 GPU 集群、Qwen3-8B 推理、在线与离线负载下，实现接近完美的步骤级检测与更优的算子级定位。下文介绍您能直接使用的核心能力、演示视频，以及论文链接。
您能获得的核心能力
| 能力 | 为您带来的价值 |
|---|---|
| 非侵入、跨层级采集 | 通过 NVTX 与 CUPTI 从「节点内调用栈」与「跨节点通信」两个维度采集事件，无需改代码或二进制，即可看到完整推理链路。 |
| 统一调用链与时间轴 | 多源事件对齐到统一时间基准，并重建按请求的调用链树，保留结构与时间关系，排障时一目了然。 |
| 两阶段异常检测 | 先用统计模型（GMM）对正常行为建模并输出置信度，再用大模型做步骤级决策与算子级根因定位，既稳又准。 |
| 端到端可观测与诊断 | 覆盖在线与离线推理场景，在多节点 GPU 集群上验证，在保证检测效果的同时控制部署与运行开销。 |
上述能力在 Truffld 论文中有完整方法与实验描述（作者：Ruilin Xu, Junyi Li, Zongxuan Xie, Pengfei Chen；关键词：LLM profiling, anomaly detection, performance diagnosis, LLM observability, LLM tracing）。论文链接见文末。
产品演示
端到端全链路 Trace 与推理诊断
从请求进入推理服务到 GPU 算子的跨层级 Trace 展示，以及基于 Truffld 的异常检测与算子级定位演示。
了解更多：论文
- Bridging Non-Intrusive Tracing and Fine-Grained Cross-Layer Representations for LLM Inference Diagnosis（ICLR 2026 投稿）
作者：Ruilin Xu, Junyi Li, Zongxuan Xie, Pengfei Chen
链接：https://openreview.net/forum?id=S9iB7BA3Zq
关键词：LLM profiling; Anomaly detection; Performance diagnosis; LLM observability; LLM tracing
Truffld 通过 NVTX/CUPTI 采集纵向与横向事件，经调用链合并算法重建每请求的调用链树，采用 GMM + LLM 两阶段流水线进行异常检测与算子级定位；在 Qwen3-8B 多节点 GPU 集群上，步骤级检测接近完美、算子级表现优于多种基线，且部署低开销、非侵入。
LLMSnail 与平台内日志、链路、指标及 AgenticSnail 等模块联动，为智算与推理场景提供「采集 → 调用链重建 → 异常检测 → 算子级定位」的完整能力。如需论文细节、实验复现或合作，欢迎通过首页联系邮箱与我们沟通。