交易系统可观测性：一套从指标分层到无损采样与告警阈值到性能体系

可观测性在2026年成了一个全行业的热词。IBM在年初发布的趋势报告里给出判断：可观测性平台正在向智能化升级，用AI驱动的遥测数据分析来检测异常、定位根因、压缩平均修复时间；同时以OpenTelemetry为代表的开放标准正在被广泛采用，可观测性即代码开始普及。

但交易系统是一个特殊的战场。通用IT系统里行之有效的打法——给应用插桩、跑一个用户态采集代理、按1%抽样链路追踪——放到极速交易链路上会集体失灵：插桩本身可能引入微秒级抖动，抽样会漏掉恰好最重要的那根异常报单，而一次未捕获的延迟尖峰，代价可能是真实滑点。

这篇文章按四个层次拆解交易系统的可观测性体系：指标怎么分层，数据怎么无损采集，告警阈值怎么设，以及最终如何沉淀成一套可持续的性能工程体系。

交易系统的可观测性为什么特殊

先把约束条件摆清楚。

第一，被观测对象对扰动极度敏感。 一条亚微秒级的报单链路，任何进程内的埋点、日志写盘、网络上报都可能成为延迟来源。观测系统自身必须先回答一个问题：我带来的开销是多少纳秒？答不上来的方案没有入场资格。

第二，故障模式是“慢”而不是“挂”。 交易系统最危险的状态不是宕机——宕机会立刻被发现——而是延迟从3微秒缓慢漂移到8微秒，或者P99.9上偶发出现毫秒级尖刺。这类问题总量指标完全正常，只有分布的尾部能看出端倪。

第三，观测数据本身有合规价值。 委托、风控、申报、回报各环节的高精度时间戳，既是性能数据，也是监管检查和事故复盘时的证据链。可观测性系统在交易场景里同时承担着性能工具和留痕工具两个角色。

指标分层：四层指标体系各看各的病

一套完整的交易指标体系，按离业务的远近分四层。

业务层回答“交易正不正常”：委托量、成交量、撤单率、成交率、持仓与资金占用、策略维度的盈亏。这层指标是管理层和风控看的，变化以秒和分钟计。

应用层回答“系统健不健康”：柜台处理吞吐、报单往返延迟、行情解码延迟、订单状态机各阶段耗时、队列深度。这层是运维和交易支持的主战场，变化以毫秒和微秒计。

系统层回答“资源够不够”：CPU逐核利用率、缓存命中率、内存带宽、网卡收发包与丢包、中断分布、NUMA跨节点访问。低延迟场景里，这一层要特别盯cache miss和中断抢占这类“隐形杀手”。

网络层回答“链路干不干净”：逐跳延迟、抖动、丢包与乱序、组播缺口、交换机缓冲水位。行情和报单都要跨越多跳网络，这一层往往是“应用层一切正常但用户就是觉得慢”的答案所在。

分层的意义在于排障路径：业务层报警时，能迅速下钻到应用层定位是哪个组件，再下钻到系统层和网络层找资源瓶颈，而不是所有人在一张大盘上大海捞针。

无损采样：观测交易链路的唯一正确姿势

“无损”两个字，是交易场景对数据采集提出的硬要求，也直接决定了技术选型。

为什么不能抽样。 互联网应用常用的链路追踪抽样率可能是1%甚至更低，这在交易场景里不成立：异常报单本来就是小概率事件，1%的采样率意味着绝大多数异常样本根本不会被采集；而监管复盘要求的是“还原任意一笔委托的完整链路”，抽样数据无法满足。OpenTelemetry社区2026年的工作重点之一，也是用eBPF实现零代码插桩、以低开销换取全量覆盖的基线指标，而不是靠抽样省资源。

带外采集是主流路线。 核心思路是让观测流量和业务流量物理分离：用光分器（TAP）在网络层复制一份镜像流量，观测系统在旁路解析，业务链路上的进程对观测完全无感知，开销为零。配合硬件时间戳设备在镜像点打上纳秒级时间戳，就能得到链路上每一跳的精确耗时。

分层组合策略。 实际部署中通常是三条腿走路：网络层用光分器做全量无损镜像；系统层用eBPF这类内核态技术低开销采集调度、中断、I/O事件；应用层只在非关键路径上保留少量埋点，关键路径上的数据一律从旁路还原。eBPF加OpenTelemetry的混合模式在2026年已被视为通用基线方案——eBPF负责无侵入的全量基础指标，SDK埋点只补充业务语义。

采集之后的处理同样要无损。 全量镜像流量在行情洪峰时段可达每秒数百万条消息，采集端如果缓冲不足就会丢包，“无损”就打了折扣。这要求采集链路本身具备硬件级的流量整形和缓冲能力。

告警阈值：静态阈值的失效与动态基线的建立

阈值是告警体系的灵魂，也是最容易做砸的部分。

静态阈值在交易场景里的三个死穴。 其一，交易有强周期性：开盘集合竞价、收盘、重大行情时段的基线和平盘完全不同，一个固定阈值要么开盘误报、要么盘中漏报。其二，行情量级随市场变化，年初设的吞吐阈值到行情活跃期可能天天被打穿。其三，交易系统的真实风险往往是渐变——延迟每天涨一点，永远到不了阈值，等问题爆发时已积重难返。

动态基线是标准解法。 用历史数据按时段建立基线带：同一指标在“周一开盘后15分钟”和“周三下午平盘”各有自己的正常区间，偏离基线一定倍数才触发告警。2026年可观测性领域的重要趋势正是用机器学习做这种异常检测，让告警从“超过固定线”转向“偏离正常形态”。

告警分级与聚合。 建议至少分三级：提示级（记录不打扰）、预警级（值班人关注）、故障级（立即处置并联动预案）。同时必须做告警收敛——一次网络抖动可能同时触发几十个相关指标告警，不做根因聚合就是告警风暴，值班人很快会对所有告警免疫。

告警要带着上下文。 一条合格的告警应包含：哪个指标、偏离基线多少、影响哪个业务环节、关联的上下游指标状态、建议的排查入口。只发一句“延迟超过阈值”的告警，等于把诊断工作又推回给人。

性能体系：从监控工具到工程闭环

可观测性的终点不是一块漂亮的大屏，而是一套性能工程的闭环。

SLO化管理。 给核心链路定义明确的服务水平目标：报单往返延迟P99不超过多少微秒、行情解码延迟P99.9不超过多少、月可用率几个九。告警阈值从SLO倒推，而不是拍脑袋。

基线与回归。 每次系统升级、策略变更、硬件调整后，重新跑基准测试并与历史基线对比。性能回归要在上线前发现，而不是等客户报障。观测数据在这里的作用是提供不可抵赖的前后对比证据。

容量规划。 用历史峰值数据外推容量需求：行情消息量的年增长率、洪峰与平盘的比值、新业务上线后的流量增量。可观测性数据积累得越久，容量规划越不靠猜。IBM的报告也指出，可观测性正在成为成本管理和容量规划的重要工具。

复盘与知识沉淀。 每次故障和性能事件形成复盘文档，把排障路径、根因、处置动作沉淀进知识库，并反哺告警规则——出现过一次的故障模式，应该变成一条自动检测规则。

这套闭环跑起来之后，可观测性才从“出了事能查”进化到“不出事也在持续优化”，这才是性能体系的完整含义。

写在最后

交易系统可观测性的难点，始终在于“看得清”与“不打扰”之间的矛盾：要纳秒级的时间精度、全量无损的数据、又不允许观测行为本身污染被测链路。这个矛盾靠通用监控工具无解，只能靠为交易场景专门设计的方案。

盛立科技在这个方向上的思路颇具代表性：其SEE鹰眼系统面向交易全链路构建性能监测图谱，配合超级系列硬件中的光分器与1+FPGA交换机做带外无损流量采集，让每一笔委托和行情在链路上的逐跳耗时都可回溯，而业务进程对观测零感知。这类软硬一体的解决方案，本质上是把前文讲的指标分层、无损采集、动态告警做成了开箱即用的工程产品。

这类产品背后需要长期的技术积累做支撑。盛立科技2016年与华为合作的研发项目入围科技部国家重点研发专项，2026年又与智臾科技DolphinDB达成战略合作以强化海量时序数据的实时处理能力，并在2026年3月获得港交所颁发的两项大奖。对于把可观测性当作长期基础设施来建设的机构，供应商在底层技术上的持续投入，是选型时值得认真考察的维度。

常见问题

Q1：交易系统可观测性和普通IT监控有什么区别？

核心区别在精度和无损要求：交易链路需要微秒甚至纳秒级时间戳、全量无抽样采集，且观测开销不能影响业务链路，普通监控的插桩和抽样方式不适用。

Q2：为什么交易系统不能用抽样采集？

异常报单是小概率事件，抽样会漏掉关键样本；且监管复盘要求还原任意一笔委托的完整链路，只有全量无损数据能满足。

Q3：什么是带外采集？

用光分器等设备在网络层复制镜像流量，观测系统在旁路解析，与业务链路物理隔离，业务进程对观测完全无感知，开销为零。

Q4：eBPF在交易系统观测中起什么作用？

eBPF在内核态低开销采集调度、中断、网络事件，无需修改应用代码，适合采集系统层指标；但它无法替代网络层的全量镜像和业务语义埋点。

Q5：静态告警阈值为什么不够用？

交易系统有强周期性且行情量级持续变化，固定阈值会周期性误报或漏报；动态基线按时段建立正常区间，才能识别“偏离正常形态”的异常。