悦数图数据库

首页>博客>行业科普>运营商 AI 智能运维:图数据库驱动的网络故障自愈系统

运营商 AI 智能运维:图数据库驱动的网络故障自愈系统

运营商图数据库

某省级运营商的 5G 核心网在凌晨 2:17 触发了一次告警风暴,监控系统在 90 秒内涌入了 4700 条告警——基站退出服务、传输链路中断、切片带宽骤降、用户面功能无响应、AMF 注册失败率飙升……值班运维工程师面对满屏红色告警,第一反应是"哪台设备坏了"。但在一个包含 12 万基站、8000 台核心网网元、30 万条传输链路的网络中,4700 条告警可能全部源自同一个根因——比如某台汇聚交换机光模块故障,导致下游 200 个基站断连,每个基站又产生 20 多条衍生告警。问题是,传统告警系统只能告诉你"哪些设备在告警",不能告诉你"哪个设备是根因,其他都是衍生告警"。

定位根因的难点在于:故障在网络拓扑中是沿依赖关系传播的——交换机故障 → 连接的基站断连 → 基站下的用户业务中断 → 业务系统报错。这条传播链路在关系型数据库中需要递归 JOIN 网元表、拓扑表、告警表,在 12 万网元规模下递归 5 层以上基本不可用。电信网络的本质是一张拓扑图——网元是节点,链路和依赖关系是边,故障传播是图上的多跳遍历,根因定位是图上的源节点搜索。告警系统看到的是"叶子告警"——衍生故障的表象;运维工程师需要的是"根因节点"——故障的源头。用表格工具做根因分析,就像在一张错综复杂的地铁线路图上用 Excel 找终点站——工具和任务根本不匹配。图数据库不是运维系统的"性能优化选项",而是网络故障自愈的"原生计算引擎"。

一、网络故障为什么是图传播问题

要理解为什么图数据库是网络故障自愈的核心引擎,需要先拆解"故障传播"的数据本质——它不是一组告警列表,而是一张沿拓扑图扩散的传播子图。

传统告警系统的逻辑是"列表展示"。 运营商的告警系统接收来自各网元的告警消息,按时间排序展示在监控大屏上——每条告警包含网元ID、告警类型、严重级别、时间戳。运维工程师看到的是一个列表——4700 条告警按时间排列,每条告警独立存在。系统可以做简单去重(同一网元同类告警合并)和关联(同一时间窗口的告警分组),但无法回答"哪个网元的故障导致了其他网元的告警"。根因定位完全依赖运维工程师的经验——他需要凭记忆判断"这个区域的基站都挂了,可能是上游的汇聚层出了问题"。在 12 万网元的网络中,凭记忆做根因定位的准确率不超过 40%——而错误的根因判断会导致运维团队去排查一个没问题的设备,浪费宝贵的故障恢复时间。

故障传播的数据结构是拓扑图上的有向路径。 电信网络的拓扑天然是图——网元节点(基站、交换机、路由器、核心网功能实体)、链路边(光纤、微波、逻辑隧道)、依赖边(基站依赖交换机、交换机依赖核心网、用户面依赖控制面)。当交换机 S 在 02:17:03 发生故障时,故障沿拓扑图传播——S→断连→基站 B1/B2/B3…/B200(02:17:04-02:17:06)→ 每个基站产生"退出服务"告警 → 基站下的用户面功能无响应 → AMF 注册失败率飙升 → 切片带宽骤降。4700 条告警不是 4700 个独立事件,而是一条从 S 出发、沿拓扑图扩散的故障传播树——S 是根节点,200 个基站是第二层,业务影响是第三层。根因定位就是在这棵传播树上找到根节点——图上的源节点搜索问题。

运维分析维度 传统告警系统 图数据库遍历
告警展示 列表排序 传播树可视化
根因定位 人工经验判断 源节点搜索算法,秒级
影响范围 需逐条统计 子图遍历,百毫秒级
故障传播路径 无法追踪 多跳路径遍历,百毫秒级
自愈决策 人工执行 图算法推荐+自动执行
告警压缩 简单去重 传播树剪枝,4700→1

传统告警系统能回答"有哪些告警",图数据库遍历能回答"哪个是根因、影响范围多大、怎么恢复"。对于运营商的故障自愈系统而言,后者才是从告警到恢复的关键信息链路。

二、图数据库如何驱动故障自愈

图数据库对网络故障自愈的支撑不是"比告警系统快",而是从数据模型层面让故障传播路径回到了原生结构——从根因定位到自愈决策在同一个图引擎中完成。

网络拓扑图谱建模:三类节点 + 四类边。 在图数据库中,电信网络的拓扑统一建模为异构图——网元节点(携带设备ID、型号、厂商、位置、运行状态等属性)、链路节点(携带链路ID、类型、带宽、两端网元等属性)、业务节点(携带业务类型、SLA等级、用户规模等属性)。四类边连接这些节点——"连接"边(网元→链路→网元,物理/逻辑拓扑)、"依赖"边(基站→依赖→交换机,业务依赖关系)、"承载"边(链路→承载→业务,业务与链路的映射)、"告警"边(网元→告警→网元,告警关联关系)。三类节点和四类边在同一个图空间中,一次遍历即可走完"交换机 S → 连接 → 链路 L → 连接 → 基站 B → 承载 → 5G切片业务"的完整拓扑路径——在关系型数据库中需要 JOIN 网元表、拓扑表、业务表至少 4 次,在图数据库中是一次连续的多跳遍历。

多跳故障传播追踪:百毫秒定位根因。 故障自愈的第一步是根因定位——在 4700 条告警中找到根因网元。图数据库的做法是:将告警作为临时边写入图数据库(告警网元→告警→被影响网元),然后沿拓扑图的依赖边做多跳反向遍历——从每个告警网元出发,沿"依赖"边向上游追溯,找到所有告警网元的共同上游节点。如果 200 个基站都告警,沿依赖边追溯发现它们都依赖同一个交换机 S——S 就是根因候选节点。如果 S 自身也有告警,根因确认;如果 S 没有告警,继续向上追溯 S 的上游。这个多跳反向遍历在 12 万网元的拓扑图上,3-5 跳遍历百毫秒级完成——告警风暴发生后的 1 秒内,根因定位结果输出。4700 条告警被压缩为 1 条根因告警——运维工程师不再面对告警洪水,而是看到一条精准的根因定位报告。

影响范围分析:子图提取量化故障爆炸半径。 根因定位后,系统需要评估故障的影响范围——交换机 S 故障影响了多少基站、多少用户、多少业务。图数据库沿 S 的下游依赖边做多跳正向遍历——S→影响→基站 B1/B2/…/B200→影响→5G切片业务→影响→用户数。一次子图提取返回完整的故障爆炸半径:200 个基站、48 万用户、3 类切片业务受影响。影响范围数据立即输入给自愈决策引擎——如果影响用户超过阈值,触发应急切换流程;如果影响在可控范围,执行本地自愈。传统方案统计影响范围需要逐个查询每个基站的业务数据,200 个基站逐个查需要 5-10 分钟——图数据库一次遍历 200 毫秒完成。

自愈决策:图遍历推荐恢复路径。 根因定位和影响分析完成后,系统进入自愈决策阶段——如何恢复业务。图数据库沿拓扑图查找恢复路径——交换机 S 故障,其承载的业务需要切换到备用路径。系统沿 S 的"连接"边找到 S 的上游和下游网元,沿拓扑图搜索替代路径(S 的上游交换机 S'→备用链路 L'→S 的下游汇聚节点 H→基站 B1/…/B200)。如果存在替代路径,自愈引擎自动触发路径切换命令——在图遍历确认替代路径拓扑可行后,秒级完成业务切换。某运营商部署图驱动自愈后,单点故障的业务恢复时间从平均 25 分钟降至 90 秒——其中根因定位 1 秒、影响分析 0.2 秒、路径搜索 3 秒、切换执行 80 秒。

三、大模型 + 图算法:从"根因定位"到"预测自愈"

传统运维的逻辑是"告警→定位→恢复"——故障发生了才处理。大模型和图算法的引入,让运维从"被动恢复"进化为"主动预测和智能自愈"。

PageRank 识别网络关键节点。 在网络拓扑图上运行 PageRank 算法,每个网元节点获得的分数反映"有多少下游节点依赖它,以及这些下游节点的重要性有多高"。一个汇聚层交换机的 PageRank 分数远高于一个末端基站——因为它的故障会影响下游数百个基站和数十万用户。运维团队利用 PageRank 做差异化巡检——高分节点(关键汇聚层、核心网网元)每日巡检,低分节点(末端基站)周巡检。更重要的是,自愈系统在规划恢复路径时优先保护高分节点——如果故障影响了 PageRank 前 10 的网元,立即启动应急切换,不等人工确认。悦数图数据库内置 PageRank,一条 nGQL 语句在 12 万网元拓扑上秒级返回全图重要性排名。

最短路径算法搜索最优恢复路由。 故障自愈的核心是找到从故障点的上游到下游的最短替代路径——最短路径算法天然适配这个需求。当交换机 S 故障时,系统在拓扑图中以 S 的上游交换机 S' 为起点、以 S 的下游汇聚节点 H 为终点,运行最短路径算法(考虑链路带宽、延迟、负载等边权重),找到最优替代路由。如果有多条替代路径,算法返回 Top 3,自愈引擎选择负载最低的一条执行切换。最短路径计算在 12 万节点拓扑图上秒级完成——人工分析拓扑图找替代路径至少需要 15-30 分钟。某运营商部署最短路径自愈后,业务恢复路径选择时间从 20 分钟降至 5 秒。

Louvain 识别网络域与故障隔离边界。 电信网络通常按区域划分——城域网、骨干网、接入网。Louvain 社群发现算法在拓扑图上运行后,网元自动划分为若干"网络域"——每个域内部连接密集,域之间连接稀疏。这个分群结果在故障自愈中有两个应用:第一,故障域隔离——当故障发生在某个域内时,自愈系统首先尝试在域内恢复(域内备用路径切换),避免跨域影响扩大;第二,跨域故障升级——如果域内自愈无法恢复,自动升级到跨域自愈流程,调用跨域备用资源。Louvain 分群作为节点属性持久化在图数据库中——故障发生时直接读取,不需要实时计算。

大模型做故障归因与自愈方案生成。 当根因定位完成后,大模型在 GraphRAG 架构下做故障归因推理——从图数据库中提取根因网元的完整上下文:设备型号、厂商、运行时长、近期变更记录、历史故障记录、上下游拓扑。大模型综合这些信息生成故障归因报告——"交换机 S(型号 XX-HK7800,厂商华为,运行 1247 天)于 02:17:03 发生故障,根因为光模块温度过高(当前 78°C,阈值 70°C),该设备近 30 天温度趋势持续上升,推测为散热风扇老化。历史同类故障 23 次,其中 19 次通过更换光模块解决,4 次通过降频运行临时恢复。"大模型不仅指出根因,还给出修复建议和优先级——"建议立即执行降频运行(可远程操作,预计 3 分钟恢复业务),同时派工程师携带光模块现场更换(预计 2 小时到达)。"

GraphRAG 的自愈执行报告。 自愈系统执行恢复操作后,GraphRAG 生成完整的自愈执行报告——"02:17:03 交换机 S 故障触发告警风暴(4700 条)。根因定位:S 光模块温度过高(78°C)。影响范围:200 基站、48 万用户、3 类切片业务。自愈决策:执行降频运行 + 路径切换。执行结果:02:17:08 降频命令下发,02:17:11 S 恢复服务,02:17:14 全部 200 基站恢复,02:17:18 业务指标恢复正常。总恢复时间 15 秒。根因设备待现场更换光模块。"这份报告每一步都有图数据库中的遍历路径和算法结果作为依据——不是黑盒自愈,而是白盒可审计的恢复过程。

四、实战场景:网络故障自愈的落地

场景一:5G 核心网网元故障自愈。 5G 核心网采用服务化架构——AMF、SMF、UPF、PCF 等网元以微服务方式部署,网元之间存在大量服务调用依赖。当某个 AMF 实例故障时,影响通过服务调用链传播——AMF→SMF→UPF→用户业务。图数据库建模核心网的服务调用图为"网元→调用→网元"的有向图,故障传播沿调用链追踪。自愈系统在 AMF 故障时,沿图查找 AMF 的备用实例——5G 核心网通常部署 AMF 池(AMF Pool),池内其他实例可以接管故障 AMF 的用户会话。系统沿图遍历确认备用 AMF 的容量和状态,自动触发会话迁移——用户无感知地被切换到备用 AMF,业务不中断。某运营商 5G 核心网部署图驱动自愈后,网元单点故障的用户感知中断率从 12% 降至 0.3%——97% 的单点故障对用户完全透明。

场景二:传输网光缆中断自愈。 光缆中断是传输网最常见的故障——施工挖断、车辆撞断、自然灾害。一条骨干光缆中断可能影响数百条业务链路。图数据库建模传输网为"站点→光纤段→站点"的物理拓扑图和"业务→逻辑通道→光纤段"的业务承载图。当光纤段 F 中断时,系统沿业务承载图查找 F 上承载的所有业务通道,沿物理拓扑图搜索替代路由(SDH/MSTP 网络的环保护、OTN 网络的 ASON 重路由)。图遍历找到替代路径后,自愈引擎下发重路由命令——业务在秒级切换到备用路由。某省干传输网部署图驱动自愈后,光缆中断的业务恢复时间从 30-60 分钟(人工切配)降至 3-8 秒(自动重路由)。

场景三:基站集群故障自愈。 当某区域出现基站集群故障(自然灾害、大面积停电)时,影响范围大、恢复复杂。图数据库建模基站集群的拓扑关系——基站→小区→覆盖区域→邻区关系。当 50 个基站同时故障时,系统沿邻区关系图分析影响——哪些区域失去覆盖、哪些邻区基站可以临时扩容承接业务、哪些区域需要应急通信车支援。自愈系统根据图遍历结果自动生成恢复优先级排序——优先恢复覆盖高价值用户区域(CBD)的基站,调度应急通信车到影响最大的盲区。某地市运营商在台风灾害中部署图驱动自愈后,50 个基站集群故障的恢复时间从 6 小时降至 1.5 小时——图算法的恢复优先级排序让有限的人力物力发挥了最大效果。

五、悦数图数据库的核心支撑

网络故障自愈对图数据库提出了四项硬性要求,悦数在每一项上有明确的工程支撑。

亿级多跳百毫秒故障传播追踪。 电信网络的规模随网元数量增长——十万级网元节点、百万级链路和依赖边、十万级告警边。故障传播追踪的核心操作是 3-5 跳反向遍历定位根因——在十万级图上遍历数千节点。悦数的分布式存储和并行查询引擎在十万级网元规模下保持 3 跳根因定位百毫秒级响应——告警风暴发生后的 1 秒内,根因定位结果输出。存算分离架构让告警边持续写入(高峰期每秒数千条告警写入)和根因遍历查询并行进行——告警写入不阻塞根因查询,查询不受告警洪峰影响。根因定位的实时性是自愈的前提——1 秒定位根因,才能在 90 秒内完成全链路自愈。

动态 Schema 兼容多厂商网络设备。 电信网络是多厂商环境——华为、中兴、爱立信、诺基亚、思科的设备混合组网,每家厂商的网元数据模型不同——华为的告警字段有 47 个,中兴的有 35 个,爱立信的有 52 个。悦数动态 Schema 允许为每家厂商定义不同的网元属性模板——所有厂商的网元在同一个图空间中并存,但各自携带不同的属性集。新增一家厂商的设备(比如引入国产化白盒交换机)只需要定义新的 Schema 模板,不需要重建图——网络拓扑随设备演进持续扩展。

内置 PageRank 与最短路径自愈算法。 故障自愈不是简单的"多跳遍历"——它需要图算法识别关键节点和搜索最优恢复路径。悦数图数据库内置 PageRank、最短路径、Louvain 社群发现、介数中心性等核心图算法,直接在引擎层执行——网络关键节点识别、最优恢复路由搜索、网络域划分、故障桥梁发现,一条 nGQL 语句即可获得算法结果,与拓扑遍历结果融合输出。自愈系统不需要维护独立的图算法计算平台——算法和查询在同一引擎中完成,数据零拷贝,自愈决策实时。

Text2nGQL 自然语言故障查询。 运维工程师在故障处理过程中需要灵活查询网络拓扑和故障信息——"交换机 S 下游连了哪些基站""基站 B3 上的 5G 切片业务当前状态""从 S 到 H 有哪些可用替代路径"。这些查询用 nGQL 写可能超过 20 行。Text2nGQL 把自然语言翻译为图查询——运维工程师用自然语言描述查询意图,系统自动翻译为多跳遍历 + 属性过滤 + 路径搜索的复合查询语句。故障排查从"查文档写 SQL"降到"问一句话得结果"——运维效率提升数倍。

电信网络的本质是一张拓扑图——网元是节点,链路是边,故障传播是图上的多跳遍历,根因定位是图上的源节点搜索,业务恢复是图上的路径搜索。传统运维把网络拆成一行行设备记录,用告警列表做故障管理——拓扑关系在拆分过程中丢失了。图数据库保存的不是设备记录,而是拓扑关系——每条链路、每个依赖、每次告警传播,都作为图上的边被记录和遍历。当运维系统终于能在图数据库上看到完整的网络拓扑,故障自愈才真正从"人工经验"走向"图计算驱动"——不再凭记忆猜根因,而是沿图遍历定位根因;不再人工切配恢复路径,而是图算法搜索最优路由;不再故障后救火,而是图趋势预测预防性自愈。网络运维画在图数据库上,故障自愈才真正有了导航仪。