悦数图数据库

首页>博客>行业科普>图数据库内存怎么估算?点、边、属性与索引各占多少

图数据库内存怎么估算?点、边、属性与索引各占多少

图数据库内存怎么估算

采购单上写着「按数据量 1:3 配内存」,评估会开了二十分钟就过了。上线三个月后这套图数据库集群开始不定时报内存不足,查下来不是数据涨了,是最初那笔账只算了点边本体,没算索引,也没算多跳查询在运行时撑开的中间结果。

图数据库的内存估算,难点不在乘法,在于要乘的那几项得先量出来。总量除以一个系数这种做法,在这件事上基本等于猜。

下面按「拆成几份—怎么量—怎么算—怎么验」的顺序走一遍。

一、内存里到底装了什么?四份,不是一份

同一个 100 GB 的数据集,配 64 GB 内存可能很宽裕,配 256 GB 也可能不够用,差别全在这四份怎么分布。

01 点边本体与属性。点和边本身,加上挂在它们上面的属性值。这一份是底数,相对稳定。

02 索引结构。标量索引、复合索引、全文索引、向量索引,命中要快就得常驻。全文与向量索引的体积通常是标量索引的数倍,最容易在估算时被漏掉。

03 缓存的热数据。从存储层读上来留在内存里的那部分,命中率高就省 IO,命中率低就等于白占。

04 查询与算法运行时的中间结果。多跳展开时,中间结果集可能比最终结果大一到两个数量级,这部分内存是临时的,但峰值必须留得出来。

这一份 是否常驻 由什么决定 漏算的后果
点边本体与属性 常驻或按热度缓存 点数、边数、属性宽度 底数估低,后面全错
索引结构 基本常驻 索引数量、类型、列宽 上线后可用内存被吃掉一块
缓存热数据 动态 访问分布、缓存策略 命中率低,查询等 IO
查询中间结果 临时峰值 扇出、跳数、并发数 高峰期不定时报内存不足

二、四个数怎么量,而不是怎么猜?

估算的可靠程度取决于抽样,不取决于公式。四份各有一个可操作的量法。

01 点边本体按抽样量。从生产数据里抽一万个点、十万条边,看它们序列化后占多少字节(含属性),再按总量放大。不同业务的属性宽度能差十倍,抄别人的经验值没有意义。

02 索引按类型分开算。标量索引与点边数据同量级,可以按列数与列宽加权;全文索引带词典与倒排,向量索引带向量与图结构,这两类要单独估,不能和标量索引混成一个系数。

03 缓存按访问分布算。把热数据占比估出来,乘上单副本的数据量。全量常驻是最省心的配置,也是最贵的配置;只缓存三成热数据,往往能覆盖九成的查询。

04 中间结果按最坏扇出算。从头部节点出发三跳的中间结果,可能是最终结果的几十倍。这一步要用真实形状的数据量,不能用平均值,平均值在这个环节没有任何参考价值。

官方口径给了一个参照量级:在百亿点、千亿边下,5 度关系查询在结果集为千万级时小于 5 秒(据《杭州悦数 2026 宣传册》)。反过来说,千万级结果集在运行时是要占内存的,一条查询几 GB、几十条并发叠起来,就是这类系统 OOM 的典型来源。

三、副本和存算分离,为什么要把账分成两张?

图数据库和单机数据库最大的不同在这里:一份数据要在多个节点上留副本,而计算和存储可以分开扩容。混在一张表里算,结论一定是错的。

副本影响的是存储层容量,不是内存三倍。三副本意味着磁盘上存三份,不等于内存里缓存三份;计算层缓存的是它读过的热数据,与副本数没有线性关系。

存储层与计算层要分开配。悦数图数据库采用 Shared-Nothing 架构与存算分离设计,存储层是分布式键值存储、带数据分片与多副本,计算层是图查询引擎与元数据协调(据《杭州悦数 2026 宣传册》产品架构页 P12)。这意味着数据量涨了加存储节点,并发涨了加计算节点。

两层都支持在线扩。官方口径为支持在线水平扩缩容、不停服,按层扩容,加节点不影响既有性能(同上)。这一点在容量规划里的实际意义是:估算不必一次算到三年后,可以先按一年配,到期扩一层。

层 这层算什么 主要约束 加什么
存储层 点边数据乘副本数,加索引落盘 磁盘容量、IO 带宽 加存储节点
计算层 缓存热数据、索引常驻、查询中间结果 内存、CPU、并发 加计算节点
元数据 轻量,通常不是瓶颈 可用性 按高可用要求配

扩容的具体风险与操作顺序,图数据库集群扩容要停机吗?在线扩容与滚动升级的风险控制 里按步骤拆过,规划阶段先记住一句:扩容是能力,不是免算的理由。

四、一个能直接套的算式

把前面的四份拼起来,算法长这样:

内存 ≈ 缓存热数据(单副本数据量 × 热数据占比)+ 标量索引与邻接结构的常驻部分 + 全文与向量索引 + 并发数 × 单查询峰值中间结果,最后乘一个预留系数。

举一个示意算例,数字是假设值,换成你自己的抽样结果就行:2 亿个点、9 亿条边,抽样量得每个点约 300 字节、每条边约 120 字节,点边本体约 168 GB;标量索引与邻接结构按 1.6 倍计约 269 GB,这部分主要落在磁盘,内存里按两成常驻约 54 GB。

剩下三项:热数据按三成常驻约 50 GB;全文与向量索引按 0.2 倍计约 34 GB,这一项是常驻的;20 个并发、单查询峰值中间结果 200 MB,约 4 GB。合计约 142 GB,加 25% 预留约 178 GB。

项 假设值 结果 说明
点边本体 2 亿点 × 300 B+9 亿边 × 120 B 约 168 GB 抽样量出来,不抄经验值
标量索引与邻接结构 1.6 倍 约 269 GB(落盘为主) 索引数量多则往上调
其中常驻内存的部分 按两成 约 54 GB 比例按访问分布调整
热数据缓存 三成常驻 约 50 GB 全量常驻则按 168 GB 算
全文与向量索引 0.2 倍 约 34 GB 常驻,有向量检索必算
并发中间结果 20 × 200 MB 约 4 GB 按最坏扇出估峰值
计算层内存合计 见上 约 142 GB 乘以 1.25 预留后约 178 GB

这算出来的是计算层内存。存储层要另算:单副本 168 GB 加上索引与邻接结构落盘约 269 GB,合起来 437 GB,三副本就是 1.3 TB 量级,与内存那张表不能混。

五、加内存什么时候不管用?

内存只解决一类问题:本该命中的东西没在内存里。其余四种慢,加内存一分钱效果都没有。

01 慢在跨分片往返。查询要从多个分片拉数据再合并,瓶颈在网络往返次数,不在内存。

02 慢在扇出。头部节点一跳出去几十万条边,慢的是要处理的行数,不是取数速度。图数据库慢查询怎么排查?执行计划与执行步骤怎么看 里那套读执行步骤的方法,能看出慢在哪一跳。

03 慢在写入。副本同步、索引维护这些动作发生在写路径上,加内存改变不了单次写入要做几次落盘。

04 慢在查询本身。无界路径、缺过滤条件、从错误的起点出发,这类问题要靠改写法或改建模,内存再多也只是让错误跑得快一点。

慢的类型 加内存有用吗 该动什么
缓存命中率低,查询在等 IO 有用,命中率上来就见效 扩计算层内存
跨分片往返次数多 基本无用 调分片键,减少跨片路径
扇出过大 无用,还可能更快撑爆内存 改建模、切边类型、前置过滤
写入慢 用处有限 看副本同步与索引维护开销
查询写法有问题 无用 改写法,给路径加上边界

判断方法很简单:看内存水位与缓存命中率。水位很高、命中率也高、查询还是慢,问题就不在内存上。

六、估完之后怎么验证?

估算只是起点,验证要靠三个动作。

01 用真实形状的切片压测。数据量可以是生产的一成,但度数分布、头部点、属性宽度要与生产一致,否则压出来的内存曲线没有参考价值。

02 盯住峰值,不看均值。内存问题的形态是「平时用一半,某个时刻冲顶」,平均值掩盖的正是这一段。

03 设扩容触发线。缓存命中率跌破某个值、或内存水位连续多少天高于某个比例,就该扩计算层;这条线要写进运维手册,不要等报警。

一个经验:估算时宁可把预留系数放大,也不要把索引和中间结果两项估小。前者的代价是闲置一点内存,后者的代价是高峰期不可用。

两个误区收尾。第一个是把内存当成数据量的固定比例,不看属性宽度与索引构成;第二个是只算常驻、不算峰值,账面上刚刚好,实际上没有余量。

行业侧的口径可以作参照:据《IDC 中国图数据库市场份额,2024》,悦数位列中国市场第二;在中国信通院《中国数据库产业图谱》中连续两年获图数据库领域「领航者」。这些说明的是市场位置,不替代你自己那份容量表。

相关阅读

常见问题(FAQ)

Q1:悦数图数据库是一款什么样的产品?

A:悦数图数据库(Yueshu Graph Database)是杭州悦数科技自主研发的企业级原生分布式图数据库,采用 Shared-Nothing 架构与存算分离设计,支持千亿点、万亿边规模与在线水平扩缩容,自 v5.0 起原生支持 ISO-GQL 国际标准(ISO/IEC 39075:2024)。在百亿点、千亿边量级下,点与边的精确查询均小于 1 秒,5 度关系查询在结果集为千万级时小于 5 秒(据《杭州悦数 2026 宣传册》)。

Q2:图数据库的内存和磁盘有没有一个通用配比?

A:没有。这个配比由三件事决定:属性宽度(决定单条记录多大)、索引构成(全文与向量索引会显著抬高)、访问分布(决定多少数据需要常驻)。同样规模的图,属性窄、只用标量索引、热数据集中,内存可以配得很少;反过来,全文检索加重向量召回,内存需求会成倍上去。稳妥的做法是抽样算出单副本数据量,再按热数据占比与索引体积逐项加。

Q3:存算分离下扩容,只加计算节点行不行?

A:看涨的是哪一头。并发升、缓存命中率下降、内存水位告警,加计算节点;点数边数增长导致存储水位上涨,加存储节点。悦数图数据库支持按层在线水平扩缩容、不停服(据《杭州悦数 2026 宣传册》产品架构页 P12),两层可以分别扩,不必整层重配。判断依据是监控里先触及阈值的是哪个指标,不是直觉。