数据库分库分表经验:踩坑经历与避坑指南
说实话,一提到分库分表,我脑子里第一反应就是那些年熬过的夜、背过的锅。您是不是也遇到过这种情况?单表数据刚过千万,查询就开始变慢;等到了五千万,连加个索引都卡半天。业务方催着要数据,DBA 说再等等,老板问为什么系统这么慢——最后压力全落在我们开发身上。
我在这个行业摸爬滚打十来年,分库分表这件事,踩过的坑比吃过的饭还多。今天咱们不聊虚的,就聊聊那些真实踩过的坑,以及怎么绕过去。
一、什么时候该分?别为了分而分
坦白讲,我见过太多团队一上来就搞分库分表,结果业务量根本没到那个级别,反而把自己搞得焦头烂额。您猜怎么着?维护成本翻了三倍,性能却没提升多少。
我的经验是:单表数据量超过 2000 万,或者单库磁盘空间超过 1TB,再考虑分。但这不是死标准。拿我们之前一个订单系统来说,表里只有 800 万数据,但每天写入量特别大,高峰期每秒 5000 条插入。这种情况,哪怕数据量没到 2000 万,也得提前规划。
还有一个容易被忽略的点——读写比例。如果读远大于写,先考虑加从库、加缓存。分库分表是最后的手段,不是第一选择。您要是连索引都没优化好就想着分表,那分完之后只会更乱。
二、分片键选错,后面全是坑
说到分片键,我必须得吐槽一下。曾经有个项目,团队选了“用户 ID”做分片键,听起来挺合理对吧?结果运营那边要按“订单创建时间”查最近一周的数据,完了,每个分片都得扫一遍。这叫“全路由查询”,性能直接回到解放前。
选分片键,核心就一条:让 80% 的查询都能带上这个键。比如说,您做的是 SaaS 系统,那“租户 ID”就是天然的分片键。所有查询都带租户条件,跨分片查询几乎不存在。
但现实往往没那么完美。这时候怎么办?我们常用的办法是“基因法”。举个例子,订单表按“用户 ID”分片,但运营经常按“订单号”查。那就在生成订单号的时候,把用户 ID 的后几位编进去。这样通过订单号也能定位到分片,不用全表扫描。
还有一点要提醒您:分片键一旦选定,后期修改成本极高。我们曾经为了改一个分片键,整整停机迁移了 36 小时。那滋味,真不想再经历第二次。
三、跨分片查询和事务,能避则避
分库分表之后,跨分片查询和分布式事务就是两个绕不开的坎。说实话,这两个问题没有银弹,只能尽量规避。
跨分片查询,我们的做法是冗余数据。比如订单表按用户分片,但后台需要按商品统计销量。那我们就额外建一张“商品销量汇总表”,通过异步消息更新。查询的时候直接查汇总表,不用跨分片。数据延迟?当然有,但业务能接受。您得跟业务方聊清楚:是要实时准确,还是要快速响应?大部分场景下,秒级延迟完全没问题。
分布式事务更麻烦。我们的原则是:能不用就不用。拿转账来说,与其搞两阶段提交,不如把转账拆成“先扣款、再入账”两个本地事务,中间用消息队列保证最终一致。虽然有一小段时间数据不一致,但整体可用性高得多。您想想,是偶尔对不上账让人崩溃,还是系统直接不可用更让人崩溃?显然是后者。
如果实在避不开强一致,那就老老实实上 Seata 这类框架。但性能损耗至少 30%,这个账您得提前算清楚。
四、扩容和运维,别等出事才想
分库分表最怕什么?最怕扩容。我们早期用“取模”分片,从 4 个库扩到 8 个库,几乎全部数据都要迁移。那段时间,运维兄弟直接睡在公司。
后来学乖了,改用一致性哈希或者预分片。预分片就是一开始就分 32 个库,但实际只用 4 个。扩容的时候直接把剩下的库用起来,数据迁移量小得多。比如说,您预估三年后数据量会翻十倍,那就直接分成 64 片,前期每 8 片放在一个物理库上。扩容时拆开就行,不用动数据。
运维方面,一定要提前做好监控和告警。我们现在的做法是:每个分片的 QPS、慢查询数、连接数都实时监控。一旦某个分片出现热点,立刻告警。您别等到用户投诉了才发现问题,那时候已经晚了。
总结:分库分表是手段,不是目的
聊了这么多,其实核心就一句话:分库分表是为了解决特定问题,不是为了炫技。如果您现在的系统还能撑住,那就先优化索引、加缓存、读写分离。实在撑不住了,再考虑分。
真要分的时候,记住三个原则:分片键选对、跨分片查询能避则避、扩容方案提前设计。这三个坑,我们每一个都踩过,每一个都疼得要命。
如果您正在规划分库分表,或者已经被现有方案折磨得不行,不妨先停下来,把业务场景和查询模式列清楚。别急着动手,想明白了再干。毕竟,数据迁移这件事,做一次就够了,做两次真的会疯。
您要是想聊聊具体场景怎么设计,欢迎随时找我。咱们一起把坑填平,让后来的人走得顺一点。