在一次 B 端批量生成 499 条业务物料(如设备识别码)的压测中,系统抛出了一个看似极度反常的数据库异常:
Duplicate entry 'QL000000g6Hr' for key 'accom_psb_alipay_nfc.PRIMARY'
更奇怪的是:
- 目标表当前是一张空表,记录数为 0;
- 内存防重检查完全通过:代码在组装实体时用
Set<String>严格过滤过,499 个字符串全量互斥,绝无重复; - 不论怎么调整发号器配置都无济于事:将号段步长从 20 调大到 200,将异步预取的
CHAIN模式切换为同步阻塞的SEGMENT模式,每次批量写入依然在同一批次内精确暴毙。
既然 Java 内存中的 499 个 String 各不相同,表中原本又是空的,MySQL 为什么会报主键冲突?
一、 直觉的盲区:以为是发号器的“锅”
排查初期,最容易产生的直觉是分布式 ID 生成器的发号异常或并发竞态:
- 猜想 1:单次批量太大,号段步长(step)太小?
默认step: 20,单次发 499 个号需要频繁向 DB/Redis 换取 25 次新号段,是否跨号段时发生了重复?
验证:把步长调大到 200 甚至更大,问题依旧。 - 猜想 2:CosId 的
CHAIN链式异步预取存在线程竞争?
是否后台 Prefetch 线程与业务调用线程在链表移动时指针踩踏?
验证:切换为最简单的同步阻塞式SEGMENT模式,问题依旧。 - 猜想 3:长事务或批量持久化(
saveBatch)导致脏读/并发读?
验证:将 ID 分配全过程移出@Transactional大事务,在普通循环中提前为 List 赋予全局唯一 ID,依然报错。
此时必须停下来反思:所有针对“取号过程”的怀疑全被推翻了。如果取出来的 ID 在 Java 进程内确实个个不同,那冲突只能发生在数据交付给 MySQL 的瞬间。
二、 拨开迷雾:两个系统对“相等”的定义错位
问题的根本,出在 Java 应用层与 MySQL 存储层对“字符串相等”的判定标准完全脱节。
1. CosId 的 62 进制编码规则
业务为了缩短主键长度,配置了 CosId 的短码转换器:
converter:
prefix: "QL"
type: radix
radix:
pad-start: true
char-size: 10
type: radix 对应 CosId 的 62 进制(Radix62)。它的字符字典由 62 个字符组成:
0 - 9(10 个数字)A - Z(26 个大写字母,字典索引 10 ~ 35)a - z(26 个小写字母,字典索引 36 ~ 61)
2. MySQL 表默认的字符集校验规则(Collation)
查看表的字段定义发现,id varchar(64) 默认继承了数据库的排序规则:
`id` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci
请格外注意后缀 _ci:它代表 Case-Insensitive(大小写不敏感)。
在 MySQL 的 _ci 规则下:
$$\text{‘A’} = \text{‘a’}, \quad \text{‘B’} = \text{‘b’}, \quad \dots, \quad \text{‘Z’} = \text{‘z’}$$
3. 碰撞推导:仅相差 26,就会发生等价碰撞
在 62 进制下,末位字符是由 id % 62 决定的:
第 N 个 ID:... 末位字符为 'A' (值 10) -> 例如 QL000000g6JA
递增 26 之后:
第 N+26个 ID:... 末位字符为 'a' (值 36) -> 例如 QL000000g6Ja
注意:两者的十进制数值仅仅相差 26,前 9 位高位完全一模一样,只有最后 1 位一个是 'A',一个是 'a'。
- 在 Java 虚拟机里:
"QL000000g6JA".equals("QL000000g6Ja")为false。内存防重HashSet自然认为它们是两笔完全不同的合法数据。 - 在 MySQL 引擎里:
由于utf8mb4_unicode_ci大小写不敏感,执行INSERT时,MySQL 判定'QL000000g6JA'与'QL000000g6Ja'完全相等!
经程序模拟实测:在 500 个连续生成的 62 进制 ID 序列中,因为末位与次末位的大小写交替,在 MySQL _ci 比较下会产生整整 194 次主键冲突!
这就是为什么只要单次批量写入超过 26 条,MySQL 批量插入就几乎必定触发主键唯一索引冲突!
三、 官方警示与源码反思
其实,CosId 官方在 Radix62IdConverter.java 的类注释顶部早已给出了醒目提示:
“If you use the string ID generated by this ID converter as the database primary key, you must set the primary key case-sensitive.”
(如果你使用本转换器生成的字符串 ID 作为数据库主键,你必须将数据库主键设置为大小写敏感!)
我们在引入第三方类库的某种特性(如 62 进制压缩短码)时,如果只关注了它“生成短字符、视觉紧凑”的优点,却遗漏了它依赖的底层环境前置约束(大小写敏感),就会在集成阶段付出沉重的排查成本。
四、 两种破局方案
解决这一物理层面的冲突,通常有两种路径:
路径 A:修正数据库字段为大小写敏感(推荐保留 62 进制短码)
如果你希望维持 12 位紧凑短码设计,标准做法是将主键列的排序规则改为二进制精确比较 utf8mb4_bin:
-- 将主键字段调整为大小写敏感的 utf8mb4_bin
ALTER TABLE accom_psb_alipay_nfc
MODIFY COLUMN id VARCHAR(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT 'NFC全局唯一主键';
- 优点:无需改动任何业务代码与发号器配置,原生支持 62 进制短码,且二进制比较在 MySQL 中具有极高的索引比对性能。
路径 B:修改发号器配置,改用 36 进制(radix36)
如果数据库表结构受限无法随意执行 DDL,可以直接将 CosId 的编码字典由 62 进制收敛为 36 进制(Radix36):
accom_psb_alipay_nfc:
offset: 10000000
step: 100
converter:
prefix: "QL"
type: radix36
radix36:
pad-start: true
char-size: 10
- ID 样式:
QL000005Z2OO(纯数字 + 大写英文字母0-9, A-Z,无小写字母)。 - 优点:由于字符集只包含大写字母,天然在
utf8mb4_unicode_ci下没有任何大小写歧义,零冲突。
踩坑细节提示:
在 CosId Spring Boot starter 中,Radix与Radix36是两个完全独立的配置对象。当type: radix36时,子配置项键名必须是radix36:而非radix:。若误写为radix:,Spring Boot 属性绑定将无法给radix36的charSize赋值,导致启动校验抛出参数异常。
五、 结语
跨系统交互中,“隐式假设的不一致”往往是最难定位的 Bug 之一:
- Java 进程认为字符串比较由
char数组严格对齐决定; - MySQL 却因 Collation 规则在幕后做着大小写折叠。
当你在数据库中存储包含大小写字母的紧凑唯一标识(Base62、UUID 压缩码、短链 Hash)作为主键或唯一索引时,切记先看一眼这张表的 Collation 是否是 _bin。