秒级克隆、零拷贝沙箱不止 LakebasePostgreSQL 18 迎来瞬时分支能力1、为什么 AI 时代大家疯狂需要瞬时分支随着 RAG、AI Agent、自动 SQL 生成、模型特征迭代普及研发模式发生巨大变化AI 经常自动执行数据变更、批量更新、DDL 迁移一旦出错极易污染基准数据集算法团队需要并行做多组 Prompt A/B 测试、特征版本实验每组都想要一份独立、和生产一致的数据环境CI/CD、PR 自动化测试希望每次启动都拥有干净基线数据传统方案pg_dump、全量物理克隆TB 级数据库动辄数十分钟同时占用双倍存储空间成本和时延无法承受。2、PostgreSQL 18 原生具备瞬时克隆能力不少开发者存在误区瞬时分支 湖仓专属特性。伴随 PostgreSQL 18 正式发布新增配置file_copy_method clone原生支持文件系统层零拷贝瞬时数据库克隆实现类似 Lakebase 的使用体验。底层依托现代文件系统能力ZFS、XFS reflink、APFS执行CREATE DATABASE ... TEMPLATE时不再逐块复制文件通过文件系统重链接机制共享原始数据块只有当克隆库内部产生数据修改才触发块复制写时复制。数十 GB、上百 GB 数据库同样实现秒级创建初始几乎不占用额外磁盘空间。2.1使用方法目前主要是 CREATE DATABASE ... STRATEGYFILE_COPY 和 ALTER DATABASE ... SET TABLESPACE ...使用。早期版本CREATE DATABASEnewdbTEMPLATEtemplate1;创建新databse时启动模板库快照逐个扫描所有表、索引、序列生成创建对象 复制数据的 WAL 日志通过 WAL 重建到新数据库缺点大库克隆极慢大量 WAL 生成、CPU 开销高。PgSQL18中语法CREATE DATABASE newdb TEMPLATE template_src STRATEGY { LOGICAL | FILE_COPY };其中STRATEGYLOGICAL默认行为兼容旧版本WAL 逻辑复制方式STRATEGYFILE_COPY物理文件拷贝模式新增FILE_COPY 核心原理在文件系统层面直接复制模板数据库对应的 base/OID 整个目录文件跳过 SQL 层、跳过 WAL 生成。前提约束非常重要模板数据库必须处于静止状态创建期间不允许写入PG 会自动对模板库加 AccessExclusiveLock阻塞所有 DML/DDL。仅支持同一表空间内复制重点FILE_COPY 不能跨表空间如果模板库在 tablespace A你想新建库放到 tablespace BFILE_COPY 会直接失效强制回退到 LOGICAL 模式。不支持带有 UNLOGGED 对象的模板库未提交PG18 正式版限制复制完成后更新 pg_database、更新文件内部元数据relfilenode、数据库 OID 等内部标记。2.2原理主要是copydir函数的调用当配置项为file_copy_method clone时就会调用clone_file函数实现克隆。clone_file函数也分为macOs和Linux操作系统Btrfs、XFS Linux 5.3、ZFS等。macOs中COPYFILE_CLONE_FORCE标志要求内核必须通过 APFS 的写时复制(reflink)机制完成,如果文件系统不支持克隆则直接失败,而不会静默退化为普通拷贝。Linux系统需要手动打开源/目标文件描述符,再循环调用copy_file_range()打开源文件:只读方式打开 fromfile 。创建目标文件:以 O_WRONLY | O_CREAT | O_EXCL 打开 tofile,O_EXCL 保证目标文件不能预先存在,避免覆盖已有文件 。循环拷贝:每次最多拷贝 1MB(1024 * 1024),而不是一次性拷贝整个文件。这样做的原因是保证 CHECK_FOR_INTERRUPTS() 能及时响应取消信号——尤其是当底层文件系统不支持真正的 reflink、copy_file_range()退化为内核态逐字节拷贝时,大文件可能耗时较长。与分支一不同,copy_file_range() 本身不保证一定做reflink该函数只修改元数据不进行拷贝——如果底层文件系统不支持共享块,内核会自动退化为普通的内核态数据拷贝。这也是为什么后端选用 copy_file_range() 而非 Linux 的 FICLONE ioctl(后者若不支持会直接失败,语义等价于强制克隆),因为 copydir() 只是希望尽量利用克隆优化,即使退化也应正常工作。craetedb函数在进行创建database时不允许模板库上有连接以免拷贝到不一致数据3、总结1COW层级文件系统块级OS 层 reflink做到了零拷贝和不占用空间。但是需要遍历所有文件以1MB为单位进行reflink如果database很大这个花费的时间就可能不是秒级能完成的了。它的分支能力相当于完全由文件系统来掌控数据库这边控制不了2分支粒度单个database级别的并且仅限同一个 Postgres 实例内部创建数据库克隆库和模板库共享 PG 实例资源资源争抢。3对生产库的影响必须踢掉源库上所有连接。这个对现实创建分支场景中限制很大。当然他还会对模板库加上排他锁这个进一步确保阻塞读写4时间旅行仅支持克隆发起瞬间的一致性快照不能回溯历史任意时间点。尽管有这些限制但PgSQL也算在紧跟AI时代可能后面他的分支功能会更加完善也说不定。
)
