要点
- 三件东西搭起全部流程:
make 按内容定义分块写进 store 并产出 .caibx 索引,extract 拿本地旧文件当 seed 只下载缺块,服务端不参与任何计算。 - 与 rsync 的分界在服务端:rsync 要两端都是活文件系统且由服务端算 delta;desync 是「发布一次、任意旧版本客户端自取差集」,store 退化成普通静态目录,能扛 CDN。
- 适用面是整件分发(镜像、根文件系统、目录树),不适合压缩/加密载荷(改一字节全变)、也不承担
fileId → version → 索引 这类元数据职责。
命令速查
按任务
发布新版本
- 先建目录:
mkdir -p /srv/store,store 与 cache 都不会被自动创建。 desync make -s /srv/store v2.img.caibx v2.img;-n -1 按 CPU 并行分块、传输按网络自适应,-m 16:64:256 改块大小(KB)。- 每版推进同一个 store,旧块自动复用;
du -sh /srv/store 只增长差额,砍历史靠 prune。
客户端冷装与增量
- 冷装时给
-c 一份本地缓存,下次换版本能少下。 - 增量只要
--seed v1.img.caibx,前提是同名的 v1.img 就在索引旁边;放在别处用 --seed v1.img.caibx:/path/v1.img。 - 多个旧版本可给多个
--seed,或 --seed-dir 一把带上整目录的索引。
估算一次更新的下载量
- 服务端
desync inspect-chunks -s /srv/store v2.img.caibx chunks.json,把该文件发布出去。 - 客户端
desync info --seed v1.img.caibx --chunks-info chunks.json --format=json v2.img.caibx。 - 读
dedup-size-not-in-seed-nor-cache-compressed(压缩态)或 -dedup-size-not-in-seed-nor-cache(未压缩态)。
服务端与边缘缓存
- 纯静态托管已经够用:
python3 -m http.server 或 nginx 指向 store 目录即可被 extract 消费。 - 需要代理或加密传输时用
chunk-server:-s 上游、-c 本地缓存、-l :8080,站点里块只穿 WAN 一次。 - 长跑进程用
--store-file 加 SIGHUP 换上游,不必重启;--authorization 可要求固定 Authorization 头。
校验与回收
desync verify-index v1.img.caibx v1.img 确认索引与文件对得上。desync verify -s /srv/store 扫块;-r 删除校验失败的块,之后再 cache 补回。prune 只按传入索引做可达性判断,删前先把要保留的历史索引凑齐。
原地更新与块设备
- 单副本设备:
desync extract -k -s /mnt/store --seed v1.img.caibx:/dev/sdc v2.img.caibx /dev/sdc,已在正确位置的块不写,挪位的块在目标内部重排。 - 内部重排会把部分块暂存在内存,用
GOMEMLIMIT=256MiB 设上限,装不下的回 store 取。
参数与输出
块文件落在 store 里是 <前两位哈希>/<完整哈希>.cacnk,zstd 压缩;开加密后后缀变成 .cacnk.xchacha20-poly1305-<keyid>,块名仍是明文哈希。索引约 40 字节/块,256MB 镜像约 130KB。
口径:本机 macOS arm64、desync v1.1.5、256MB 镜像(含 64MB 全零区)三个版本。
边界
- 去重率不等于改动量:实测约 8MB 改动要下 15.3MB,改写点周围会重新切块。
- 压缩或加密载荷几乎不去重:要增量就先把去重放在未压缩层,别再套一层压缩/加密。
--digest 一次定死:同一 store 混用 sha256 与 sha512-256 会把同一份内容存两遍(实测 3067 + 3119 → 6186 块)。prune 是破坏性的:漏传一个旧索引,那个版本就永久缺块,提取时直接报 chunk ... missing from store。- 加密只护块内容:块名与索引仍是明文,元数据(块 ID、大小、偏移)可被观察。
- reflink 只在 btrfs/xfs:APFS 上退化为拷贝,只省网络与 CPU,不省磁盘。
- casync 只兼容格式不兼容命令行:参数不同;反向用
CASYNC_REMOTE_PATH=desync 让 casync 走 SSH 只读取块。 mount-index 依赖系统 FUSE:缺 macFUSE 时报 no FUSE mount utility found,命令存在但不可用。- macOS 导出 catar 到 GNU tar 流会失败:带 xattr 时
untar --output-format=gnu-tar 报 PAX 头错误,这一步放 Linux 侧做。 - 元数据要自建:索引、版本表、权限、保留策略都在 desync 之外。
参考