求助下运维大佬关于存储文件 rsync 拷贝到硬盘，文件为什么变大了

This topic created in 2153 days ago, the information mentioned may be changed or developed.

事情是这样的，周末加班

原存储上 800G 的备份文件（冷备文件），因为设备授权问题，需要拷贝出来，于是乎买了几块硬盘做成了 raid，空间 2T，想着应该错错有余了吧，结果 rsync 一晚上，现在 2T 硬盘占满了，文件还没拷贝完成。。。

都是 ext4，文件块也都是 4096.。。。

求助

文件

拷贝

rsync

硬盘

8 replies • 2020-07-19 19:21:52 +08:00

jim9606

Jul 19, 2020

我想到的两个原因：
1.符号链接（这个通常没问题）
2.硬链接
3.稀疏文件
4.rsync 了虚拟的文件系统，例如 /proc 这种

ohao

Jul 19, 2020

rsync 的话你要贴附带的参数别人才能告诉你原因

不然使用，建议使用 rclone 的 SYNC 同步模式，比较傻瓜化

如果密集型小文件居多，使用 sersync （也是调用 rsync ），但是速度快很多

smallfish1990

Jul 19, 2020

@jim9606
@ohao 谢谢回复

rsync 参数 rsync -avP --ignore-existing /xxx root@ip:/xxxx

smallfish1990

Jul 19, 2020

@jim9606

1：这个应该没问题
2 、4：A 机器挂载的存储，B 机器硬盘 raid，A 拷贝到 B
3 、稀疏文件没接触过 TAT

msg7086

Jul 19, 2020

我记得硬链接要加 -H 。
Sparse 文件要加 --sparse 。

你可以对原始数据做一下 du -sh 看看有多大，然后应该就能知道问题在哪了。

smallfish1990

Jul 19, 2020

@msg7086

800G 是打散了的分片文件（可以理解成很多小文件），

怀疑大概率是稀疏文件导致的，硬链接应该不存在

ryd994

Jul 19, 2020 via Android

@smallfish1990 稀疏文件不是稀疏分布的小文件
而是不完全分配的大文件。比如我建了一个 2G 的稀疏文件，我可以只用其中的 2M，这个文件在支持稀疏文件的文件系统上就只占 2M 。程序读取已用部分以外时读到的是零。
rsync 有个参数，如果正确使用，就只传输用了的 2M，否则直接一个个字节读过去，给你传了个 2G 的，而且到了对面就丢失了稀疏的性质

smallfish1990

Jul 19, 2020

@ryd994 谢谢科普

@msg7086

rsync --sparse 是传输整个稀疏文件空间，不是传输实际数据大小