linux 下有个程序每天在 NFS 共享目录(生成一个当天日期的文件夹)下缓存 100 万左右的文件,大小差不多 3-5T ,这个程序处理完成后可以删除,如何在 Linux 下快速删除它们呢。
按照网上的这个同步空目录的方法,差不多耗时 7 个小时。 rsync --delete-before -d -H -O --progress /tmp/empty/ 2026-04-02/
1
yolee599 5 小时 31 分钟前 via Android
试试问 AI 看它怎么说
|
2
Cooky 5 小时 11 分钟前 在 nfs 里放个足够大的镜像文件,客户端直接挂载这个镜像,在镜像里操作小文件,用完了直接重新格式化
|
4
swordsmile OP Linux 下有没有删除上百万文件比较快的对象存储?
|
5
paopjian 2 小时 26 分钟前
内存盘卸载后直接空了, 按上面的思路一个是硬盘分区后直接格式化是不是更快, 我问 G 他说可以用 Loop Device (虚拟镜像文件)
|
6
mrzx 2 小时 24 分钟前 @swordsmile 按照运维的思维是
直接想办法把这个目录单独映射一个分区 然后 umount /dev/sdxx 然后 mkfs.ext4 /dev/sdxx 在重新挂载 这个速度会极快 为什么要删?破坏这个分区不就行了吗 |
7
mrzx 2 小时 23 分钟前
@paopjian ramdisk 没有这么大的...人家 3T 到 5T 当然了,别人有钱是另外回事
而且内存断掉数据就会丢失 如何将 ramdisk 里的数据缓慢的写入到其他存储也是另外个困难了.. |
9
kome 2 小时 12 分钟前 via iPhone
完全释放文件占用,直接删除目录,速度应该是最快的吧。
|
10
mrzx 2 小时 11 分钟前
还有个方法,我做运维用到的
linux 上现在支持 openzfs 很好了 咋办,利用 zfs 文件格式的特性 做元数据分离 搞 2 块高性能固态硬盘独立 SLOG ,所有元数据修改、删除操作先落日志盘, 要搞清楚这种日志文件系统的底层原理,你删文件的时候,其实没有真删除数据, 实际上是删出映射关系罢了 删除百万小文件时,只动 SSD 上的元数据,根本不动存储盘 |
11
caola 1 小时 41 分钟前
问一下 AI 吧,以前我的单个目录也是上百万个小文件,一条命令就很快就解决了
|
12
pckillers 1 小时 29 分钟前
rm -rf 文件夹很慢么?
|
14
realJamespond 1 小时 8 分钟前
有用的拷出来,format
|
15
yulgang 1 小时 2 分钟前
感觉在 S3 存储里按天建桶,用完直接删桶速度更快,不过他的写性能就比较糟糕了。
|