V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
swordsmile
V2EX  ›  Linux

Linux nfs 客户端如何快速删除大量小文件

  •  
  •   swordsmile · 5 小时 44 分钟前 · 845 次点击

    linux 下有个程序每天在 NFS 共享目录(生成一个当天日期的文件夹)下缓存 100 万左右的文件,大小差不多 3-5T ,这个程序处理完成后可以删除,如何在 Linux 下快速删除它们呢。

    按照网上的这个同步空目录的方法,差不多耗时 7 个小时。 rsync --delete-before -d -H -O --progress /tmp/empty/ 2026-04-02/

    15 条回复    2026-04-16 13:30:50 +08:00
    yolee599
        1
    yolee599  
       5 小时 31 分钟前 via Android
    试试问 AI 看它怎么说
    Cooky
        2
    Cooky  
       5 小时 11 分钟前   ❤️ 6
    在 nfs 里放个足够大的镜像文件,客户端直接挂载这个镜像,在镜像里操作小文件,用完了直接重新格式化
    EchoWhale
        3
    EchoWhale  
       5 小时 7 分钟前 via iPhone
    @Cooky
    swordsmile
        4
    swordsmile  
    OP
       3 小时 42 分钟前
    Linux 下有没有删除上百万文件比较快的对象存储?
    paopjian
        5
    paopjian  
       2 小时 26 分钟前
    内存盘卸载后直接空了, 按上面的思路一个是硬盘分区后直接格式化是不是更快, 我问 G 他说可以用 Loop Device (虚拟镜像文件)
    mrzx
        6
    mrzx  
       2 小时 24 分钟前   ❤️ 1
    @swordsmile 按照运维的思维是

    直接想办法把这个目录单独映射一个分区
    然后 umount /dev/sdxx
    然后 mkfs.ext4 /dev/sdxx 在重新挂载

    这个速度会极快
    为什么要删?破坏这个分区不就行了吗
    mrzx
        7
    mrzx  
       2 小时 23 分钟前
    @paopjian ramdisk 没有这么大的...人家 3T 到 5T 当然了,别人有钱是另外回事

    而且内存断掉数据就会丢失 如何将 ramdisk 里的数据缓慢的写入到其他存储也是另外个困难了..
    mrzx
        8
    mrzx  
       2 小时 21 分钟前
    @Cooky 你这种方法也是个好方法,直接了当 就是写性能稍微有些低下...
    kome
        9
    kome  
       2 小时 12 分钟前 via iPhone
    完全释放文件占用,直接删除目录,速度应该是最快的吧。
    mrzx
        10
    mrzx  
       2 小时 11 分钟前
    还有个方法,我做运维用到的

    linux 上现在支持 openzfs 很好了

    咋办,利用 zfs 文件格式的特性 做元数据分离
    搞 2 块高性能固态硬盘独立 SLOG ,所有元数据修改、删除操作先落日志盘,

    要搞清楚这种日志文件系统的底层原理,你删文件的时候,其实没有真删除数据, 实际上是删出映射关系罢了
    删除百万小文件时,只动 SSD 上的元数据,根本不动存储盘
    caola
        11
    caola  
       1 小时 41 分钟前
    问一下 AI 吧,以前我的单个目录也是上百万个小文件,一条命令就很快就解决了
    pckillers
        12
    pckillers  
       1 小时 29 分钟前
    rm -rf 文件夹很慢么?
    Cooky
        13
    Cooky  
       1 小时 22 分钟前
    @mrzx 这得看客户端和服务端的配合,能挂载了直接扇区操作性能就没有影响,反而不需要服务端做文件检索
    realJamespond
        14
    realJamespond  
       1 小时 8 分钟前
    有用的拷出来,format
    yulgang
        15
    yulgang  
       1 小时 2 分钟前
    感觉在 S3 存储里按天建桶,用完直接删桶速度更快,不过他的写性能就比较糟糕了。
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   5644 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 57ms · UTC 06:32 · PVG 14:32 · LAX 23:32 · JFK 02:32
    ♥ Do have faith in what you're doing.