我的 SMB 传输速度为什么这么慢？

This topic created in 961 days ago, the information mentioned may be changed or developed.

环境：

服务器：黑群辉 SMB

客户端：Win11

Copy 一个 10G 的 ZIP 文件，前 10 多秒能有 150M/s ，但是很快就会掉到 50M/s 的样子。拷贝过程中群辉 CPU 占用 20%左右。

fio 硬盘 4K 随机读测试：

Run status group 0 (all jobs):
   READ: bw=413MiB/s (433MB/s), 413MiB/s-413MiB/s (433MB/s-433MB/s), io=8110MiB (8504MB), run=19626-19626msec

Disk stats (read/write):
  sda: ios=2075891/0, merge=0/0, ticks=927646/0, in_queue=927646, util=99.45%

iperf3 网络测试：

[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  1.80 GBytes  1.54 Gbits/sec    0             sender
[  5]   0.00-10.00  sec  1.80 GBytes  1.54 Gbits/sec                  receiver

我不太懂 SMB 协议相关的优化，这是 SMB 协议的问题？

Supplement 1 · Oct 21, 2023

目前找到的原因，Nas 上的磁盘读取速度太慢，但是我就纳闷了，我 2 块企业级 10T 氮气盘，组的 RAID1 ，在 ext4 下面测试，顺序读 800Mb/s 左右，随机读 300-400Mb/s ，为嘛换成 btrfs 性能就直接差了 10 倍呀？我这是哪里设置不对吗？

32 replies • 2023-10-23 12:08:17 +08:00

IDAEngine

Oct 21, 2023

TCP_NODELAY 开了吗？没开的话打文件会比较慢一点

lamls

Oct 21, 2023

@IDAEngine 请教兄台，这个怎么开？在 mac os 和 ios 下

yazoox

Oct 21, 2023

OP
请教一下，你自己跑的这两个测试，怎么跑的？ fio & iperf3 ？能分享一下步骤和经验嘛？谢谢！

hertzry

Oct 21, 2023

可能 Win11 写缓存满了。

sadfQED2

Oct 21, 2023

@hertzry 我三星 970pro 的 ssd ，就算写缓存满了也不可能掉到 50m/s 的速度。哪怕机械硬盘也不止这速度呀

sadfQED2

Oct 21, 2023

@yazoox 啊？这不是满地都是吗？随便一搜就一堆教程呀，照着敲命令就行

lonely701

Oct 21, 2023 via iPhone

我个人体验是 webdav 更稳定，内网外网都能跑满带宽。smb 没用过，感觉是上个时代的东西了。

yousabuk

Oct 21, 2023 via iPhone

如果是路由器的话，注意路由器散热。

sadfQED2

Oct 21, 2023

@IDAEngine 我看/etc/samba/smb.conf 这个配置文件中默认是没有这个配置的。我照着网上找到给他加了一行

[global]
printcap name=cups
winbind enum groups=yes
include=/var/tmp/nginx/smb.netbios.aliases.conf
min protocol=SMB2_10
socket options=TCP_NODELAY SO_RCVBUF=131072 SO_SNDBUF=131072 SO_KEEPALIVE IPTOS_THROUGHPUT
security=user
local master=no
realm=*
passdb backend=smbpasswd
printing=cups
max protocol=SMB3
winbind enum users=yes
load printers=yes
workgroup=WORKGROUP

重启 smb 服务后性能依然没变化

sadfQED2

Oct 21, 2023

@yousabuk 跟网络没关系吧，我 iperf3 测速都没问题，iperf3 跑几十 G 流量都没变化

yousabuk

Oct 21, 2023 via iPhone

iperf 调大测试时间，排除网络传输问题，比如进行 10 分钟连续测试？

从 NAS 硬盘读取数据 CPU 不应该飙到 20% 那么高。刚从 Nas 拷贝 20G 的一个文件，全程稳定在 105MB/s ，群晖 DS720+ CPU 稳定 9%。

而且你还是黑群晖，CPU 肯定强于 intel J4125 很多倍吧。

你 NAS 硬盘是什么硬盘？叠瓦盘？垂直盘？

yousabuk

Oct 21, 2023 via iPhone

路由器的 NAT 加速，禁用路由器的 IPv6 试试。

都尝试下

cubecube

Oct 21, 2023

黑裙啥 CPU ，20%是不是 4 核心占用满了一个核心？

sadfQED2

Oct 21, 2023

@yousabuk #11 垂直盘，企业级的氮气盘，我硬件肯定没问题的。iperf 跑了 10 多分钟也没问题，fio 跑了 10 多分钟也没问题。

我内网走的交换机，没走路由器，交换机是 TPLink 的 2.5G 交换机

sadfQED2

Oct 21, 2023

@cubecube

%Cpu0 : 2.0 us, 15.6 sy, 0.0 ni, 31.3 id, 31.3 wa, 0.0 hi, 19.7 si, 0.0 st
%Cpu1 : 0.7 us, 8.9 sy, 0.0 ni, 63.7 id, 24.0 wa, 0.0 hi, 2.7 si, 0.0 st
%Cpu2 : 4.6 us, 7.9 sy, 0.0 ni, 44.1 id, 42.1 wa, 0.0 hi, 1.3 si, 0.0 st
%Cpu3 : 2.6 us, 7.9 sy, 0.0 ni, 80.1 id, 9.3 wa, 0.0 hi, 0.0 si, 0.0 st

拷文件过程中 cpu 是这样的

ashong

Oct 21, 2023

我的 smb.conf 设置：
server min protocol = SMB2_02
socket options = TCP_NODELAY IPTOS_LOWDELAY SO_RCVBUF=131072 SO_SNDBUF=131072 SO_KEEPALIVE
min receivefile size = 16384
aio read size = 16384
aio write size = 16384
max xmit = 65535

aru

Oct 21, 2023

我觉得是硬盘问题

pcslide

Oct 21, 2023

既然用的机械硬盘，掉到 50M 难道不就是合理的吗？你自己看 cpu 都花在 WA （ wait on io ）上

sadfQED2

Oct 21, 2023

@aru
@hertzry 重新做了 2 个测试，证明不是我 Win11 固态写缓存导致的
1：在 win11 的磁盘上拿 fio 随机写 100G 、顺序写 100G ，速度都远高于 50M/s
2: 在 win11 上拿 ramDisk 将 20G 内存映射成磁盘执行拷贝，拷贝一段时间后依然掉速，跟写 SSD 掉速没区别

IDAEngine

Oct 21, 2023

@sadfQED2 SMB 协议的性能应该是问题不大的

hefish

Oct 21, 2023

我觉着是 nas 硬盘的问题。io 跟不上

sadfQED2

Oct 21, 2023

@hefish
@aru 我好像找到问题了，我第一次测 Nas 磁盘的时候用的 ext4 文件系统，后面我重装的时候换成 Btrfs ，我现在重新测了一遍 FIO ，现在 4K 随机读：

Run status group 0 (all jobs):
READ: bw=1146KiB/s (1174kB/s), 1146KiB/s-1146KiB/s (1174kB/s-1174kB/s), io=123MiB (129MB), run=110167-110167msec

4K 顺序读：

Run status group 0 (all jobs):
READ: bw=34.9MiB/s (36.6MB/s), 34.9MiB/s-34.9MiB/s (36.6MB/s-36.6MB/s), io=751MiB (788MB), run=21521-21521msec

我真是人麻了，害我查了一整天，这两文件系统性能整整差了 10 倍

aru

Oct 21, 2023

@sadfQED2
感觉 4k 不能差这么多
而且你不是大文件么？直接测大文件读取速度对比下

sadfQED2

Oct 21, 2023

@aru #23 对，大文件，rar 的分卷压缩数据

weak

Oct 21, 2023 via iPhone

有 IP 地址连接例如群晖例如 //192.168.10.24/data
我的用 //diskstation 连接只有 30 兆，用//192.168.110.24/data 跑满 130 兆

hefish

Oct 21, 2023

btrfs 的读不应该这么差吧。是不是开了压缩之类的。是单盘吗？

sadfQED2

Oct 21, 2023

@hefish #26 我感觉也是开启了压缩。但是我现在去哪查看我的文件系统是否开启压缩呢。我看了/etc/fstab 文件的挂载配置，里面似乎没有压缩

/dev/mapper/cachedev_0 /volume1 btrfs auto_reclaim_space,ssd,synoacl,relatime,nodev 0 0