局域网万兆跑不满改怎么排查?

ESXi下面的ikuai软路由. 8CPU(没选单CPU 8核 不知道有没有影响) 4G内存 一张万兆双光口的网卡全部直通给ikuai 和PC的万兆卡直接SFP+直连线连接.

PC上iperf测了一下速度只有2.0X Gbits/sec

ESXi 下面的Freenas也是直通的万兆卡. 储存池RAIDZ 4块酷狼, log是非直通的SSD 就给了16G, cache是直通的480G的m2 SSD
Freenas和PC之间传输也只有300多MB/s.
freenas到PC也只有5G多

网线网卡接头驱动

PC和FreeNAS都是X520 ikuai是QLogic的. 网线一根是思科的另外一根mellanox的 QLogic在ikuai下面是开了全驱动模式才识别的.x520全部都直接就认

交换机不行吧。。。。

我这两天也在搞万兆，网上邻居直接拷，磁盘系统是瓶颈。

会不会是磁盘性能影响？

我的6盘raid5，万兆下面最高才跑七百兆，不知道速度正常吗

esx内部跑iperf应该是全速，如果有万兆交换机，对外测也应该是全速。双口网卡互传是多少？

持续700是正常速度，单线优化很难，isilon都跑不满

我现在感觉应该是主路由多个LAN之间速度不行

我iperf测的还没到磁盘系统. 磁盘系统我是RAIDZ 用了块480G的M2SSD做缓存的.

正常，我的6盘RAID 5也是这个速度

最高能看到800MB/s，平均500MB/s

今天回去继续排查一下.我现在是通了两个万兆网卡给ikuai 不同的LAN. 我怀疑是LAN之间的速度有问题..

万兆跑起来 固态速度跟得上吗

哈，那就差不多了，我拷贝一个四五十g的电影，前边能达到700+，最后也就400+了

我感觉可以直接测raid试试，固态有缓存限制，写完速度就不行了

你用的软件交换？

那要考虑插多个网卡那台机器的运算速度是否足够，软交换很费资源。

网卡PCIE插槽和硬盘共享带宽也会导致速度跑不满

我现在把所有的万兆口都桥接在ikuai的LAN1下面了.还是跑不到万兆..看来还是要弄个交换机.再搞个VYOS之类的ALL IN ONE服务器上的光口不够分了

固态肯定跟得上的..读写都超过1000M/S的.

我网卡都插在PCIE * 16的槽的. 即使两个M2分别都共享也足够了

试着给虚拟机多分点资源，4个核心，等等。

我记得用主机资源模拟交换机，数据要过CPU和内存，压力比较大。

我之前的华硕M8G的主板，第二条X16插槽和2条SATA端口是共享带宽的，只要这两个SATA有插硬盘，我的万兆网络对传的速度就能低到100MB/s到几百之间乱跳，把SATA插到其它端口就直接跑满10G

MTU 巨大帧

CPU都分了8个

这就有点麻烦了..我回头去看一下主板说明书去. 说明书写的好乱.都不好找..C422的主板.我脑子里想着CPU的PCIE应该是足够的.照理不应该有那么多共享带宽的PCI设备才对.

FREENAS里也要设置的。否则是不会出9XXMB/S 速度的

我买了一个千兆得。。。340 T4 。输出只能74.。。输入可以110.。也很奇怪哈

直接插了物理交换机.然后jumbo frame也都设置了.iperf3下面跑到9.7X.离10G不远了