免费获取方案与报价
首页>
技术资讯>
详情

聊聊云网络性能测试

来源：zartbot 阅读量： 0
关键词： 测试 性能 云网络

安装相关的库

使用root登录,更新一下源

  1. #备份原有的配置文件 
  2.  mkdir /etc/yum.repos.d/bak 
  3.  mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bak/ 
  4. #使用阿里云的源覆盖 
  5. wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-8.repo 
  6. yum install -y https://mirrors.aliyun.com/epel/epel-release-latest-8.noarch.rpm 
  7. sed -i 's|^#baseurl=https://download.fedoraproject.org/pub|baseurl=https://mirrors.aliyun.com|' /etc/yum.repos.d/epel* 
  8. sed -i 's|^metalink|#metalink|' /etc/yum.repos.d/epel* 
  9. sudo dnf config-manager --set-enabled PowerTools 
  10.  
  11. yum makecache 
  12. yum update 
  13.  
  14. yum groupinstall "Development tools" 
  15. yum install gcc-gfortran kernel-modules-extra tcl tk tcsh terminator tmux kernel-rpm-macros elfutils-libelf-devel libnl3-devel meson createrepo numactl-devel 
  16. pip3 install pyelftools 

启用iommu

  1. sudo vi /etc/default/grub 
  2.  
  3. //在 GRUB_CMDLINE_LINUX 行添加"intel_iommu=on iommu=pt"  
  4. //保存退出 

然后更新grub并重启系统

  1. sudo grub2-mkconfig -o /boot/grub2/grub.cfg 
  2. sudo grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg 
  3. sudo reboot 

安装DPDK

CentOS上需要添加/usr/local路径, 主要是LD_LIBRARY_PATH PATH 和 PKG_CONFIG_PATH 以及sudo的path

  1. sudo vi /etc/ld.so.conf.d/dpdk.conf 
  2.  
  3. >>添加如下path 
  4. /usr/local/lib64 
  5. >>退出 
  6.  
  7. sudo ldconfig 
  8.  
  9. vim ~/.bashrc 
  10. >>添加如下path 
  11.  
  12. export PATH=/usr/local/bin:$PATH 
  13. export PKG_CONFIG_PATH=/usr/local/lib64/pkgconfig:${PKG_CONFIG_PATH} 
  14.  
  15.  
  16. 保存后source 
  17. source ~/.bashrc 
  18. sudo vim  /etc/sudoers 
  19.  
  20. >>将secure_path添加/usr/local/bin 
  21. Defaults    secure_path = /sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin 

然后解压dpdk，并编译安装

  1. wget http://fast.dpdk.org/rel/dpdk-21.05.tar.xz 
  2. tar xf dpdk-21.05.tar.xz 
  3.  
  4. cd dpdk-21.05 
  5. meson build -D examples=all  
  6.  
  7. cd build 
  8. ninja 
  9. sudo ninja install 
  10. sudo ldconfig 

设置Hugepage和bind接口

  1. dpdk-hugepages.py --setup 4G 
  2.  modprobe vfio-pci 
  3.  dpdk-devbind.py -s 
  4.  
  5. Network devices using kernel driver 
  6. =================================== 
  7. 0000:00:05.0 'Virtio network device 1000' if=eth0 drv=virtio-pci unused=vfio-pci *Active* 
  8. 0000:00:06.0 'Virtio network device 1000' if=eth1 drv=virtio-pci unused=vfio-pci *Active* 

注意虚拟机环境需要noniommu_mode

  1. ifconfig eth1 down 
  2. echo 1 > /sys/module/vfio/parameters/enable_unsafe_noiommu_mode 
  3. dpdk-devbind.py -b vfio-pci 0000:00:06.0 

验证

  1. dpdk-devbind.py -s 
  2.  
  3. Network devices using DPDK-compatible driver 
  4. ============================================ 
  5. 0000:00:06.0 'Virtio network device 1000' drv=vfio-pci unused= 
  6.  
  7. Network devices using kernel driver 
  8. =================================== 
  9. 0000:00:05.0 'Virtio network device 1000' if=eth0 drv=virtio-pci unused=vfio-pci *Active* 

检查接口支持情况

下载代码

  1. cd ~ 
  2. wget https://github.com/zartbot/learn_dpdk/archive/refs/heads/main.zip 
  3. unzip main.zip 
  4.  cd learn_dpdk-main/ 

编译

  1. cd 01_port_init/devinfo/ 
  2. make clean;make 

检查接口支持情况

  1. ./build/devinfo 
  2.  
  3. EAL: Detected 24 lcore(s) 
  4. EAL: Detected 1 NUMA nodes 
  5. EAL: Detected shared linkage of DPDK 
  6. EAL: Multi-process socket /var/run/dpdk/rte/mp_socket 
  7. EAL: Selected IOVA mode 'PA' 
  8. EAL: No available 1048576 kB hugepages reported 
  9. EAL: VFIO support initialized 
  10. EAL:   Invalid NUMA socket, default to 0 
  11. EAL: Probe PCI driver: net_virtio (1af4:1000) device: 0000:00:05.0 (socket 0) 
  12. eth_virtio_pci_init(): Failed to init PCI device 
  13.  
  14. EAL: Requested device 0000:00:05.0 cannot be used 
  15. EAL:   Invalid NUMA socket, default to 0 
  16. EAL: Probe PCI driver: net_virtio (1af4:1000) device: 0000:00:06.0 (socket 0) 
  17. EAL: Using IOMMU type 8 (No-IOMMU) 
  18. TELEMETRY: No legacy callbacks, legacy socket not created 
  19.  
  20.  
  21.  
  22. ***************************************** 
  23. number of available port: 1 
  24. ========================================= 
  25. port: 0         Driver:net_virtio 
  26. Link down 
  27. MAC address: 00:16:3E:25:3F:0A 
  28. PCIe:0000:00:06.0 
  29. Max RX Queue:   12      Desc:   65535 
  30. Max TX Queue:   12      Desc:   65535 
  31. Offload Capability: 
  32.   DEV_RX_OFFLOAD_VLAN_STRIP 
  33.   DEV_RX_OFFLOAD_UDP_CKSUM 
  34.   DEV_RX_OFFLOAD_TCP_CKSUM 
  35.   DEV_RX_OFFLOAD_TCP_LRO 
  36.   DEV_RX_OFFLOAD_JUMBO_FRAME 
  37. ----------------------------------------- 
  38.   DEV_TX_OFFLOAD_VLAN_INSERT 
  39.   DEV_TX_OFFLOAD_UDP_CKSUM 
  40.   DEV_TX_OFFLOAD_TCP_CKSUM 
  41.   DEV_TX_OFFLOAD_TCP_TSO 
  42.   DEV_TX_OFFLOAD_MULTI_SEGS 
  43. ========================================= 

测速

  1. cd ~/learn_dpdk-main/02_send_recv/traffic_gen/ 

修改send_pkt.c的源目的地址，注意目的MAC在阿里云上要为eeff.ffff.ffff

  1. //init mac 
  2. struct rte_ether_addr s_addr = {{0x00, 0x16, 0x3e, 0x25, 0x0b, 0xe3}}; 
  3. struct rte_ether_addr d_addr = {{0xee, 0xff, 0xff, 0xff, 0xff, 0xff}}; 
  4.  
  5. //init IP header 
  6. rte_be32_t s_ip_addr = string_to_ip("10.66.1.220"); 
  7. rte_be32_t d_ip_addr = string_to_ip("10.66.1.219"); 

由于接口支持有限，修改 common.h

  1. #define NUM_RX_QUEUE 1 
  2. #define NUM_TX_QUEUE 1 
  3.  
  4. static const struct rte_eth_conf port_conf_default = { 
  5.     .rxmode = { 
  6.         .max_rx_pkt_len = RTE_ETHER_MAX_LEN, 
  7.     .mq_mode = ETH_MQ_RX_NONE, 
  8.     }, 
  9.     .txmode = { 
  10.         .mq_mode = ETH_MQ_TX_NONE, 
  11.     } 
  12. }; 

修改portinit.c 关闭RX-CHECKSUM OFFLOAD, 注释掉下面这段：

  1. if (dev_info.rx_offload_capa & DEV_RX_OFFLOAD_CHECKSUM) 
  2.  { 
  3.      printf("port[%u] support RX cheksum offload.\n", port); 
  4.      port_conf.rxmode.offloads |= DEV_RX_OFFLOAD_CHECKSUM; 
  5.  } 

最后测速大概3.3Mpps左右，接近官方售卖时的4Mpps

  1. [root@iZuf64vmgrtj12kczyslhdZ traffic_gen]# ./build/run 
  2. EAL: Detected 24 lcore(s) 
  3. EAL: Detected 1 NUMA nodes 
  4. EAL: Detected shared linkage of DPDK 
  5. EAL: Multi-process socket /var/run/dpdk/rte/mp_socket 
  6. EAL: Selected IOVA mode 'PA' 
  7. EAL: No available 1048576 kB hugepages reported 
  8. EAL: VFIO support initialized 
  9. EAL:   Invalid NUMA socket, default to 0 
  10. EAL: Probe PCI driver: net_virtio (1af4:1000) device: 0000:00:05.0 (socket 0) 
  11. eth_virtio_pci_init(): Failed to init PCI device 
  12.  
  13. EAL: Requested device 0000:00:05.0 cannot be used 
  14. EAL:   Invalid NUMA socket, default to 0 
  15. EAL: Probe PCI driver: net_virtio (1af4:1000) device: 0000:00:06.0 (socket 0) 
  16. EAL: Using IOMMU type 8 (No-IOMMU) 
  17. TELEMETRY: No legacy callbacks, legacy socket not created 
  18.  
  19.  
  20. initializing port 0... 
  21. port[0] support TX UDP checksum offload. 
  22. port[0] support TX TCP checksum offload. 
  23. Port[0] MAC: 00:16:3e:25:0b:e3 
  24. Core 1 doing RX dequeue. 
  25. Core 2 doing packet enqueue. 
  26.  
  27. RX-Queue[0] PPS: 3280464 
  28. RX-Queue[0] PPS: 3277792 
  29. RX-Queue[0] PPS: 3303116 
  30. RX-Queue[0] PPS: 3307443 
  31. RX-Queue[0] PPS: 3296451 
  32. RX-Queue[0] PPS: 3294396 
  33. RX-Queue[0] PPS: 3297737 
  34. RX-Queue[0] PPS: 3290069 
  35. RX-Queue[0] PPS: 3279720 
  36. RX-Queue[0] PPS: 3285987 
  37. RX-Queue[0] PPS: 3279424 

然后把common.h 中收发都改为4个线程

  1. #define NUM_RX_QUEUE 1 
  2. #define NUM_TX_QUEUE 1 

测试结果和官方售卖的4Mpps一致了。

  1. RX-Queue[0] PPS: 578918 
  2. RX-Queue[1] PPS: 866823 
  3. RX-Queue[2] PPS: 2288950 
  4. RX-Queue[3] PPS: 865335 

CPU Info

  1. [root@iZuf64vmgrtj12kczyslhdZ traffic_gen]# cat /proc/cpuinfo | grep Xeon 
  2. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  3. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  4. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  5. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  6. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  7. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  8. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  9. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  10. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  11. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  12. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  13. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  14. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  15. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  16. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  17. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  18. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  19. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  20. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  21. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  22. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  23. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  24. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 
  25. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz 

为你推荐
上云服务热线
18513673580（杨先生）
渠道加盟热线
13611068019（吴女士）

官方微信号

版权均归北京科智云佳技术有限公司所有 京ICP备20006652号-6