RoCE多网卡时，报文可以过去，但是回不来

摘要：虽然网卡是接入RoCE网络，但其实问题本身是单纯路由相关的，所以看的时候，不用关注RoCE，只当做一个独立子网就行了

本文分享自华为云社区《<跟唐老师学习云网络> - RoCE多网卡时，报文可以过去，但是回不来》，作者： tsjsdbd 。

一、网络概要

一台机子，接入2个子网，一个普通通信的，一个高速通信的。并且接入高速通信子网，有8张网卡。如下图：

本文描述的问题，只关注高速子网这一部分。为帮助理解问题，网络可以简化为：

每个网卡，都有分配该子网的一个IP。如下：

二、问题现象

A只能通B里面的一个IP，其余7个IP都不通。下图为A--->B 的结果：

图示：只有1个IP能通

反过来也一样，后面只讲一个方向的（A-->B）。

三、问题定位

1.先看报文有没有到达B。

如果都不能到B，说明网络接的有问题。如果到了B，但是不回来，说明路由配置可能有问题。

Ping不通的ip（228）时，在主机B上面进行抓包分析（228对应的网卡名是enp80s0f0，所以这里监听这个网卡）：

tcpdump -i enp80s0f0 -n arp

listening on enp80s0f0, link-type EN10MB (Ethernet), capture size 262144 bytes

17:02:23.720556 ARP, Request who-has 29.28.195.228 tell 29.28.204.80, length 46

17:02:24.758954 ARP, Request who-has 29.28.195.228 tell 29.28.204.80, length 46

17:02:25.782954 ARP, Request who-has 29.28.195.228 tell 29.28.204.80, length 46

17:02:26.807063 ARP, Request who-has 29.28.195.228 tell 29.28.204.80, length 46

^C

可以看到，报文能到B。

2.但是为什么B不给A回消息呢？

于是我们来看看，当B要给A回消息时，路由怎么走的？

查看路由表：

ip route

default via 192.168.0.1 dev enp218s0 proto dhcp metric 104

29.28.192.0/20 dev enp137s0f1 proto kernel scope link src 29.28.201.211 metric 105

29.28.192.0/20 dev enp137s0f0 proto kernel scope link src 29.28.193.28 metric 106

29.28.192.0/20 dev enp80s0f1 proto kernel scope link src 29.28.204.230 metric 107

29.28.192.0/20 dev enp106s0f0 proto kernel scope link src 29.28.194.199 metric 108

29.28.192.0/20 dev enp106s0f1 proto kernel scope link src 29.28.195.31 metric 109

29.28.192.0/20 dev enp80s0f0 proto kernel scope link src 29.28.195.228 metric 110

29.28.192.0/20 dev enp234s0f1 proto kernel scope link src 29.28.197.165 metric 111

29.28.192.0/20 dev enp234s0f0 proto kernel scope link src 29.28.195.75 metric 112

根据以前学的router知识，可以看到，（排除default路由外）应该是会匹配到第1条（标红）规则。

注：metric表示路由代价，目的子网都匹配的情况下，会选代价最低的那一条。

即 B-->A给A回消息时，报文要从网卡enp137s0f1 发出去，并且发出去的报文源地址要设为29.28.201.211。

难怪不通，因为答非所问了嘛（回arp报文，内容对不上）。

再看为什么211这个ip能通？

因为 211 是该子网路由选择，所对应的IP，所以刚好能通。

这就解释了为什么刚好1个IP能通，另外7个不通。

3.如何让报文从哪个口收到，就从哪个口回去？

往外发报文，根据源地址来选择网卡（注意这里的源是指主机B，因为回报文是往外发），这种场景可以称之为「源地址路由」，而要实现源地址路由，就需要用到「ip rule 路由策略」这种高级路由配置。

四、ip rule 路由策略

在配置「源地址路由」规则前，我们需要先补充一点基础知识。

1. 路由表“副本”

以前我们学的 route -n 路由表，其实属于“新手村”，即系统默认使用这张路由规则表。但就像《剑来》里面说的那样，在新手村外还有很多其他“境界”。Linux新版本（2.x之后）为实现更复杂的路由能力，将原来的“新手村”，复制了很多的“副本”。

Ps：这种增加“副本”的思路，在咱们IT领域非常常见，比如我们之前学到的各种namespace。

当前系统总的“副本”数量，在 /etc/iproute2/rt_tables 这个文件中。

255 local

254 main

253 default

0   unspec

我们之前学的 route -n 新手村表，就是其中的 254 这个副本号，名字叫做 main。

要增加副本，可以如下这么操作：

echo "$id $table" >> /etc/iproute2/rt_tables

就行了。

2. 如何决定使用哪个“副本”

为了确认使用哪个“副本”，在前面补了一个 rule 规则。

条件基本就是：源IP，目的地址，收到网口这些。

具体见：https://www.computerhope.com/unix/ip.htm

所以现在流程变成了：

新增一个副本
设置rule规则，指向这个新增的副本
往副本里面增加以前学会的route记录

比如，我们希望某个源IP为 29.28.201.211 的报文，走独立的“路由副本”策略：

新建“路由副本”

echo "200 table0" >> /etc/iproute2/rt_tables

增加规则，使这种报文，走该独立副本。（from表示源ip）

ip rule add from 29.28.201.211 table table0

然后我们往这个“路由表副本”里面，放入以前学到的普通的路由规则：

ip route add 29.28.192.0/20 dev eth0 table table0

可以确认下副本中路由是否正确

ip route show table table0

29.28.192.0/20 dev eth0 scope link

这样，我们就可以控制更复杂的路由规则了。

3. 再看“新手村”路由表

在知道路由表可以有很多“副本”之后，我们再回头看看原来那个“新手村”。

从 /etc/iproute2/rt_tables 文件内容可以知道，咱们“新手村”对应的那个路标表名字叫做main。

所以查询这个表的内容：

root@tsjsdbd:/# ip route show table main

default via 172.17.0.1 dev eth0

172.17.0.0/16 dev eth0 proto kernel scope link src 172.17.0.2

这个和我们平时看到的路由，是一样的：

root@tsjsdbd:/# ip route

default via 172.17.0.1 dev eth0

172.17.0.0/16 dev eth0 proto kernel scope link src 172.17.0.2

也就是，我们平时敲的 route -n 看到的列表，其实就是 main 这张表里面的内容。

其余表（0-local，253-default，255-local）的内容，一般不用关注。

4. rule规则匹配优先级

在rule规则表里面，很多记录的时候，匹配优先级是怎么定的？答案是每一条记录，它有个优先级的字段。如下：

[root@tsjsdbd]# ip rule

0:      from all lookup local

32766:     from all lookup main

32767:     from all lookup default

最前面的数字，就是优先级。数字越小，优先级越高，也就是会先进行匹配，同时也代表这条规则可以排的更靠前。

在 rule add 添加规则的时候，是可以指定“优先级的”。如：

ip rule add from 192.168.1.0/24 table table0 pri 333

就可以指定

在不指定优先级的情况下，会默认加到当前最小值前面（即，不指定优先值时，会加一条优先级较高的rule）。

如下：

[root@tsjsdbd]# ip rule add from 192.168.1.0/24 table table0 pri 333

上面这条会加一条333优先级的rule

[root@tsjsdbd]# ip rule add from 192.168.2.0/24 table table0

这条没指定优先级，就会加一条优先级332的（因为当前rule里面最小的是333）。

可以查询确认：

[root@tsjsdbd]# ip rule

0:  from all lookup local

332:       from 192.168.2.0/24 lookup table0

333:       from 192.168.1.0/24 lookup table0

32766:     from all lookup main

32767:     from all lookup default

删除rule的话，有几种便捷的指定方式：（优先级、条件、table）

ip rule del pri 333

ip rule del from 192.168.2.0/24

ip rule del table table0

最后注意，添加或修改了rule规则后，不会立即生效，需要 ip route flush cache 后才生效（官方文档是这么说的，自己验证的时候注意下就行）。

五、源地址路由

再回到问题上来，8个网卡，哪个口收到，要求使用该口的ip回去。可以通过8个路由table实现（因为大家的目标网段是一样的，所以在同一个table表里面话，不好写规则）。

于是，可以把8个路由规则，分散到8个“世界”中，然后通过 rule 分散后，各自进行匹配。

事实上，「源地址路由」的实现，一般都是这种套路：

添加一条“源地址”的rule

ip rule add from 192.168.1.2 table 100

在目标table里面，设置路由规则

ip route add 172.25.2.0/24 via 192.168.1.5 table 100

最终解决8个RoCE网卡可以互通的路由设置如下：

table表（8个）

/root # cat /etc/iproute2/rt_tables

200 table0

201 table1

202 table2

203 table3

204 table4

205 table5

206 table6

207 table7

rule表（8个）

/root # ip rule

0:     from all lookup local

32758: from 29.28.197.165 lookup table7

32759: from 29.28.195.75 lookup table6

32760: from 29.28.201.211 lookup table5

32761: from 29.28.193.28 lookup table4

32762: from 29.28.195.31 lookup table3

32763: from 29.28.194.199 lookup table2

32764: from 29.28.204.230 lookup table1

32765: from 29.28.195.228 lookup table0

32766: from all lookup main

32767: from all lookup default

每个table表里面，1条路由规则

/root # ip route show table table5

29.28.192.0/20 dev enp137s0f1 scope link src 29.28.201.211

以上3步行为，通过一个脚本来完成。

六、最后

最后我们来看看，网络有问题的时候，与设置完「源地址路由」后的区别：

查询“以xx为源ip，以yy为目的ip，路由选择结果是什么”方式，

可以使用ip route get 命令。

设置前：

# ip route get 29.28.204.80 from 29.28.201.211

29.28.204.80 from 29.28.201.211 dev enp137s0f0 uid 0

设置后：

# ip route get 29.28.204.80 from 29.28.201.211

29.28.204.80 from 29.28.201.211 dev enp137s0f1 table table5 uid 0

可以看到，是按照我们的目标“哪个口来，哪个口回去”的方式运行的。

注：虽然网卡是接入RoCE网络，但其实问题本身是单纯路由相关的，所以看的时候，不用关注RoCE，只当做一个独立子网就行了。

点击关注，第一时间了解华为云新鲜技术~