排查与解决NRadio-C8-600 CPE + 鲲鹏神卡IPv6有公网但是无法入站的问题
前言
很久之前就遇到这个问题了:开启IPv6中继后,访问https://testipv6.cn/可以看到网站上显示的IPv6地址于CPE后台以及PC上显示的实际地址一致,说明是公网IPv6,流量可以主动出站,但是用https://www.itdog.cn/拨测,无论是ICMP还是TCP,流量就是无法主动入站。刚好最近用ds肘开了CPE的SSH,直接继续用ds力大砖飞,狠狠排查一遍,看看到底是CPE防火墙问题还是模块问题。
结论
CPE防火墙是一部分,但是并没有拦截ICMP,也就是说外部可以Ping通的。最后结论就是,鲲鹏神卡(联通物联网卡)走的5gscuiotAPN直接丢弃了IPv6主动入站流量😅。并且实测即使在CPE后台修改了APN成3gnet并重启设备,但是会话连接依旧是5gscuiot。
我手上没普通联通手机卡,所以没办法测试这个丢弃策略是覆盖整个联通蜂窝网络连接,还是只是覆盖5gscuiotAPN,亦或是只是覆盖联通物联网卡?
不过可以测试的是,我用一张正常的电信手机卡插入CPE后,APN为ctnet,ICMP能够成功入站。
因此想要IPv6能够主动入站ICMP的话,建议换卡。
分析
下面这段是分析整个架构。
首先是联通和电信只给设备分配/64网段,而不是像宽带那样下发/54、/60网段,因此到设备侧就已经是最后一个子网了。
在NRadio以前的老固件里,开启IPv6后,设备的IPv6地址使用的是CPE的IPv6地址,因此是开启了NAT66转发的,这段时间子网设备是没办法正常拿到IPv6公网的。(可以用端口转发曲线救国)
而在某个固件后(忘了是哪个版本),NRadio支持了IPv6中继。通过RA中继以及NDP代理,让整个设备子网(包括CPE)共享一个/64网段,成功实现让子网设备通过RA + SLAAC拥有真正的IPv6公网地址。
架构如图示例:
1 | 互联网 |
整个方案核心是IPv6前缀共享
| 环节 | 做了什么 |
|---|---|
| 电信核心网 | 只下发 RA,下发一个 /64 的 on-link 前缀,无 DHCPv6-PD |
| 5G 模块 | 将拿到的 /64 原样向下游宣告(L3 网关 + 前缀透传) |
| CPE | odhcpd 工作在 relay 模式,把上游 RA 中继到 LAN;同时打开 proxy_ndp,代 LAN 设备向上游应答邻居请求 |
| LAN 设备 | 直接从运营商 /64 里 SLAAC 出自己的公网地址 |
然后这些都没啥问题,问题出在最上游的物联网卡环节,直接丢弃了所有主动入站的IPv6流量,所以才出现这种非常奇葩的情况:子网设备拥有IPv6公网并且能够正常出站,但是就是无法主动入站,而CPE中继和防火墙又完全没有任何问题。
所以解决的办法也很简单,换卡。
CPE防火墙
换卡后能Ping通则说明主动入站的ICMP流量已可达,但是CPE的防火墙只是允许了ICMP,默认是REJECT了所有TCP的,因此如果想要跑服务,还需要修改防火墙
首先确认好设备的IPv6地址,Windows下的话会有临时IPv6和普通IPv6两个公网地址,建议用普通IPv6的,不然老是要改防火墙
然后通过SSH给CPE防火墙添加规则,下面是开放8080端口的示例,需要改成实际端口和地址:
1 | sec=$(uci add firewall rule) |
查看添加情况
1 | # 看配置 |
正常应该会看到:
1 | -A zone_wan_forward -d xxxxxxx/128 -p tcp --dport 8080 \ |
然后记录下之前uci add返回的$sec(比如 cfg1492bd),后续方便查询和调整。
下面是防火墙参数表:
| 参数 | 说明 | 示例 |
|---|---|---|
| name | 规则名,仅用于识别 | Allow-PC-Web8080 |
| src | 来源区域 | wan |
| dest | 目标区域 | lan |
| proto | 协议 | tcp / udp / tcp udp / icmp |
| dest_ip | 目标 IPv6(可省略=任意 LAN 设备) | 240e:… |
| dest_port | 目标端口,支持范围 | 8080 / 8000-8100 |
| src_ip | 限制来源 IP(可选,强烈建议) | 240e:xxx::/64 |
| family | 协议族 | ipv6 / ipv4 / any |
| target | 动作 | ACCEPT / REJECT / DROP |
| enabled | 是否启用 | 0 可临时关闭 |
然后也可以移除掉添加的规则
1 | uci delete firewall.cfg1492bd # 换成你的 section 名 |
下面是一些安全建议:
-
不要图省事省略dest_ip。不写就等于对整个LAN的所有设备开放该端口,而IPv6是公网的,所以直接暴露所有LAN里的设备会怎么样懂得都懂😂。
-
不要改config zone的 forward。从 REJECT 改成 ACCEPT,等于关掉整个IPv6防火墙。
-
family ‘ipv6’ 一定要写。不写会同时生成 IPv4 规则,容易误开放。(虽然开了IPv4也是NAT了的)
-
规则要尽量精确:能限定src_ip就限定,能用端口范围就别开全端口。
总之看你自己的需求咯。
然后需要注意的是IPv6前缀是会变化的,例如重启设备,所以dest_ip可能会对不上,这点需要注意。
一些概念
下面是AI讲述的,我懒得改了。
IPv6 里没有 ARP,也没有 DHCP 广播。地址怎么配、邻居怎么找、路由器怎么发现,全都靠 ICMPv6 承载的一套机制,叫NDP(Neighbor Discovery Protocol,邻居发现协议),定义在 RFC 4861。
可以把它想成 IPv4 里三件事的合体:
| IPv4 的做法 | IPv6 的对应机制 |
|---|---|
| ARP(找邻居 MAC) | NS / NA |
| DHCP(拿地址) | RA + SLAAC(或 DHCPv6) |
| ICMP 重定向、路由器发现 | RA / Redirect |
NDP 一共 5 种报文,全是 ICMPv6 类型:
| 类型号 | 名称 | 作用 |
|---|---|---|
| 133 | RS(Router Solicitation) | 设备问"有路由器吗" |
| 134 | RA(Router Advertisement) | 路由器宣告前缀、默认路由、参数 |
| 135 | NS(Neighbor Solicitation) | “这个地址是谁的?”(相当于 ARP 请求) |
| 136 | NA(Neighbor Advertisement) | “是我的”(相当于 ARP 应答) |
| 137 | Redirect | “下次走另一个路由器更快” |
RA(Router Advertisement)
RA 是路由器定期(通常每几分钟)主动发到ff02::1(所有节点)的组播包,也响应设备的 RS。它携带四类信息:
- 前缀 + 两个关键标志位
Prefix: 240e:1234:1234:1234::/64
A 标志 (Autonomous) = 1 → 设备可以自己用这个前缀拼地址(SLAAC)
L 标志 (On-link) = 1 → ★ 这个前缀里的地址,我认为"就在我这条链路上"
有效期: valid 2592000s / preferred 604800s
- 默认路由
Router: fe80::abcd:abcd:abcd:abcd
Router Lifetime = 1800s
设备据此把 ::/0 指向这个路由器: default via fe80::abcd:abcd:abcd:abcd dev usb0
- M / O 标志(决定用不用 DHCPv6)
- M=1:地址也找 DHCPv6 要
- O=1:其他参数(DNS 等)找 DHCPv6 要
- 两个都是 0:纯 SLAAC
- 其他参数
MTU、DNS(RDNSS)、跳数限制等。
L(On-link)
设备收到 L=1 的前缀后,会建立这样一条认知:
“240e:1234:1234:1234::/64 这个网段里的每一个地址,我都能直接发帧过去,不需要经过路由器。”
于是发送流程变成:
要发给 240e:1234:1234:1234:…
├─ 判断:这个地址在我的 on-link 前缀里
├─ 不查路由表找下一跳
└─ 直接发 NS 问:“这个地址的 MAC 是多少?”
而整套网络架构上,240e:1234:1234:1234::/64 同时存在于三段链路上:
① 电信 PGW 的链路 ←── 它认为 PC 的地址就在这条链路上
② 模块到 CPE 的链路
③ CPE 到 PC 的链路 ←── PC 实际在这里
PGW 收到一个发往 240e:1234:1234:1234:… 的包,因为 L=1,它会:
PGW: “这个地址 on-link,我直接问它在哪”
→ 发 NS 到 solicited-node 组播地址
→ 等待 NA
→ 没人应答?那这地址不可达,包丢掉
但 PC 在 CPE 后面,根本收不到 PGW 的 NS(NS 是链路本地组播,不会跨路由器)。
NDP 代理(Proxy NDP)
让 CPE 冒充 PC,替它应答:
PGW ──NS:"240e:1234:1234:1234:… 是谁?"──> CPE
│
CPE: “哦,这个地址我知道,在 LAN 那边”
“我就说是我吧” ──NA:MAC = CPE 的 usb0 MAC──> PGW
│
PGW: “好,那以后发给它的包都送给 CPE” ──> CPE ──转发──> PC
CPE 用自己的 MAC 应答了别人的地址,这就是"代理"。
RA 中继(ra relay)
RA 中继做的事:把 WAN 侧收到的 RA 转发到 LAN。
但有个细节——转发时会把源地址改写成 CPE 自己的 br-lan 链路本地地址:
上游 RA: 源 = fe80::abcd:abcd:abcd:abcd(模块/上游)
↓ CPE 中继并改写源
LAN RA: 源 = fe80::bcde:bcde:bcde:bcde(CPE 的 br-lan)
前缀仍然是 240e:1234:1234:1234::/64
默认路由指向 CPE
这样 PC 就把 CPE 当成自己的默认网关:
PC 的路由表:
::/0 → fe80::bcde:bcde:bcde:bcde (CPE)
240e:1234:1234:1234::/64 → on-link
所以 PC 出站 → 交给 CPE → CPE 交给模块 → 模块交给电信。整个"共享 /64"的假象就是这么维持住的。
整个流程
① 外部主机 ──ICMPv6 echo request──> 电信 PGW
│
② PGW 查路由:目标 240e:1234:1234:1234:… 在 on-link 的 /64 里
→ 发 NS 组播:“谁有这个地址?”
│
③ CPE 的 proxy_ndp 命中 ──NA:我的 MAC──> PGW
│
④ PGW 把包发给 CPE 的 usb0 MAC
│
⑤ CPE 收包 → 查路由 → /128 或 /64 指向 br-lan
→ 在 br-lan 发 NS 找 PC
│
⑥ PC 应答 NA → CPE 把包转发过去
│
⑦ PC 回 echo reply → 反方向再走一遍
Use this card to join MyBlog and participate in a pleasant discussion together .
Welcome to GoodBoyboy 's Blog,wish you a nice day .
