有趣的事实，中国移动的网络规划理念是要比中国电信先进的

[2397613259qqq]

Fun fact: 中国移动的网络规划理念是要比中国电信先进的。

虽然网上流传大量中国移动的负面风评，比如网速慢、延迟高、管理混乱。久而久之我也成为了这种想法的一员，直到某天午夜等待洗衣机结束工作时无聊抓了一次包。

我们可以知道 ICMP 协议第 11 类中，会包含触发超时报文的数据报 IP 头部及其数据的前 8 字节，这些信息用于源站根据收到的超时报文来确定具体哪个数据报已被丢弃，而这 IP 头部就包含了左右我们上网体验的 QoS 标签。

根据这个原理我们可以观察下面这两个例子：
traceroute 到移动的手机流量基站出口：




traceroute 到一个在托管在电信的政府网站：




可以发现在从 cmi 进入 cm 之后的第一个路由器的出方向，我发给移动基站的流量就被标记上了 0x48 ；相反的，流量进入电信内网后一路都是 0x0 。

再看看上海电信精品网的所谓高 QoS163 宽带如何：





很神奇的在 202.97.24.249 返回的报文中，可以看到原始的数据已经被修改成了 0x60 ，具体是 38 还是 249 修改了 QoS 标签，就不得而知了。

从这个例子可以得到不少启发，首先，说明电信是存在 QoS 概念的，但是非常可惜的是，这个 QoS 应用范围极其小、托管了政府网站的 IP 也没有得到任何优待，意味着绝大多数的电信家宽和电信专线，除了入户的那最后 1 公里的接入方式不同，gpon 或光纤直通，两者的流量在骨干网里根本没有区别（笑）。而且精品网的标记太下沉了，在第 3 、4 跳才进行分类，还有用的标签好老，竟然是 cs3 （杂鱼

其次，规划比较完善的移动在手机流量上比较用心，分配了三级的优先级，这也是网络传言中移动手机流量上外国网站更快的秘密所在。

[xqzr]

“电丸科技 AK”说的，163 没有 QoS 是真的！

[9RWBdC758updU311]

等待洗衣机结束工作：
我：刷抖音
大佬：抓包中国移动网络通信数据

[WizardLeo]

中移动早期不做宽带吧？后面才搞有后发优势，163 太老了。

[datocp]

有一种说法是这种标记来源于途经的交换机，即便公司用的华为交换机，也经常错配本地的 qos 。
为了避免这些标记的影响，早期的讨论本地？重置。

@:~# iptables -t mangle -S

-A PREROUTING -i eth1 -j DSCP --set-dscp 0x00

[billccn]

政府网站那个我觉得结论有点草率。首先网站是典型的上传多于下载的客户，如果这类客户需要 QoS 应该设在他们的上传流量上比较有用，类比翻墙回程 CN2 比去程 CN2 有用的多。其最简单的实现方法就是客户自己标记 QoS ，ISP 网络被动接受就行。另外 ICMP 流量显然也不是正常网站访问流量，也许正好不触发实际存在的 QoS 规则。

还有由于中国的运营商本来就运营大量保证带宽业务（真专线、MPLS 专线、电路交换），对于真正敏感的业务他们完全可以把该流量改走专线传输，这远比 IP QoS 可靠。如果只是加上 QoS 标签但是还走普通网传输那就是对该流量还是有一定的丢包预期。

[mooyo]

@xqzr 怎么可能。。。之前有一个某地电信搭建的 163 的测速节点，跨境能跑几个 G 还不限速...

[busier]

懂了 不 QoS 牛马的宽带不是好宽带

[fengyaochen]

@xqzr 我现在上海电信精品网双拨，精品网账号用 218.80 ，普通账号拨号给 218.79 ，两个同时对比一点区别都没有，所谓的高 QOS 出现的地方并不是国际出口段，而是在国内段，国内段常年都不拥挤，所以没仍何卵用

[alect]

所谓的政府网站大概率可能用了 CDN ，你测的只是其中一个节点的结果

[bugtik]

懂了，有人喜欢被狠狠 qos 的宽带，不喜欢狠狠扩容的宽带

[docx]

暴论：因为网络不行所以要在 QoS 上下功夫

[ArcherL]

感觉楼主的结论有点局限性，ChinaNet/CNCnet 在世界范围内都算是最早一批使用 MPLS-TE 的公共网络，这种传输技术对 IP 层透明，从 IP QoS 标签是看不出任何分类标记的，这种经营多年的网络不可能没有 QoS 。

移动家宽/商宽倒是一开始就是城域/省网/国干并且使用 OSPF 协议，和移网物理分离，近些年才在国干启用 SRv6 （ NPU 近些年非常非常成熟了，硬件转发不再使用 MPLS 提升效率）并且移网和固网流量混跑分级，国际使用 CMI ，国际精品网单独分离出 CMIN2 ，这时网络拓扑才和国际 Tier 1 运营商类似

[lyu594]

骨干网也舍得砸钱，去年建好 400g 东数西算骨干网的时候其他两家还每开始大规模集采呢，至于用户体验改善不明显，可能是专网专用，或者移网优先级高，移动只想固网绑定用户靠移网赚钱

[2397613259qqq]

@ArcherL 非常好的视点，你说的有道理并且在骨干中是非常有可能的，但是这很难说明直到最后的 SR 返回的数据中标签位仍为 0 的原因，难道电信的网络一直到城域网的 SR 都是在 MPLS 里的吗？
另外移动的城域网、省网、国干之间使用的是 BGP 协议，因为要做好 bgp community 标记识别客户类型和 QPPB 配置下行流量分离。
（移网的历史我不太清楚，2g/3g 的语音上网倒是真的分离，至今仍在那个 AS24059 的 NGN 里，具体什么时候开始建设的我也不太清楚。从 4g 开始的 VoLTE 视频、上网、语音、信令就已经在 9808 大网里了。

@alect
@billccn 但这并不是没有下行流量标记的理由，而且那个是独立的 IP ，不是 CDN 。

@bugtik 狠狠扩容：江苏电信底价吸 IDC 客导致周围省份电信赚不到钱还得狠狠扩容，气得周围电信一纸告到集团开启了跨省结算的好时代。

@WizardLeo 移动的互联网集团成立的时候就开始弄了，也就比 163 年轻几岁，不晚了，具体历史我不太清楚，我历史考试没及格过的。

@docx 非常好结论，本帖本身也是暴论的一种，因为我没参加过运营商的工作全靠猜测，欢迎多多交流。

[Yserver]

我不是很专业 但是也没有可能是进站前 qos 标签被剥离了？之前在一个关于专线的帖子下面就看出家宽进站时会剥离 dscp 值，而专线不会

[Yserver]

这是一张移动专线 ping 移动骨干网的截图，看起来全程都没有被打过标签？

[shawnoob]

三家宽带都用过，由于出国需求，最后保留了移动联通。不过有一点挺好奇，移动国内互访延迟为什么总是比另外两家高呢？

[Murphy189]


从左到右依次是家宽，蜂窝基站，专线
移动：世界加钱可及（

[ArcherL]

@2397613259qqq
据我了解电信骨干接入层与城域核心层是融合的，SR/BRAS 一般在中小城市的核心层，MPLS 域应该延伸到 IDC 的 PE （物理部署在 SR 上），大城市在汇聚层并且 MPLS 域下沉到 SR 。移动的拓扑不太了解，平时专线业务和他们没有往来= =

为什么这样做个人认为是由于城域网带宽一般比较充足，不需要做 QoS ，MPLS 域 PE 设备做好标记就行简化城域网部署。

另外协议这点我可能没说明白，其实 BGP 其实需要 IGP 做底层配合的，移动省网网内的 IGP 是 OSPF 这点很确定（国干可能和电信一致但 2014 年和移动有往来时移动国干巨烂，后面如何演变的就不太清楚了），电信/联通的 IGP 是 IS-IS ，网间肯定是 eBGP 方便做 MPLS

[2397613259qqq]

@shawnoob 大概是因为省网、城域网布线和路由表配置有问题吧（我猜的）

我到省会的延迟、到国干，也就是省际骨干传送网广东入口的延迟、到省际骨干传送网上海入口的延迟是和电信一个水平的，但是到广州、上海市内的那些 idc 之后，一下子就比到省际骨干传送网入口的延迟高了好几 ms~10ms ，不知道他们大城市那边的城域网布线是怎么弄的。

我自己的移动宽带到市内的 CR ，也就是所谓的核心层核心路由器也就是 1ms 而已，到市内的一些政府运营的网站、大学网站也只是 2ms 以内。按理来说每个市都会有两台 CR （大城市可能更多，我猜的），互相备份，他们（很多城市）那边城域网路径配置有问题吧，都是我猜的，我也不知道原因。

@Yserver 我眼熟你，因为你之前还在和我炫耀 7/m 互联网专线，你们大城市怎么都这么便宜，我真的嫉妒了。
/t/1148891 的这个

你再仔细看看主楼，说的是 icmp type11 ，你测错了类型，所以要用 tcpdump -i eth0 -n -vvv -s 0 'icmp and icmp[0] == 11' 来测，而且主楼测的是下行流量，这个省网的资深高手们已经配好了 QoS Policy Propagation via BGP ，所以只要不是特别邪门的失误，每个人的下行流量都是会有标记的。

但是你测的是上行流量，鉴于你之前说你跨网到电信很卡，你的问题和另一个成都（重庆？）老哥是同一个“假专线”毛病：上行流量没有标记导致移动>>电信这一步端口容量不足最后爆炸，解决方法也很简单，找你市公司的技术帮你做标记。上行流量做好标记的人就很少了，因为省网都是高手，勉强维护住了这套 QoS 系统的下行流量，城域网很多都是懒狗，不踢两脚是不会起来干活的。

[2397613259qqq]

@ArcherL 感谢你补充了这么多，如果一直下沉到 SR 的话就能解释了，电信的 MPLS 最远会部署到国际段的哪一个部分？我的 Azure vm 到电信 IDC 和电信家宽的丢包是一模一样的，这个 QoS 分级会只在大网里面生效吗？

[ArcherL]

@2397613259qqq
电信 C-I 段不敢妄加揣测，但国内网络我根据 Trace 信息看 MPLS 最多到国干 C 端终结，C-I 段需要看 IDC 购买的专线类型，全程 CN2 的线路 MPLS 应该直接到 X 端终结，部分走 CTGlobal 的线路和移动情况类似。

MPLS-TE 的特性电信部署标准有说 QoS 标签类型算商密并且是企业私有标准，在 PE 终结并剥离，对 CE 不可见，方便对不同的客户分级收钱，更愿意付钱的大客户每 Mbps 更贵但抖动更稳定丢包更少噢（笑），个人猜测巨硬 Azure 可能不会像 Aliyun Global/AWS 买的 QoS 等级高……但这个也要看具体的 VPS 产品以及所在机房，加钱可及是基本商业逻辑，离大陆延迟越高的地区单价越低，北美机房产品就比 HK 机房便宜而且更稳定

移动的话大胆揣测一下：由于国际与国内骨干跨 AS 并且分属不同的子公司经营所以 MPLS 域在各自的接入设备终结

联通和电信拓扑差不多，可能是百京国企总部太多而且都有海外业务所以 C-I 段带宽比较充足，它家的家宽和专线路由基本差不多而且 QoS 较宽松（但不是不存在，晚高峰家宽 C-I Loss 2-8%波动，比移动电信表现都好些，但 Jitter 5-30ms 这点比移动差，专线按合同标明线路质量），不像电信 C-I 段有段时间超售太多，基本所有家宽都要被丢到 TATA/Cogent 的牙签互联上绕半个地球竞技

[Murphy189]

@2397613259qqq 上行方向应该不止单纯打 QoS 标签这么简单，毕竟异网会覆盖移动发过去的 QoS 标签，应该还设置了其他策略让专线用户走轻负载交换端口

[erfesq]

某信网内无 qos 我猜可能是网内带宽非常充足，原来我听别人说过(不知道真假)，某信 163 城域网只要高峰期负载在百分之 60 就会打报告申请扩容。

[xqzr]

疑似“广移”城域网配置参数
https://anytech.cn/catalog/3570

[2397613259qqq]

@Murphy189 本来就是这么简单，加了标签省网路由器就会在端口保障高级流量的带宽。
具体原理： https://info.support.huawei.com/hedex/api/pages/EDOC1100277650/AZM1016J/03/resources/ne/feature_0021577574.html

@ArcherL 我发现可以看到 4809 网内的 MPLS 扩展，为什么 163 全程看不到呢？

[thereone]

不太清楚研究这个有什么用？ 25 楼的广移城域网配置参数是真的不过实际工程中是改了不少东西的。国内的 qos 基本出现在异网互联和国际互联在就是手机上网上面。网内的流量达到了阈值就会进行扩容对于公众互联网来说是没有感知的，专线这块数据专线没什么好说的独立的，互联网专线政企也好企业也好我看过的技术文件书中是没有提及 qos 的基本都是对于高可用有要求，双路由不同局向走 PTN/OTN 等上联到 SR/BNG 或者有钱的直接接入到 SR/BNG 上面。
还有专线，公众互联网，移动内部专网都走的不同通道。

[Murphy189]

@2397613259qqq 我的意思是专线的网段可能有打特殊的 Community Tag 的类似操作走低负载口，之前问过我们这边移动后台他们说有跨网需求的专线客户他们会分配走专用低负载链路，而且我这边也观察到专线上行方向实际上 QoS 标签和家宽一样都是 0x4

[Murphy189]

@2397613259qqq 不对，发现了点奇葩的事情，我们这边专线似乎没有重标记（可能是个案？），用户自己发出的 QoS 标签能直接进入大网（家宽会被覆盖成 0x4 ）

[Yserver]

@2397613259qqq 7/m 但是也太烂了 懒得和他们再掰扯，其实现在蛮多地方都有很便宜的产品了。
不是很懂技术，现在看起来应该是带 qos 标签了(?
https://img.r2.yserver.ink/2025/11/03/6908938bbd275.png

[Murphy189]

@Yserver 你这个 QoS 标签是家宽类型在 BE 队列，你试试 traceroute 加个-t 0xd4 再抓包看看 QoS 标签有无变化

[Yserver]

@Murphy189 https://imgur.com/a/wEG6xeO

[Murphy189]

@Yserver mtr 加-Q 212 追踪个电信联通异网的地址试试延迟丢包？对比下不加-Q 212 的情况，你那边似乎也没有重标记用户发出的 QoS 标签

[Yserver]

带-Q 212 的
https://i.imgur.com/a/moEtSwP.png
https://i.imgur.com/a/q6hp4Ii.png

不带-Q 212 的
https://i.imgur.com/a/Jy9DJ7C.png
https://i.imgur.com/a/UwCsgaD.png

[Yserver]

@Murphy189 #33 现在应该能显示出图片了
带-Q 212 的




不带-Q 212 的

[Yserver]

@Murphy189 #33 多测了一会 感觉延迟丢包有比较明显的优化

[Murphy189]

@Yserver 看来你们那边似乎 SR 也没有重标记用户的发出的 QoS 标记，能直接进入大网，你试试 iptables -t mangle -A POSTROUTING -o eth0 -j DSCP --set-dscp 53 跨网问题会不会解决

[2397613259qqq]

@Murphy189 自信点，不是个案，偷懒没配而已，我这城域网和省网内部甚至都没配修改，cs6 一直到了省网出去之后才会被改成 53 。甚至你发标准的 dscp 还可以穿越 cmi （ 29 和 53 不能穿越）所以你在外面的 vps 配 ef+本地配 ef 就可以睾速科学上网了。

[Murphy189]

@2397613259qqq 试了下 56 真还可以穿越 CMI ，这下体验到 PQ 级保证了（

[Yserver]

@Murphy189 #39 话说 53 56 是不是不是标准的 dscp 值

[Yserver]

质的飞跃

[Murphy189]

@Yserver

[Yserver]

@Murphy189 #42 观察了一下 dscp 为 10 时带宽就有保障了，那我这专线的 dscp 值也不对吧

[Murphy189]

@Yserver 帖主在#38 不说了吗移动偷懒没有配 DSCP 重标记，所以你自己没给流量打高 QoS 标签的话和家宽没区别，我发的那个#42 的表是移动自己定义的 DSCP 值，和标准的 AF 和 CS 值有出入，虽然你用 AF11(DSCP 10)也生效就是了

[Yserver]

@Murphy189 那这专线是一点优势都没

[Murphy189]

@Yserver 你那边家宽应该是没办法自己打 QoS 标记这么玩的吧，至少我这边家宽过了 BRAS 以后 QoS 标签就会被重写成 0x4

[Yserver]

@Murphy189 没试过，但是家宽也不太需要吧

[Yserver]

@Murphy189 #46 好像上海电信没有覆盖？


改为 53 后


改为 56 后

[Yserver]

哦不对 还是被覆盖了