跨国数据传输方案，涉及到网络波动，如何保证数据的一致性，实时性

[dafen7]

最近在做跨国的实时大数据相关 flink 任务，有个网络传输问题。数据源是在泰国发到国内阿里云，最早采用 kafka 外网直连，时断时续。后来在泰国搞了个 udp 的中心数据 server ，再由 udpserver 发送到国内。还有几个问题：

1. udp 端口经常被封
2. 实时性差
3. 数据成倍扩张下的 server 瓶颈

各位有没有类似情况，或者通用解决方案。

[sbilly]

快 /稳 /宽
三个都要就贵，只要一个或者两个就用另外的换吧

[markgor]

@dafen7 #19
我之前有个香港的业务，用的是 IPLC 专线，除了线路维护（提前 1 周会通知）外，5 年来基本没出过任何问题。
听说是 2000HKD/月，从香港那边申请办理的，2M 带宽。

后来有个业务需要也需要涉及港澳，自行在良心云购买了两地的服务器，自建 openVPN ，运行 2~3 个月的就被封端口。流量也不算大。折腾过很多方案，二次封包，加密等的....基本无解，感觉流量识别并不是解密流量后进行封，而是识别长期连接同一个端口触发封禁，当然具体我也不知道，GFW 规则那么神秘。

而且你们的还是数据同步，这种对于稳定性要求比较高的，考慮国情因素，因此建议 IPLC

[dafen7]

@markgor 多谢，我们的场景主要是数据量比较大，带宽现在是 15M ，专线都比较贵上头不给批才用的 udp 直连，还跟我们要解决方案。苦逼啊

[markgor]

@dafen7 #23 这要求我们之前也提交过工单和腾讯云工程师了解过，他们也表示出无奈，因为某些原因他们无法处理类似这种跨境业务的网络问题，而且他们也明确表示了，如果真有技术方案能解决这种问题（前提是稳定性），那专线将变得毫无意义。我觉得这句话挺合理的。
而且封禁这个并不属于技术问题，而是政策问题。
打个比方就是 如果你们通过 UDP 进行收发，但是服务偶尔挂起，那你遇到的是技术问题；但是当 UDP 收发时，端口偶尔被禁，这属于政策问题；哪怕你当时更换了端口或使用别的方法绕过去，但一段时间后也许 GFW 也会把你的方式给封了。所以回到源头这种政策问题就应该按政策形式去处理，而不是找技术方式进行绕过。除非接受稳定性降低。

[blening]

可以找我