在不考虑安全的前提下，如何设计一个方案，实现 4 个 G 的文件的快速异地传输？比如从北京到上海... 面试的时候没答上来，求大佬们指点迷津
moran3649 · 2019-08-06 17:30:55 +08:00 · 20325 次点击这是一个创建于 1963 天前的主题，其中的信息可能已经有所发展或是发生改变。
第 1 条附言 · 2019-08-06 19:39:29 +08:00
萌新第一次发帖没注意标题长度，是这样的，就是不要求安全，仅要求效率，怎么快怎么来
 |
1
beryl 2019-08-06 17:33:45 +08:00  10
高铁
|
 |
2
qinrui 2019-08-06 17:34:16 +08:00 via iPhone
办个宽带，然后就可以传了
|
|
3
beryl 2019-08-06 17:34:25 +08:00 1
4 个 G 好像不合适，不过可以采用凑单，多叫几家拼单模式
|
 |
4
lihongjie0209 2019-08-06 17:34:36 +08:00 1
看这道题的考点是什么?
网络: TCP/UDP ? 工具: scp/rsync ? |
|
5
qinrui 2019-08-06 17:34:57 +08:00 via iPhone
去网吧也行，不过很多网吧封了 usb 口
|
 |
6
1239305697 2019-08-06 17:35:02 +08:00
QQ 传，要发在线的，离线的慢
|
 |
7
geekvcn 2019-08-06 17:38:14 +08:00
有网的话几万种方式.......没网??
|
 |
8
yvescheung 2019-08-06 17:39:32 +08:00 1
反正我们公司每天从上海到东京传几十 G 的数据用 rsync
|
 |
9
gam2046 2019-08-06 17:40:56 +08:00 1
4G 对于现在网络又不算很大，同时给定前提“不考虑安全”，还没有上下文。
完全抓不到 key point 在哪里。都不考虑安全了，那就随便搞呗，反正不考虑安全。用啥方法不行。 1、随便弄个支持断点续传的网络传输方式，比如 FTP 2、20 块钱买个 U 盘，邮寄 |
 |
10
shengchao 2019-08-06 17:44:32 +08:00
smb frp webdev .........等等等等等等等
|
 |
11
mushishi 2019-08-06 17:44:50 +08:00
rsync ？ syncthing ？
|
 |
12
Takamine 2019-08-06 17:44:53 +08:00
开一个虫洞。
|
 |
13
foreverstandbyu 2019-08-06 17:46:43 +08:00
不考虑安全，说明资金有限，不能使用专线传输。
除此之外最快的方法，传到 CDN 上如何？ |
 |
14
whypool 2019-08-06 17:49:10 +08:00 3
|
 |
15
alamaya 2019-08-06 17:53:36 +08:00 55
用 5G 啊，面试官如果敢说不对，你就举报这家公司乳滑
|
 |
16
zsc8917zsc 2019-08-06 18:07:06 +08:00
1、做成种子
2、百度网盘 3、自己架个服务器 快速有多快，不是取决于网络出口带宽和对方的下行带宽么 |
 |
17
greatdancing 2019-08-06 18:13:30 +08:00 via Android
快速是多快？ 200ms?
2 天？ |
 |
18
Mac 2019-08-06 18:17:29 +08:00 5
你应该回答：不考虑安全传输文件，犹如不考虑合不合法去赚 1 个亿，这种场景在我的职业生涯中是不允许出现的，所以我不做这道题。
|
 |
19
badcode 2019-08-06 18:18:52 +08:00 via Android
没说背景？
有网，没说本地和异地带宽？ 没网，人工搬运？ |
 |
20
LokiSharp 2019-08-06 18:19:56 +08:00 via iPhone 1
创建 VPN 设为共享 复制粘贴
|
 |
21
janus77 2019-08-06 18:21:41 +08:00
只要网速快就行
|
 |
22
lpf0309 2019-08-06 18:22:59 +08:00 via Android
想买路由器时看到蒲公英有宣传这个功能，应该是楼上说的 vpn
|
 |
23
jinliming2 2019-08-06 18:23:57 +08:00 via iPhone
做成 BT 种子
|
 |
24
wweir 2019-08-06 18:25:26 +08:00
百兆专线，4 个 G 是多大？喝杯茶已经好了
|
 |
25
maemual 2019-08-06 18:26:43 +08:00
4 个 G 又不大，纯走公网下载也不是多大事啊。。。。
|
 |
26
keventseng 2019-08-06 18:27:16 +08:00 2
顺丰你好，我这有一个急件，麻烦尽快过来，要寄即日达。
|
 |
27
beijiaoff 2019-08-06 18:29:39 +08:00
网络直连如果不够快的话，就用云盘。
如果两边都有 ipv6 还可以试一下走 ipv6，现在这个骨干网还不怎么拥堵。 |
 |
28
loveour 2019-08-06 18:30:26 +08:00 1
这种问题，如果是开放答案，那还好。如果有标准答案，那纯属有病。
|
|
29
beijiaoff 2019-08-06 18:30:44 +08:00
@1239305697 如果两个人一个电信一个联通或者其他垃圾运营商，qq 直接传最慢了。离线起码还有腾讯的专线及各地 cdn 帮忙。
|
 |
30
pxlxh 2019-08-06 18:30:48 +08:00
https://wetransfer.com 2gb 上限。 切成 2 个包
|
 |
31
yezhiqiucn 2019-08-06 18:31:27 +08:00
1、先确定出口，也就是你长传是不是瓶颈
2、切片到不同的公有云，跑满上传带宽 3、下载合并 |
 |
32
daodao 2019-08-06 18:32:10 +08:00
qq 同时在线，传输文件。
|
 |
33
also24 2019-08-06 18:33:58 +08:00 1
4 个 T 的文件我会考虑寄硬盘
4 个 P 的文件考虑搞小车拉硬盘 /磁带 什么？ 4 个 G ？ 这么小的文件，肯定是直接怼宽带啊……………… |
 |
34
zuolan 2019-08-06 18:41:28 +08:00 via Android 1
nc 传，以前遇到过这个题目。
|
 |
35
tadtung 2019-08-06 18:42:00 +08:00 via Android
只有 4 个 g，还不需要考虑数据安全。又非高频次。
而且你说的异地也仅仅是北京，上海。国家都不跨。 随便什么工具都 ok，这种情形下，你的瓶颈只在于两地带宽。用 qq，微信，网盘都行。 实在不行也可以本地搭建 ftp。 |
 |
36
fivestrong 2019-08-06 18:44:44 +08:00 via iPhone
不考虑安全，他也没说时间啊，那百度网盘 128kb/s 走起
|
 |
37
cst8622 2019-08-06 18:57:00 +08:00 9
传输速度取决于带宽，这个基本上就是在问你，如何才能高效利用带宽，最好传输的时候能跑满。
基本就是考你多线程下载或上传。10 个线程去跑传输，这里边肯定涉及到文件分片传输，说实话不是很简单的一个话题。如果你能再考虑到网络不稳定，需要实现断点续传之类的，那就更加分了。 但是如果你直接说用 XX 软件的话，估计不是面试者想要听到的答案。 |
 |
38
pkookp8 2019-08-06 19:04:17 +08:00 via Android
自己写一个基于 udp，有重传机制的工具？
|
 |
39
jaskle 2019-08-06 19:10:13 +08:00 via Android
异地跨运营商有公网 ip 点对点都不一定快，个人感觉 cnd 靠谱一点，但是你的文件有点大，说白了这个问题最重要的一点是网络加速，有个双网的主机做高速转发才是王道，而且可以满带宽，能达到带宽最大化。做种子肯定不行，需要多人下载才能提速，本身资源就不值钱，没人去续种。
|
 |
40
deorth 2019-08-06 19:12:09 +08:00
rm -rf /
|
 |
41
moran3649 OP 楼主在整理当天的面试问题复盘，没想到这么多人出谋划策，受宠若惊！
@cst8622 我当时脑子一片空白，也想到的是文件传输相关的，但是答出来确实 webservice，但是具体怎么实现也答不上来，大佬猜的可能比较契合面试者想问的重点了。 @zuolan 这样也有了一个方向，我去搜搜度娘 @tadtung 我当时差点就想回答百度云盘了。 @yezhiqiucn 外包公司的面试，就是这么冷冰冰的一段话，当时也没确定到出口。唉，面试经验太少了。 @gam2046 老哥说的是，断点续传靠谱.. |
 |
42
murmur 2019-08-06 19:36:38 +08:00
4g 的话用 qq 似乎都不需要分卷
|
 |
43
workspace 2019-08-06 19:38:14 +08:00
rsync scp 甚至 nginx 列个目录 对面下载都行
|
|
44
moran3649 OP |
 |
45
runAll 2019-08-06 20:15:41 +08:00 via iPhone
分卷压缩最省事
|
 |
46
diguoemo 2019-08-06 20:29:57 +08:00 via Android
4g 这么小，直接 qq 传呗
|
 |
47
DeWhite 2019-08-06 21:08:59 +08:00 via Android
ftp 应该是安全性有的情况下又最快速的吧，
我觉得命题的意思虽然不过安全但是要考虑反泄露。 服务器 ftp |
 |
48
AngryPanda 2019-08-06 21:12:13 +08:00 via Android
@zsc8917zsc 做成种子没人帮你供源分发也白搭
|
 |
49
piloots 2019-08-06 21:17:59 +08:00
顺丰到付，安全无忧次日达。
|
 |
50
blessme 2019-08-06 21:18:52 +08:00 via iPhone
又不是 4 个 T、不然顺丰即日达最合适。
|
 |
51
no1xsyzy 2019-08-06 21:44:49 +08:00
说不定只是面试官自己碰到个问题，但感觉自己之前解决时的办法不是特别好，看看有没有什么其他的解决方案，换句话说就是瞎问问。
|
 |
52
Felldeadbird 2019-08-06 21:46:23 +08:00
4G 直接架设 nginx 就好了。
|
 |
53
stephen9357 2019-08-06 22:03:58 +08:00
4 个 G 不算大，直接在线传输就是了。非得自己写那就按分片多线程 UDP 传输，每片都加个校验码。
|
 |
54
care 2019-08-06 22:05:20 +08:00 via iPhone
@zuolan 我用 nextcloud 共享过 8G 的文件给朋友下载过，但是偶尔会下载到一半会中断。不知道 nextcloud 怎么弄断点续传🤣
|
|
55
zuolan 2019-08-06 22:09:26 +08:00 1
@care #54 是 nc, 不是 nextcloud, 啊哈, 这是一个命令, 楼主说不考虑安全的前提下, nc 可以用些小技巧满速传文件, 具体谷歌.
|
 |
56
lincanbin 2019-08-06 22:36:38 +08:00 via Android
参考 kcp 的实现，暴力 udp 发包。
|
 |
57
huruwo 2019-08-06 23:13:34 +08:00
硬盘拷贝 坐高铁 /飞机
|
 |
58
powerfj 2019-08-07 00:52:00 +08:00
我怎么感觉面试官应该想问的是 4 个 T..
|
 |
59
efaun 2019-08-07 01:07:18 +08:00
我还以为又是那谁谁来做广告宣传他家的大文件传输业务呢
 |
 |
60
iceheart 2019-08-07 03:38:30 +08:00 via Android
方案 1.apache+bbr -> wget
方案 2.迅雷 |
 |
61
laike9m 2019-08-07 04:45:41 +08:00 1
蠢问题直接帮你排除了一家公司，不是挺好的吗？
|
 |
62
Windelight 2019-08-07 05:08:44 +08:00 via Android
如果说不要安全，但完整性的话，直接通过云服务厂商的对象存储服务中转，因为我就这么尝试，一个德国法兰克福的服务器，11GB 压缩好的文件传回我的电脑上，直接连接基本上咣咣当当几 MB/s，或几百 KB/s，偶然发现我的阿里云 OSS 还有存储空间和流量，那就直接开了一个上海的 OSS，然后先从 ff 上传，大约稳定速度 70MB/s 以上，然后我再取回，速度 30-40MB/s 左右，迅雷超级会员加速和快鸟，满速，就像白先生的拉枪。
如果说只在国内之间互相传输的话，发送方能直接进公网的话不如直接 Http，但是如果是 4G 散文件那就 Rsync。 |
 |
63
autogen 2019-08-07 06:02:43 +08:00
异地一般都是专线，走外网延迟高
|
 |
64
MMMMMMMMMMMMMMMM 2019-08-07 07:15:10 +08:00
估计是想问你 socket UDP 分段传输
但是没问好，问的很尬 |
 |
65
yankebupt 2019-08-07 07:55:11 +08:00
@moran3649 安全考虑不考虑有个卵用，关键是考虑不考虑预算……
预算 0 的话让他滚粗，自己公网爱拿什么工具拿什么工具传好了……即使有优劣估计没有任何一个方法 100%稳定，谁都知道，要不怎么炒起来的 net neturality 之类的概念 预算无限的话直接租线路啊，快到你不敢想象…… 预算给定的情况下再考虑怎么拿钱换带宽的问题。 另外 UDP+自定义纠错协议绕过 isp qos 限速是什么年代的事情了，现在还管用么? |
 |
66
airfling 2019-08-07 07:58:39 +08:00
做种，然后发到种子服务器上，或者用文件分块用 cdn
|
 |
67
fox0001 2019-08-07 08:00:08 +08:00 via Android
Nginx 开个 http 服务器，在另一边直接下载。一般情况下能占满带宽
|
 |
68
KasuganoSoras 2019-08-07 08:03:46 +08:00 7
4B —— 直接手打，复制粘贴的时间都比你手打要长
4KB —— SFTP （反正对我来说两端都是 Linux，FTP 服务器都不用装了） 4MB —— SFTP / FTP 4GB —— SFTP / Rsync / 本地搭个 Nginx 远端下载 4TB —— 抱着硬盘坐高铁过去 4PB —— 叫辆五十铃一车载过去 另外还有就是条件 —— 没网络或者网络非常辣鸡的环境下：抱着硬盘过去 网络速度不限制的环境下：直接传输 |
 |
70
set01 2019-08-07 08:20:08 +08:00
顺丰
|
 |
71
watzds 2019-08-07 08:20:18 +08:00 via Android
交给 v2 网友帮忙上传
|
 |
72
ericbize 2019-08-07 08:20:35 +08:00 via iPhone
之前公司要导数据到国外， 傻逼开发 叫运维 用 sftp 传过去 ； 运维老大像看傻逼一样看着开发。
背景：10T 左右的图片。 已经在线上，只是在国内， 数据库有图片地址。 ps， 我觉得为什么开发不写个 爬虫.... |
 |
73
jiangwei2222 2019-08-07 08:41:32 +08:00 via Android
qq 文件传输，onedrive，google 云端硬盘，百度云盘
|
 |
74
chinvo 2019-08-07 08:51:34 +08:00 via iPhone
全面好多人提到 IPoHSR，这个成本太高
我建议 IPoAC，协议完善，有 QoS，支持 IPv6 [doge] |
 |
75
barrelsoil 2019-08-07 08:53:01 +08:00 via Android
联邦快递加急
|
 |
76
vanishcode 2019-08-07 08:54:35 +08:00
顺丰。就像是下毛片快还是直接找老司机拷贝快呢 XD （记得国外哪家公司来着数据迁移用卡车）
|
 |
77
HENQIGUAI 2019-08-07 09:01:46 +08:00
当然百度网盘超级 vip
|
 |
78
windedge 2019-08-07 09:02:32 +08:00 via Android
nginx 配置个静态文件服务，然后用 aria 多线程下载
|
 |
79
hyuhai 2019-08-07 09:04:19 +08:00 via Android 1
需要几个步骤
1. 压缩 如果是普通文本文件会压缩的比较小了 2. 切割 使用 split 或其他文件切割为大小均等的文件块 以减少单位块文件传输失败的概率 加快并行传输效果 3. 伪装 无论是推送模式还是拉取模式 都建议伪装成常用且不容易被攻击的服务 改 80 或 443 等端口 或伪装为 websocket 或 http,https 协议 上面做好之后 1. UDP 传输 ， 在你的链路较稳定的情况下优先推荐使用该协议工具 nc 可以简单测下 2. TCP 传输 ， 在你的链路不稳定的情况下推荐该协议 最后 针对以上两种协议找到适合自己的 然后去网上找工具 不管是推还是拉的方式 最好两端都支持多线程或断点续传 找不到合适的 自己写一个也不是很复杂 |
 |
80
herotiga 2019-08-07 09:05:59 +08:00
量子通信啊，传输的过程没时延，时间主要就花费在将数据注入信道和接收数据以及设备中的稍许开销
|
 |
81
zongren 2019-08-07 09:06:15 +08:00
点对点传呗
|
 |
82
aguesuka 2019-08-07 09:08:04 +08:00 via Android
线路稳定用 udp，线路不稳定用谷歌的 bbr
|
 |
83
icegaze 2019-08-07 09:08:16 +08:00 via Android
最快的难道不是 ftp 吗…^_^
还可以断点续传… 当然， 你分公司多的话， 用 p.2.p 方式是更好啦， 充分利用带宽，，， 如果是土豪公司， 必须是京沪快线飞机啊， 四百元，四个小时就到了，安全稳妥。 我就干过啊， 自己带硬盘飞去客户那里，当天往返啊…-_-|| |
 |
84
jorneyr 2019-08-07 09:08:34 +08:00
拉一根专线
|
 |
86
lcy630409 2019-08-07 09:12:27 +08:00
去网吧 花 200 块和网管说一下 传 4G 文件到 阿里云 oss （费用大概 10 块钱以内），然后对方下载，如果对方下载带宽不行，直接去网吧花 200 块 全速下载 4G 文件 一分钟不到就 ok 了
|
 |
87
wr410 2019-08-07 09:16:24 +08:00
跑的满宽带就 http 拉，跑不满就分段同时拉，wget 就可以分段拉。
文件多或者文件夹的话就打个 tar 包，文件只有一个的话直接 scp。 那些用 rsync 的第一个就要被淘汰掉。 |
 |
88
realpg 2019-08-07 09:20:14 +08:00
4G 在我公司的网络环境对传就是几分钟的事儿……
1. 分卷 rar 压缩成 200 个包，每个卷 20M，写个脚本批量算一下 md5sum 2. 开个阿里云 oss 或者腾讯云对象存储 3. 找个上传带宽大点的地方，比如不用家宽分流的网吧，比如自己熟悉的上传带宽够大的公司，如果条件不允许找不到上传大的地方，那就开个 LTE 热点找个信号好人又少没人干扰的地方（现在的资费 5GB 流量没几个钱）直接往云上传 4. 对面下载，只取决于对方网速 |
 |
89
qq976739120 2019-08-07 09:29:22 +08:00
之前去饿了吗面试,面试官的问题差不多,一个 T 的文件要我跨地区,我说最好的方法是快递,他说有快递还要我干嘛...........
|
 |
90
forgotmymilk 2019-08-07 09:31:18 +08:00
百度网盘。
|
 |
91
PHPer233 2019-08-07 09:38:50 +08:00
如果这个文件在外网的 HTTP 服务器上，那就做对域名做 CDN 加速。我测试过，在国内通过 Cloudflare 的免费 CDN 下载新加坡服务器上的文件速度大约 10M/s，相当快。
|
 |
92
danmu17 2019-08-07 09:58:01 +08:00
正常人的思路可能是開個 http，對方多點續傳保證跑滿雙方的帶寬。
其他任何方法都不可能更有效率。 不過會問出這種腦抽問題的也一定是完全不懂技術的面試官了。 |
|
93
danmu17 2019-08-07 10:00:42 +08:00
如果數據量大到 PB 的程度的話，在交通正常的國家就一定是卡車的帶寬最大了，所以 aws 才會出 Snowmobile。
|
 |
94
raptor 2019-08-07 10:02:01 +08:00
前几年在前公司用的异地备份方案是 gpg+rsync 走互联网，每周末传一次 600G （ GPG 加密压缩后），速度由两边的带宽决定。
|
 |
95
firebroo 2019-08-07 10:06:16 +08:00
京沪就高铁把
|
 |
97
infra 2019-08-07 10:09:59 +08:00
250 面试题，走顺丰，或者用公有云中转。
|
 |
98
q397064399 2019-08-07 10:11:22 +08:00
4G 的文件 首先要考虑异地是否有历史版本，如果有，是否存在变化不大的情况的出现，答问题前先把限制条件都问清楚
|
 |
99
mhycy 2019-08-07 10:13:45 +08:00
现在深圳最普通平常的办公室宽带 500M/30M 的价格是不到 299 一个月
30M 跑满的情况下会高于 30M 带宽但这不要紧，咱们就当是 30M （运营商有超过 100%的带宽放量，降低投诉率） 传输 4GB 的的文件总计需要 4*1024/3/60=22.7555555556 分钟 注意，此计算考虑到传输过程中的协议损耗，所以带宽按除 10 的比例来换算成 MByte 即便如此，也仅需要 22 分钟而已。。给个整数 30 分钟完事。。。 显然直接怼 QQ 对传是最快的（ QQ 对传会打洞穿透内网）安全可靠省去搭服务器的时间 |
 |
100
sujin190 2019-08-07 10:24:29 +08:00
|
Select Language