做个爬虫将所有互联网信息进行离线存储包括音视频可行性

2019-10-16 16:45:28 +08:00
 natforum
前期只存储网页，后期做大了就开始存储音视频以及其他文件，但是仅仅存储，不公开传播，为人类互联网做贡献。求这种可行性方案，如果以后有了一定量的数据，可以进行机器学习。给人们打造一个透明的互联网
4029 次点击
所在节点    奇思妙想
19 条回复
siknet
2019-10-16 16:46:58 +08:00
Internet Archive: Wayback Machine

这个网站你没去过?
murmur
2019-10-16 16:48:58 +08:00
https://archive.org/
看了一眼，视频很多打了膜乎处理，不过看样子不是色情就是暴恐
zdnyp
2019-10-16 16:49:26 +08:00
0
zdnyp
2019-10-16 16:50:07 +08:00
@zdnyp #3 可行性
azh7138m
2019-10-16 16:55:43 +08:00
你要问能不能做，那肯定是能做的
就看你有没有那么大的存储，能不能正常的对抗反爬了
总结下就是，你这个需求，加钱就行（
gIrl1990
2019-10-16 17:08:45 +08:00
但是仅仅存储，不公开传播，为人类互联网做贡献。
你都“仅仅存储” 还怎么“做贡献”？？？
loginbygoogle
2019-10-16 17:11:58 +08:00
不可行，原因，没钱没技术。
silencefent
2019-10-16 17:29:16 +08:00
我在想你准备几个月进去吃免费餐
est
2019-10-16 17:38:53 +08:00
现在网上这些上下左右全是不同厂牌水印带音量按钮图标在中央的录屏 n 手视频我都爬不下手。。。更不用说 android 那些发绿的传家宝图片了。。。。估计 LZ 存储了会发现自己也要 ffmpeg 再压缩一次节省空间。。。
n3yKZn7vykSRL0xz
2019-10-16 17:47:18 +08:00
价钱世界可及
n3yKZn7vykSRL0xz
2019-10-16 17:47:32 +08:00
@K1ri7o 加钱 (打错
CloudnuY
2019-10-16 17:55:32 +08:00
17 年 quora 上就估算 youtube 储存达到了 10EB……
tabris17
2019-10-16 17:57:01 +08:00
你已经游走在犯罪的边缘了
laminux29
2019-10-16 17:58:02 +08:00
楼主是不是觉得，带宽、硬盘、服务器，是天上掉下来的？
aoling
2019-10-16 17:59:19 +08:00
痴人说梦 首富干这个事情都要考虑下,
你有资金嘛
locoz
2019-10-16 18:05:52 +08:00
不说别的，你哪来那么大的带宽和存储空间？硬盘多了之后谁来维护？
mejinke
2019-10-17 00:10:36 +08:00
你这是反其道而行啊，现在都 5G 了，万物都是云了，为啥还要本地？需求是什么？
Bigglesworth
2019-10-17 15:48:06 +08:00
棱镜不就干了么？
dosmlp
2019-10-19 09:56:56 +08:00
可行，但是没钱

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/609971

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX