抓了点知乎用户数据,打算分享给各位兄弟

2016-09-16 20:02:51 +08:00
 airqj

大概 5W 个知乎用户的 500 条动态
不知道放在什么地方合适呢?不想放百度网盘,自己的 vps 流量硬盘也不够。。。。
另外 把这些数据公开会不会被知乎喝茶?

7367 次点击
所在节点    程序员
49 条回复
abelyao
2016-09-16 20:04:43 +08:00
放 LeanCloud 吧,每月有 100 万次免费的数据接口调用,或者全部转为静态数据后存储在 又拍云 七牛。
a87150
2016-09-16 20:09:30 +08:00
有什么用?
ooh
2016-09-16 20:09:41 +08:00
知乎网管正在拨打东北黑社会小哥电话 ing 🤣
airqj
2016-09-16 20:13:34 +08:00
@a87150 兄弟 我把计算机话题下的所有子话题的最佳回答者的动态都给抓下来了
有没有用就看你自己了
用户推荐什么的
airqj
2016-09-16 20:17:35 +08:00
@abelyao 多谢兄弟 我试一下
URgoy
2016-09-16 20:17:43 +08:00
不知道。
youmualone
2016-09-16 20:50:47 +08:00
Disallow: /login
Disallow: /logout
Disallow: /resetpassword
Disallow: /terms
Disallow: /search
Disallow: /notifications
Disallow: /settings
Disallow: /inbox
Disallow: /admin_inbox
Disallow: /*?guide*
Disallow: /people/*-*-*-*
lslqtz
2016-09-16 21:07:57 +08:00
我想想哈。。
大小多大?
rhen
2016-09-16 21:15:12 +08:00
支持,不过 5w..根本看不完
airqj
2016-09-16 21:15:47 +08:00
@lslqtz 处理一下估计有 2G 左右
恢复成真正的数据十几个 G
airqj
2016-09-16 21:16:41 +08:00
@rhen 这不是用来看的
用来做机器学习用户推荐之类的
lll9p
2016-09-16 21:24:10 +08:00
抓情感类或者别的很喜欢讲故事的话题更好哈,用 RNN 训练之后输出一些上知乎看看得多少赞
lslqtz
2016-09-16 21:25:22 +08:00
@airqj lzma 压缩神器试试看
lslqtz
2016-09-16 21:31:05 +08:00
我找到了,你可以试试看 daocloud 。
没找到说限制带宽和流量的,但是我找到了存储空间是需要 1x 的容量,默认搞定后是有 2x 的容量,搞微信还有 3x 。
其中 1x 可以开个 docker , 1x 可以开 10g 的存储空间,就是注意优化和经常登录,这玩意容易休眠,也容易内存爆掉挂掉。
如果怕内存挂掉可以去搞微信,再来个 1x 加内存。
建议用 lzma 压缩,否则上传速度感人。
http://233.dog/f_40127258.png
http://233.dog/f_29750671.png
http://233.dog/f_48875122.png
zhouzb889
2016-09-16 21:33:41 +08:00
忘了乌云和世纪佳缘的故事了吗?
airqj
2016-09-16 21:42:25 +08:00
@lll9p 原本是打算把爬虫放到 github 上有兴趣的人把数据爬了就 PR 一下
不过目前看来不太合适
airqj
2016-09-16 21:43:14 +08:00
@zhouzb889 我这东西又不是用来盈利的
再者爬虫爬下来的 应该不会有什么事吧?
airqj
2016-09-16 21:43:52 +08:00
@lslqtz 多谢兄弟
明天试试
lslqtz
2016-09-16 21:48:04 +08:00
@airqj 如果分卷的话你可以用 oschina ,速度飞快,上传限制 1G ,分卷用 999M 就好。
http://osu.acgvideo.cn/songs/Chuunibyou-1.mp3
viko16
2016-09-16 21:48:11 +08:00
@lslqtz 图床域名好赞

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/306644

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX