新榜、豆瓣阅读数据抓取

2017-07-24 15:52:32 +08:00
 zhangyouming

公司最近在做上量，用两天时间从零开始学习，写了两个网站的抓取 demo、

新榜抓取： 1、接口是加密的，通过页面的 js 分析出了接口请求数据的加密规则。 2、需要登录才能获取数据。通过 selenium 模拟用户登录。然后抓取数据 豆瓣阅读： 1、频繁请求会封掉 ip、使用随机代理、请求延迟去获取数据

项目地址戳我，喜欢的话给个 star 吧。

2987 次点击
所在节点    Python
3 条回复
zhangyouming
2017-07-24 15:54:52 +08:00
第一次发帖。好紧张，自己顶一下。
mingyun
2017-07-24 23:06:51 +08:00
支持 py3 就好了
zhangyouming
2017-07-25 13:00:23 +08:00
@mingyun 写的时候 由于刚接触 不了解 2 和 3 有啥区别 mac 上自带 2.7 版本，所以就直接用了。。。。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/377582

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX