亲，怎么优雅的爬取豆瓣东西(dongxi.douban.com)的商品呢？
jerryge · 2014-11-20 19:40:08 +08:00 · 4621 次点击这是一个创建于 3654 天前的主题，其中的信息可能已经有所发展或是发生改变。
嗯，如题。可以忽略“优雅”。
 |
1
carmark 2014-11-20 22:27:29 +08:00
加入豆瓣的DBA团队，写个后台程序，自动下载。
|
 |
2
joyqi 2014-11-20 22:28:23 +08:00  1
进入豆瓣机房，记得带上u盘
|
 |
4
passluo 2014-11-20 22:38:41 +08:00
其实没多少数据，直接暴力爬很快就爬完了。
|
 |
8
xpol 2014-11-21 00:16:10 +08:00 via iPad
优雅，就是爬一会儿，歇一会儿。两个请求之间加点间隔。同时运行的请求不能太多。比人快就行。
|
 |
10
onlyice 2014-11-21 00:29:55 +08:00
带登陆态的 Cookie，带 Refer，用 Scrapy 随机延迟，用大运营商 IP。。
|
 |
11
garipan 2014-11-21 00:31:07 +08:00 via Android
豆瓣东西实在没啥东西啊
|
 |
12
JoeShu 2014-11-21 00:34:29 +08:00
豆瓣东西数据不多，而且更新也没有那么频繁，慢慢抓呗
|
 |
13
happywowwow 2014-11-21 01:53:11 +08:00
以前无聊，写过爬小组图片的爬虫
然后爬了<请不要害羞>组的图片 。。。 sleep(1) 1秒一次的请求，就ok了 |
 |
14
simplise 2014-11-21 08:58:14 +08:00
@happywowwow 抓得图片呢~~哈哈哈
|
 |
15
010blue 2014-11-21 09:34:35 +08:00
可使用深蓝阅读： http://bluereader.org/ 订阅，然后通过http://api.bluereader.org/ 接口同步到自己的站
|
 |
16
shawngao 2014-11-21 09:41:34 +08:00
@happywowwow 我也写了个,golang的
|
|
17
happywowwow 2014-11-21 11:50:38 +08:00
|
Select Language