使用 Pyspider 爬取京东 Wap 版本商品价格

爬虫运行在 @binux 的 Pyspider

总想找一个站来练习一下写爬虫，于是乎，我找到了京东的Wap版。

关于京东Wap版

优点
1. 没有反爬虫的设置，似乎不限制并发链接
2. 单个页面大小比较小，对VPS来说节省流量
3. 链接结构比较整齐，比较容易分析

缺点
1. 可以采集的数据比较少，只有商品分类、名称和价格
2. 单个分类分页最多2000页，但其实不仅仅有2000页

链接分析

我们大概的思路就是：全部分类-->二级分类-->三级分类-->遍历全部分页-->采集数据

打开wap.jd.com后，我们不难就可以看出全部分类的地址：http://wap.jd.com/category/all.html

然后我们观察链接，二级分类的地址均是以http://wap.jd.com/category/开头的

三级分类的地址均是以http://wap.jd.com/products/开头的

然后，我们就可以看到商品列表页了。

在商品页中，有两类链接我们需要分析。一是商品详细页的地址，以http://wap.jd.com/product/开头；另一个是页面的页数，我们使用Pyspider的分析工具，可以知道页面的页数是HTML>BODY>DIV.page>A[href]里面的。

知道了上面的信息，我们基本上就可以写代码开始采集了。

注意

京东的地址中，会传入一个区别不同用户的cid和sid的值，例如我的就是cid=1323&sid=24faaa1458222af7f13as9kf3aa12337，实际上链接只有.html前面的部分是有用的，.html后面?开始其实都是可以忽略的。

在Pyspider中，系统是通过url来区别不同的地址的，如果是sid不同的话，会被识别成不同的页面，最后的话可能会造成重复采集的结果。

因此，我打算使用urlparse模块中的urljoin来处理这些地址，可能方法有点不对，但是还是达到了效

代码

请参考我的网站：https://imlonghao.com/Pyspider/wap.jd.com.html

后记

使用Pyspider的效率我个人还是满意的，总共大概就是我2天爬了将近500W商品，速度其实可以再进一步，因为我不敢开太大并发因为已经VPS的内存不够..............

除此之外，硬盘也不够了，记录使用默认的配置，results.db总共占用了2.1G，而tasks.db占用了12G左右

此外，给@binux 反馈一个问题，像我这样500W数据的话，通过/results/dump/jd.json无法导出数据，显示超时....

l0wkey

2016-02-16 11:16:37 +08:00

@binux
[E 160215 11:35:00 app:1423] Exception on /results/dump/zhihu.json [GET]
Traceback (most recent call last):
File "/usr/local/lib/python2.7/dist-packages/flask/app.py", line 1817, in wsgi_app
response = self.full_dispatch_request()
File "/usr/local/lib/python2.7/dist-packages/flask/app.py", line 1477, in full_dispatch_request
rv = self.handle_user_exception(e)
File "/usr/local/lib/python2.7/dist-packages/flask/app.py", line 1381, in handle_user_exception
reraise(exc_type, exc_value, tb)
File "/usr/local/lib/python2.7/dist-packages/flask/app.py", line 1475, in full_dispatch_request
rv = self.dispatch_request()
File "/usr/local/lib/python2.7/dist-packages/flask/app.py", line 1461, in dispatch_request
return self.view_functions[rule.endpoint](**req.view_args)
File "/usr/local/lib/python2.7/dist-packages/pyspider/webui/result.py", line 37, in dump_result
resultdb.get(project, 'any')
File "/usr/local/lib/python2.7/dist-packages/pyspider/database/mysql/resultdb.py", line 99, in get
where=where, where_values=(taskid, )):
File "/usr/local/lib/python2.7/dist-packages/pyspider/database/basedb.py", line 69, in _select2dic
dbcur = self._execute(sql_query, where_values)
File "/usr/local/lib/python2.7/dist-packages/pyspider/database/basedb.py", line 36, in _execute
dbcur.execute(sql_query, values)
File "/usr/lib/python2.7/dist-packages/mysql/connector/cursor.py", line 515, in execute
self._handle_result(self._connection.cmd_query(stmt))
File "/usr/local/lib/python2.7/dist-packages/flask/app.py", line 1817, in wsgi_app
response = self.full_dispatch_request()
File "/usr/local/lib/python2.7/dist-packages/flask/app.py", line 1477, in full_dispatch_request
rv = self.handle_user_exception(e)
File "/usr/local/lib/python2.7/dist-packages/flask/app.py", line 1381, in handle_user_exception
reraise(exc_type, exc_value, tb)
File "/usr/local/lib/python2.7/dist-packages/flask/app.py", line 1475, in full_dispatch_request
rv = self.dispatch_request()
File "/usr/local/lib/python2.7/dist-packages/flask/app.py", line 1461, in dispatch_request
return self.view_functions[rule.endpoint](**req.view_args)
File "/usr/local/lib/python2.7/dist-packages/pyspider/webui/result.py", line 37, in dump_result
resultdb.get(project, 'any')
File "/usr/local/lib/python2.7/dist-packages/pyspider/database/mysql/resultdb.py", line 99, in get
where=where, where_values=(taskid, )):
File "/usr/local/lib/python2.7/dist-packages/pyspider/database/basedb.py", line 69, in _select2dic
dbcur = self._execute(sql_query, where_values)
File "/usr/local/lib/python2.7/dist-packages/pyspider/database/basedb.py", line 36, in _execute
dbcur.execute(sql_query, values)
File "/usr/lib/python2.7/dist-packages/mysql/connector/cursor.py", line 515, in execute
self._handle_result(self._connection.cmd_query(stmt))
File "/usr/lib/python2.7/dist-packages/mysql/connector/connection.py", line 488, in cmd_query
result = self._handle_result(self._send_cmd(ServerCmd.QUERY, query))
File "/usr/lib/python2.7/dist-packages/mysql/connector/connection.py", line 395, in _handle_result
raise errors.get_exception(packet)
DatabaseError: 1205 (HY000): Lock wait timeout exceeded; try restarting transaction
[I 160215 11:35:00 _internal:87] 127.0.0.1 - - [15/Feb/2016 11:35:00] "GET /results/dump/zhihu.json HTTP/1.1" 500 -