Python 分布式抓取京东商城评价并且使用 pandas 进行快速、全面、高提炼度和高对比度的数据分析

2017-04-20 12:44:32 +08:00
 awolfly9

分布式抓取京东商城评价并且使用 pandas 进行快速、全面、高提炼度和高对比度的数据分析

互联网购物现在已经是非常普遍的购物方式，在互联网上购买商品并且使用之后，很多人都会回过头来对自己购买的商品进行一些评价，以此来表达自己对于该商品使用后的看法。商品评价的好坏对于一个商品的重要性显而易见，大部分消费者都以此作为快速评判该商品质量优劣的方式。所以，与此同时，有些商家为了获得好评，还会做一些 "好评优惠" 或者 "返点" 活动来刺激消费者评价商品。

既然商品评价对于消费者选购商品而言至关重要，那么我想试试可以从这些评价信息中获取到怎样的价值，来帮助消费者快速获取到关于该商品的一些重要信息，给他们的购物带来更加可靠地保证？

所以，我认为,一种快速、全面、高提炼度和高对比度的信息获取和展示方式将会非常必要。 于是，我采用分布式快速抓取京东的评价信息，然后使用 pandas 对抓取到的数据进行分析。

话不多说先附上使用地址
体验地址：http://awolfly9.com/jd/
体验示例地址：http://awolfly9.com/article/jd_comment_analysis

想要分析京东商城的商品评价信息，那么需要做些什么呢

分布式抓取京东商城的评价信息

采用分布式抓取的目的是快速的在短时间内尽量抓取足够多的商品评价,使分析结果更精确

  1. 以 iPhone7 https://item.jd.com/3995645.html 为例，通过 Chrome 抓包分析出京东商城的评价请求 URl https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv2940&productId=3995645&score=0&sortType=5&page=1&pageSize=10&isShadowSku=0
  2. 找出评价请求 URL 规律，获取到如下 URL 组合链接
  3. 利用 Chrome 插件 Postman 测试链接是否可用，发现京东获取评价信息并没有验证 Cookie 之类的反爬措施
  4. 开始编码利用 scrapy 抓取京东商城的商品评价信息并存入数据库以备使用

数据分析

  1. 从数据库中取出相应数据，开始分析
  2. 使用 python 的扩展库 wordcloud 分别提取好评、中评、差评的关键字，并且生成相应的词云图片
  3. 分析该商品不同颜色的销量占比，并且生成柱状图，例如 iphone7 的不同颜色金色、玫瑰金色、银色、黑色、亮黑色、还有最新出的红色的占比
  4. 分析该商品不同配置的销量占比，并且生成柱状图，例如 iphone7 32G 、 64G 、 128G 存储
  5. 分析该商品销售和评论时间并且生成折线图，分析出商品在什么时间最畅销
  6. 分析用户购买该商品的渠道，例如用户通过京东 Android 客户端、微信京东购物、京东 iPhone 客户端购物的比例，并且生成柱状图
  7. 分析购买该商品的用户的地域省份。例如北京、上海、广州那个城市在京东上购买 iPhone7 的人更多
  8. 将以上分析结果都存储保留

Django 后台 WEB

使用 Django 搭建一个简易的后台 jd_analysis ，将分布式抓取数据和数据分析连起来，并且将分析结果返回前端显示。

  1. jd_analysis 提供一个接口接受用户请求分析的京东商城商品的 URL 链接
  2. jd_analysis 接受到商品链接后开启爬虫进程开始抓取需要分析的商品的名称和评价数量
  3. 组合出完整的评价链接插入到 redis 中，实现分布式爬虫抓取，尽可能在短时间内抓取足够多的该商品评价信息（我现在是 30s 时间大概可以抓取 3000 条评价信息）
  4. 主服务器等待一定的抓取时间，例如主服务器等待 30s ， 30s 后一定要给前端返回分析结果，所以等 30s 后清空 redis 中该商品的链接，从服务器没有读取不到需要抓取的链接也就自动关闭
  5. 开启分析进程，开始分析抓取到的所有数据，并且生成图标等信息

前端展示

在客户端第一次请求时，生成一个 GUID ，并且存储在 cookie 中。然后开启一个定时器，带上 GUID 不断的向 jd_analysis 后台请求结果。 jd_analysis 后台利用请求的 GUID 从 redis 中获取抓取信息和分析结果的所有内容，返回给前端。前端显示请求到的结果。

最后附上两张效果图

购买和评论时间折线图
 购买渠道柱状图

大功告成

以上就是完整的抓取京东商品的评价信息并且使用 pandas 分析评价然后利用 Django 搭建后台前端显示抓取和分析结果的所有步骤。

再次贴上使用地址：http://awolfly9.com/jd/ 欢迎多多尝试，多挑毛病~
如果你对这个项目感兴趣欢迎和我交流沟通，我也建立了这个项目和数据分析的微信群，也可以加我好友进微信群，我的个人微信

4768 次点击
所在节点    Python
22 条回复
awolfly9
2017-04-20 13:34:46 +08:00
服务器已挂，正在重启
xiaoyu9527
2017-04-20 13:43:46 +08:00
这个真屌。
有没有实现思路？
awolfly9
2017-04-20 13:46:42 +08:00
@xiaoyu9527 上面不是已经说明了完整的实现思路吗
yanchao7511461
2017-04-20 13:53:59 +08:00
不错啊
gimp
2017-04-20 13:55:27 +08:00
挺好的
awolfly9
2017-04-20 13:55:56 +08:00
@yanchao7511461 谢谢
awolfly9
2017-04-20 13:56:09 +08:00
@gimp 谢谢
zhy
2017-04-20 13:58:24 +08:00
分布式抓取？就是有很多台机器很多 ip 了?
awolfly9
2017-04-20 13:59:36 +08:00
@zhy 目前我只有三台服务器，加上我自己的电脑是四台。同时抓取是大概 30s 能抓 3000 条左右数据
zhy
2017-04-20 14:02:08 +08:00
@awolfly9 挺厉害，学习～
onelove
2017-04-20 15:37:58 +08:00
厉害，学习了。
justtery
2017-04-20 15:56:12 +08:00
叼叼叼，来学习一下
awolfly9
2017-04-20 16:03:16 +08:00
@justtery @onelove 欢迎加我微信，进入微信群
0Zyc
2017-04-20 16:31:15 +08:00
全球购 item.jd.hk 类似这样链接好像都不行，功能很棒。思路很不错学习了。
awolfly9
2017-04-20 16:34:52 +08:00
@0Zyc 是的，现在不支持全球购。
xuyl
2017-04-20 22:47:02 +08:00
很好，如果开源出来就好了。
hanbing135
2017-04-21 07:51:32 +08:00
词云啥意思
AlisaDestiny
2017-04-21 18:58:46 +08:00
可以的小伙子，下次再京东买东西就先在你这分析一下。
maemo
2017-04-22 08:08:02 +08:00
楼主， ip 的问题是怎么解决的
awolfly9
2017-04-22 12:53:22 +08:00
@hanbing135 百度下词云

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/356132

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX