有没有熟悉爬虫的朋友,给个思路怎么找到淘宝店铺的总产品数

2017-12-14 17:31:44 +08:00
 nan0kai

比如这个店铺:

https://muronggongzhu.taobao.com/search.htm?spm=2013.1.0.0.34501d1Ihv6oa&search=y&orderType=hotsell_desc

如何爬取取这个店铺的总商品数“ 11 ”

有思路的朋友,帮忙看下~ 谢谢

4269 次点击
所在节点    Python
6 条回复
kslr
2017-12-14 17:38:25 +08:00
可以爬移动端的搜索
rabbbit
2017-12-14 17:42:12 +08:00
在这里
<input id="J_ShopAsynSearchURL" type="hidden" value="/i/asynSearch.htm?mid=w-7829526169-0&wid=7829526169&path=/search.htm&amp;search=y&amp;spm=2013.1.0.0.34501d1Ihv6oa&amp;orderType=hotsell_desc" />
malaohu
2017-12-14 17:43:36 +08:00
爬虫这个东西还是需要慢慢琢磨的。给你点建议吧。
1. 尽量不去抓取 PC 页面。因为 PC 渲染的页面很复杂,直接去抓手机页面,相对来说难度小一点。
比如: https://shop71778107.m.taobao.com/?shop_id=71778107&user_id=851358131

2. F12 查看页面请求的数据。这个是细致的活儿。
我看了一下貌似这个全是 js 渲染的。我没细看。毕竟挺浪费时间的。
zbl430
2017-12-14 17:46:11 +08:00
nan0kai
2017-12-14 18:02:35 +08:00
感谢各位回复,个人基本功还不扎实,找好长时间没有找着。应该是 2,4 楼描述的地址。

再次感谢各位。
juedi998
2017-12-14 21:30:08 +08:00
其实挺简单的,您找不到,是因为这些数据都是动态生成的,有两种方式获取,第一种比较傻瓜式的:用 selenium 调用浏览器渲染后的页面,这种比较简单,网上一搜一堆的方案,另一种较为复杂,需要先抓包,找到接口后获取它的数据,这个需要一定的经验哦!

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/414771

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX