爬虫（ Python ）如何处理页面上的加载按钮？

2019-03-21 13:06:31 +08:00

SharkIng

类似于这种网站，产品列表如何一次性显示全部？访问的时候需要点击 Load More 才加载，但是用 python 之类的爬虫如何实现一次性加载全部呢？

2494 次点击

所在节点

10 条回复

lhx2008

2019-03-21 13:14:06 +08:00

抓包，和普通分页没有区别

niknik

2019-03-21 15:39:14 +08:00

error1009

Johnson66

2019-03-21 17:53:52 +08:00

The owner of this website (www.taappliance.com) has banned the country or region your IP address is in (CN) from accessing this website.

holajamc

2019-03-21 18:08:52 +08:00

wuyifar

2019-03-21 18:20:13 +08:00

做不到一次性的，解析他的接口参数，直接自己去访问

SleipniR

2019-03-21 19:09:15 +08:00

一般是触发 ajax 请求并返回 json，F12 看一下请求的链接手动触发一下。

showHand043

2019-03-22 16:25:22 +08:00

ghost 或者 selenium+phantomJS

SharkIng

2019-03-23 00:25:54 +08:00

@holajamc #4
@wuyifar #5
@SleipniR #6 发现这个情况了，但是有点不知道具体他需要什么参数得到结果

holajamc

2019-03-23 11:44:20 +08:00

相关的 JS 在这里
/html/body/div[1]/script[35]/text()
可以看看~

SharkIng

2019-03-26 01:20:18 +08:00

@holajamc 好的谢谢

第 1 页／共 1 页

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

爬虫（ Python ）如何处理页面上的 加载 按钮？