关于网页版闲鱼(爬虫相关)

2019-07-18 17:47:46 +08:00
 yongsan01

访问网页版闲鱼,遇到一些问题

比如搜索关键字“手机”:

https://s.2.taobao.com/list/?_input_charset=utf8&q=%E6%89%8B%E6%9C%BA

1.进去以后发现 点任何跳转链接的按钮(点击按价格排序、按价格范围搜索)都会自动跳到这里:

https://www.taobao.com/markets/bx/deny_pc

显示内容

亲,访问被拒绝

可能因为:

请检查是否使用了代理软件或 VPN 哦~

问题是没用代理,所以有点困惑,是我的 IP 被限制了吗?

2.下拉到底部加载更多时,一直在转“加载中,请稍候”

抓了一下包,发现发出加载请求后得到的 json 是空的

https://s.2.taobao.com/list/waterfall/waterfall.htm?wp=2&_ksTS=1563442743757_129&callback=jsonp130&stype=1&st_trust=1&q=%CA%D6%BB%FA&ist=1

响应:

jsonp130({
    "numFound": 0,	
    "currPage": 0,	
    "totalPage": 0,	
    "ershouCount": 0,	
    "idleCount": 0,	
    "ershou":[		],
    "idle":[		]
})

是我的方式哪里错了吗?

9135 次点击
所在节点    Python
13 条回复
siknet
2019-07-18 17:51:10 +08:00
URL 不对,自己构造就行了
JmmBite
2019-07-18 17:53:09 +08:00
app 抓包。
HuberyPang
2019-07-18 18:31:12 +08:00
网页版没找到搜索入口呀 这个要抓 app 端吧
yongsan01
2019-07-18 19:48:52 +08:00
@HuberyPang 直接在地址栏传的参数
yongsan01
2019-07-18 19:49:08 +08:00
@JmmBite 好吧 闲鱼现在只能抓 app 端了吗
spark
2019-07-19 00:44:58 +08:00
闲鱼很早就把网页搜索入口给关了啊
mawerss1
2019-07-19 11:19:59 +08:00
http://www.xianyusoso.com/ 代码一看便知
mingyangliang
2019-07-22 10:46:53 +08:00
兄弟,问题解决了吗?
我现在也遇到了这样的问题
llll
2019-07-24 11:27:26 +08:00
@mawerss1 该网站已挂
joson1205
2019-07-30 17:16:58 +08:00
抓包看下就知道,也可以用代理重新请求看下返回是不是一样的
win7pro
2019-08-05 18:19:06 +08:00
我看黑碟软件的闲鱼监控助手,他的日志内会有“生成 token ”这样一条,每查一次关键字会生成 token 一次,不知道走的什么接口。
sczan1101
2019-08-11 21:00:55 +08:00
这个月一号彻底把网页搜索关了
iamdaguduizhang
2019-08-12 11:28:46 +08:00
网页搜索看来是没有了,我尝试了 App,抓包发现有加密参数,那就只能逆向了吗?可有老哥有其他的办法

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/584192

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX