请教一个爬虫的问题

2020-04-03 11:44:43 +08:00
 zlfera

在爬一个网站把 header 参数,params 都写出来了,可还是爬不出来,不知道这网站有什么反爬技术。请大家看看,这是 ajax 网址: http://www.grainmarket.com.cn/centerweb/getData。 这是网站:http://www.grainmarket.com.cn/centerweb/biddingFair/planDetail/2020033100167/G。 麻烦各位大神帮我看看怎么获取他的最终数据。先谢谢大家了

1874 次点击
所在节点    程序员
15 条回复
mitu9527
2020-04-03 11:52:03 +08:00
你提交请求过去,漏了数据“param: {"m":"tradeCenterArea"}”。
zlfera
2020-04-03 11:53:53 +08:00
@mitu9527 都填了也没有用
different
2020-04-03 11:59:00 +08:00
@zlfera curl -d "param=%7B%22m%22%3A%22tradeCenterArea%22%7D" -H "Content-Type: application/x-www-form-urlencoded" -X POST http://www.g
rainmarket.com.cn/centerweb/getData
different
2020-04-03 11:59:52 +08:00
![微信截图_20200403115922.png]( https://i.loli.net/2020/04/03/IE23ewKVLkTGU5l.png)
azoon
2020-04-03 12:01:28 +08:00
试了一下,这个网站没有用任何反扒技术。
also24
2020-04-03 12:07:47 +08:00
试了下,啥都不用加就能访问的啊

https://i.loli.net/2020/04/03/ZVx9oL4OTezv6sD.png
different
2020-04-03 12:07:57 +08:00
curl -d "param=%7B%22m%22%3A%22tradeCenterPlanDetailInfo%22%2C%22requestNo%22%3A%222020033100167%22%2C%22flag%22%3A%22G%22%7D" -X POST http://www.grainmarket.com.cn/centerweb/getData


![微信截图_20200403120543.png]( https://i.loli.net/2020/04/03/XPpeGWMzcjBNZqJ.png)


哪有这么复杂,Referer,UA 都不用加,,,
zlfera
2020-04-03 12:09:45 +08:00
@different @azoon 我需要获取的是 params 是{"m":"tradeCenterPlanDetailInfo","requestNo":"2020032400286","flag":"G"}这里面的数据
zlfera
2020-04-03 12:13:15 +08:00
@also24 那些都不是我要的数据,我要的是参数是{"m":"tradeCenterPlanDetailInfo","requestNo":"2020032400286","flag":"G"}这里的数据
different
2020-04-03 12:13:37 +08:00
@zlfera 看到七楼了嘛?
把七楼的 2020033100167 换成 2020032400286

也就是 param: {"m":"tradeCenterPlanDetailInfo","requestNo":"2020033100167","flag":"G"}换成
param: {"m":"tradeCenterPlanDetailInfo","requestNo":"2020032400286","flag":"G"}
different
2020-04-03 12:14:46 +08:00
![微信截图_20200403121359.png]( https://i.loli.net/2020/04/03/osnm97dLOCSHYti.png)
also24
2020-04-03 12:15:18 +08:00
@zlfera #9
正如楼上所说,都一样的啊……

https://i.loli.net/2020/04/03/haM7kceX6xGvSPR.png
zlfera
2020-04-03 12:16:25 +08:00
谢谢大家的帮助,是我参数设置错误了,谢谢大家了
Supermanhh
2020-04-03 12:57:21 +08:00
@also24 #12 话说你门这用的都是什么软件啊
also24
2020-04-03 13:05:17 +08:00
@Supermanhh #14

@ different 是直接手写的 curl

我用的是 PAW https://paw.cloud/

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/658948

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX