关于批量稳定采集拼多多商品和商铺数据的技术实现途径方案请教!

165 天前
ppboyhai  ppboyhai

各位 V 友好,午饭点跟朋友聊天聊到了批量采集拼多多商品和商铺数据,然后沉淀下数据资料到自己的数据库中,可分享给第三方需要的商家使用。并且给到了这个别人开发的软件的截图。

想请教一下这种具体的实现方式是什么样的?

怎么绕过拼多多的风控验证。

挂 APP 模拟人工点击抓包采集的还是怎么。

没具体搞过爬虫这种,特意向各位 V 友请教一下

https://i.imgur.com/3PMs41y.png

1055 次点击
所在节点   问与答  问与答
10 条回复
ppboyhai
ppboyhai
165 天前
sagaxu
sagaxu
165 天前
PDD 网页版
https://mobile.pinduoduo.com/
https://mobile.yangkeduo.com/

APP 采集可能需要逆向分析接口,有人做这个生意,API 可包月用。

拼多多有个多多客,官方 API 也能拉取一些商品,但不全。
ppboyhai
ppboyhai
165 天前
@sagaxu 我尝试登录了这个两个网址,用的真实的账号和密码,点击每一个商品都显示“商品告罄”。 这是被拼多多屏蔽了么。 老兄能推荐下购买 API 的获取渠道么
sagaxu
sagaxu
165 天前
@ppboyhai 你这可能账号有问题,我是正常的。采集服务提供商很多啊,google 都搜得到,可以找几个试用对比下。
yrj
yrj
165 天前
无论是 app 还是网页,无非就是逆向加过风控,如果模拟点击,可能就不用逆向了,但效率会低。

整这玩意有法律风险吧?
happyxhw101
happyxhw101
165 天前
爬虫违法,谨慎
feiniu
feiniu
165 天前
买现成的 API 接口吧,这个 PDD 的采集,一般的搞不定的,特别是数据量大了,更难

专业的事情交给专业的做
JamesMackerel
JamesMackerel
165 天前
pdd 风控老哥估计已经盯上这个帖子了😄️
tianzi123
tianzi123
164 天前
怂什么,采集的时候记得多挂两层代理
pacino
pacino
41 天前
@sagaxu 求 google 关键词(风控大佬忽略我,萌新学习交流用)

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1071978

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX