如何大规模爬狗家和猫家的商品信息又不被 BAN，有什么绝窍吗？

2017-10-28 15:37:25 +08:00

Dannytmp

想扒些数据来分析分析，扒少了看不出规律，扒多了人家又有意见，想找个窍门避开。

1930 次点击

所在节点

9 条回复

ranleng

2017-10-28 15:50:07 +08:00

直接要数据.
或者代理 ip
或者找些开放的数据分析分析

whatsmyip

2017-10-28 16:57:05 +08:00

IP 要多，下手要轻

odirus

2017-10-28 18:11:21 +08:00

让大家在浏览器安装插件，然后每个人就是一个数据采集源。

不知道网易慧慧是不是这样的，纯属猜测。

这个方案的难点是怎么让第一批用户安装插件，大厂天生有优势。

shapl

2017-10-28 19:22:38 +08:00

猫家有 API，狗家不清楚。

hellojay

2017-10-28 19:31:38 +08:00

@odirus 是这样

geekboy

2017-10-28 19:45:15 +08:00

16 年爬过狗家与猫家，猫家没代理 ip 基本不行，狗家还好~

Dannytmp

2017-10-28 23:03:00 +08:00

@shapl 需要哪个级别的 API ？

shapl

2017-10-30 08:58:52 +08:00

@Dannytmp 你去 X 宝开放平台找，百川无线，有个获取商品详情的，不知合不合你要求。随便申请得到。

Dannytmp

2017-10-30 14:48:25 +08:00

@shapl 谢谢

第 1 页／共 1 页

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.