请教爬虫代理方案,成本太高了!

6 小时 26 分钟前
 callmejoejoe
想做亚马逊爬虫,用国内隧道代理和国外动态数据中心 IP 、动态住宅 IP 进行了测试:
国外动态住宅 IP 最优,但价格最贵;
国外动态数据中心 IP 也可以,但价格也贵,普遍是 8 元/1GB ,这样我的成本是 0.004 元/1page ,成熟竞品售价是 0.001 元/1page ,哪怕是 2 元,我的成本也跟竞品的销售价一样!根本赚不了钱。

还是说我需要考虑整体盈利模式?成熟竞品的收费模式大概是:
1. 基本会员:几十元一个月,可以查询数据,不可以爬取数据。
2. 付费购买流量进行爬取:98 元,可爬 10w 数据,0.001 元/1page ,每天最高可爬 10w 。

对此我的理解是:让用户付费购买爬取,爬取的数据更新到数据库,这部分数据也可以通过会员费来实现一部分盈利。但我感觉数据肯定是要达到一定量才能收费,否则用户开了会员能查的数据不多,就没意义了。所以一开始只能做爬取,所以要想盈利,就只能考虑如何降低流量成本?
也测试了快代理的国内隧道代理,偶尔能爬,昨天下午爬了 1500 页也没事,但是晚上就彻底不行了,各种重定向、响应超时,但是换国外 IP 就没问题。

疑问:
1. 有没有便宜的国外 IP 代理方案呢?
2. 国内 IP 为什么爬不了,用了 Playwright 作为下载中间件也不行,难道国内 IP 容易被亚马逊反爬虫识别?
3. 还是说我应该放弃这个爬虫方案?我看有些竞品是让用户自己电脑本地爬,但这样太慢了!但开发简单点,爬虫还要弄集群,负载均衡,数据量大了感觉数据库也是个问题,这方面都没做过,头大。

爬虫新手,希望有大佬能解解惑,感激不尽!
1737 次点击
所在节点    程序员
19 条回复
viking602
6 小时 16 分钟前
我们两套方案 一套是用机场 后端不断自动切换 IP 还有一套就是买数据中心代理 买了很多家 然后做负载均衡轮训
MFWT
6 小时 12 分钟前
国内 IP 毕竟还是会涉及到过墙问题,卡顿慢很正常
做大的那些主要还是靠量来堆,以及提高代理 IP 重用率,用各种来源的 IP (甚至有不光彩的手段,比如盗用家宽),等等
qsnow6
6 小时 9 分钟前
2 楼说的对,业内大玩家基本都是通过肉鸡降成本的,这不是常规技术手段能解决的问题。
callmejoejoe
6 小时 6 分钟前
@viking602 机场我也想到了,晚点试一试;数据中心的代理是包月吗还是按量?感觉对我这一个人瞎搞的成本还是太高了😂
callmejoejoe
6 小时 4 分钟前
@MFWT
@qsnow6
好吧,我说他们成本怎么那么便宜,看来这比我想象中的复杂多了
viking602
4 小时 57 分钟前
@callmejoejoe #4 数据中心代理这个都有 主要是找相对便宜的
yunlongV
4 小时 44 分钟前
一般动态住宅 IP 都有无限制流量套餐,大概$200 一天,有并发数和总带宽限制。按照流量买的越多越便宜,一般在$0.8/gb 左右,还是推荐买动态住宅 IP 。
laiyibeimeishi
4 小时 34 分钟前
看看 ipv6 呢?
zqqzqq
4 小时 26 分钟前
NoOneNoBody
3 小时 46 分钟前
开 100 个 tor
xcsoft
3 小时 31 分钟前
可以试试 ipv6, 有些服务商的服务器 v6 都是给整个段的 还不贵

但是不懂 ISP 的 ip 会不会有影响
Ritter
3 小时 22 分钟前
op 代理 IP 哪家买的 可以推荐一下吗
aru
3 小时 7 分钟前
aws 、digitalocean 、linode 这些 ip 能不能爬?
他们的都可以很容易的换 IP
比如用 aws ,可以创建一个实例负责调度和数据库
其他的用 spot 实例,下载流量不算钱,同一个区域内的流量也是免费的
Kinnice
3 小时 4 分钟前
别拿一个 IP 连续爬,分布负载均衡一下。
callmejoejoe
2 小时 59 分钟前
@viking602 好的谢谢
@yunlongV 对个人来说还是太贵了
@laiyibeimeishi ipv6 不知道可不可行,晚点试试
@NoOneNoBody tor 是啥?
callmejoejoe
2 小时 53 分钟前
@Ritter 我还没买,有些提供免费测试的
@Kinnice 目前只是用代理的 api 返回的 ip 直接随机爬
@aru 感觉不可行啊,换 ip 的操作不麻烦吗?
aru
2 小时 4 分钟前
@callmejoejoe
可以通过 api 操作
hujnnn
59 分钟前
亚马逊卖家, 他们基本都是用卖家精灵这些非常专业的工具.

你需要考虑你的用户是谁? 国内的卖家么, 他们都很抠的希望能白嫖.

如果你的目标用户是国外的卖家, 他们的付费意愿还是比较强的, 但你需要解决如何获取流量并转化流量.
callmejoejoe
52 分钟前
@aru 不是做后端的,看了一下文档挺复杂的,留作后备计划后续再了解了😂

@hujnnn 流量转化这些问题是后面的事了,😂目前得先把这个可行性问题解决了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1076743

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX