要开发动态代理 IP 项目,有什么需要注意的么

2017-05-18 13:22:56 +08:00
 qwe321

本身做云主机和拨号 VPS,拥有的 IP 资源很多。发现很多客户买拨号 VPS 之类的过去自建代理 IP 然后做爬虫采集,但是这种客户的时间成本一般都比较高,拨号 VPS 因为各种因素(如运营商宽带大姨妈了)稳定性没办法很好的把控,对于大客户来说维护成本特别高。比如一些互联网巨头的程序猿再去做这些售后维护工作就太大材小用了(出现故障后需要客户先反馈给我们,然后我们进行处理)。市面上也存在着一些商业化代理 IP,但是或多或少都存在着一些弊端,比如 IP 切换的时间不受控制,或者带宽较低稳定性也不高等。我们想自己开发代理 IP 项目,原因一个部分就是因为我们的成本相对较低,另外一个如果我们直接提供给客户动态代理 IP 而不是拨号 VPS 的话,可以节省我们很大的人工量,因为出现问题的节点我们可以自行过滤掉,提供给客户的代理 IP 基本上能保障 99.99%的可用性,另外也可以提高我们产品的利润率。 所以,问题来了,想问问有做爬虫的朋友们,在使用代理 IP 的时候都有什么具体的需求?以便于我们在开发的过程中更加贴近客户的需求。

6484 次点击
所在节点    问与答
56 条回复
firefox12
2017-05-19 09:59:51 +08:00
问一个技术问题 拨号 vps is 是说和电信那里播号吗?难道这个账号可以多开?
qwe321
2017-05-19 10:16:11 +08:00
@firefox12 这个是商务问题了,你可以买几百个账户。

@changwei 并不是

@SP00F 感觉比较复杂,做代理 IP 简单多了
LokiSharp
2017-05-19 12:59:20 +08:00
看价格吧
SP00F
2017-05-19 13:19:10 +08:00
@firefox12 对的,只提供一个接口,后端自己提交到代理池处理后直接返回内容由爬虫处理内容,每次抓取都走接口


@qwe321 只要做一个后端的请求处理,分发给代理池去请求结果返回即可。。这样保持用一个接口,就可以达到使用任意代理池。用户就不用考虑代理池的清洗验证了
qwe321
2017-05-19 13:57:32 +08:00
@SP00F 等我们把代理 IP 开发出来,再考虑一下这个项目。
surfire91
2017-05-19 14:45:43 +08:00
不知道卖爬虫代理 ip 表的有没有市场
qwe321
2017-05-19 15:53:37 +08:00
@surfire91 这是什么
surfire91
2017-05-19 16:34:00 +08:00
@qwe321 比如有些站不愿意爬虫爬,又不想花大精力跟爬虫斗智斗勇,就直接买专门提供代理服务的 ip 列表,直接进黑名单。
firefox12
2017-05-19 17:19:56 +08:00
那 这些提供 ip 的不得立刻倒闭? 你说开赌场的会把赌客名单提供给公安局的吗?
qwe321
2017-05-19 18:42:06 +08:00
@surfire91 那不可能的,提供的都是正常的家用 IP。首先你无法统计到全部的 IP,其次如果都封了等于也拒绝了 N 万的正常客户访问。如果是把我们涉及的 IP 都封了,估计全国上下受影响的客户不是一丁半点的多。
binux
2017-05-19 20:47:30 +08:00
@ik #36 我不知道啊
ik
2017-05-19 21:33:54 +08:00
@binux 昂 还是谢谢了
plantparknet
2017-06-30 07:07:13 +08:00
拨号 vps 有详细点的介绍么? ip 更换频率, 可用 ip 池多大
qwe321
2017-06-30 23:34:54 +08:00
plantparknet
2017-07-02 00:35:49 +08:00
@qwe321 好像并没有 IP 更换频率和 ip 池的介绍
qwe321
2017-07-02 03:15:25 +08:00
@plantparknet IP 不是有介绍 IP 段么?频率都没限制,都是运营商的限制,一般都是几秒之间,除了福建电信需要一二十秒外

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/362195

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX