这是一个专门讨论 idea 的地方。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
开发一个 IP 共享组织软件怎样？这样就解决找爬虫代理 IP 的问题了，还无法被封杀 （学语言不知道拿什么来练手的可以试试）
doubleflower · 2016-11-25 11:52:19 +08:00 · 2771 次点击这是一个创建于 2924 天前的主题，其中的信息可能已经有所发展或是发生改变。
比如写一个软件，运行在本地，对外提供一个 HTTP 代理 API 。
然后，就可能拿这个软件来成立各种爬虫分享组织，入会的条件是运行这个软件在自已的电脑上，这样会员之间的 IP 就共享了。
这个 API 需提供一个认证功能，比如要加入哪个共享组织 /密码，可能还要做积分功能防止只用不分享（可能需要一个 VPS 来管理会员和积分）。
这个软件应该不超过 2000 行代码。
怎样？有人想试吗
然后，就可能拿这个软件来成立各种爬虫分享组织，入会的条件是运行这个软件在自已的电脑上，这样会员之间的 IP 就共享了。
这个 API 需提供一个认证功能，比如要加入哪个共享组织 /密码，可能还要做积分功能防止只用不分享（可能需要一个 VPS 来管理会员和积分）。
这个软件应该不超过 2000 行代码。
怎样？有人想试吗
 |
1
nashsu 2016-11-25 11:59:57 +08:00  1
请参考 luminati
|
 |
2
cxh116 2016-11-25 12:23:42 +08:00 via Android
访问或上传非法信息怎么处理？
|
 |
3
doubleflower OP @nashsu 卧槽原理基本一样，不过价格比较感人。
|
|
4
doubleflower OP @cxh116 只支持 http get 请求啊，无法上传的
|
 |
5
missdeer 2016-11-25 12:41:28 +08:00
http post 是爬虫必须的吧
|
 |
6
ksc010 2016-11-25 13:22:06 +08:00
这个软件我已经写出来了，打算自己内部使用的
但是安全隐患不好解决 |
|
7
doubleflower OP @ksc010 那就自已买个 VPS 入会，这样就没安全问题了。
|
 |
8
yankebupt 2016-11-25 19:25:05 +08:00 via Android
安全大问题。大一点的反爬担当只要入个会申请爬个蜜罐，就能抓到大量爬虫 ip 段用来增强验证码强度，甚至可以专门每天爬蜜罐用来把 ip 库批发给其他反爬，你安全又不能安全到洋葱那种程度
|
 |
9
wizardforcel 2016-11-27 12:18:36 +08:00
我基本不用共享，需要的时候自己扫。
|
 |
10
jyf 2016-11-28 16:37:05 +08:00
昨天刚跟基友开了个这项目
|
 |
11
ji4ozhu 2017-05-11 14:35:44 +08:00
请参考 www.54nb.com
|
Select Language