奇思妙想：灵光闪现，想搞一个爬虫平台，有没有可能会火？

[dbfox]

（不喜勿喷：都说了是灵光闪现）

想法是这样子的：

首先有这样一个平台，可以让爬虫爱好者提交爬虫上来 （不仅仅是可以爬网站，还可以爬公众号、头条号 ====）

比如：某爬虫爱好者，提交了一个 V2EX 最新帖子 和 最热帖子的爬虫进来

然后：这个爬虫可以让其他用户订阅使用

当聚集了一定的爬虫爱好者，每天会产生很多内容

主要的意义：聚合碎片化的阅读，为用户节约时间

当然一个平台需要不断的优化调整才能达到更好的体验，
这只是一个小小的想法，不知道能吸引到人来写爬虫不

[Evrins]

好像已经有一个这样的网站了

[dbfox]

@Evrins 求地址

[shower]

@dbfox 即刻

[watzds]

那么多爬虫 /反爬虫工程师，那么费劲，一定程度上共享得了

[lneoi]

已经有了...V 站里之前不就有在推广

[evlos]

之前那个搞什么云爬虫的服务在 V2EX 做了那么多推广也没见人再提过 …

[dbfox]

@evlos
@lneoi

我也知道那个，用了两下，觉得可玩性不好，而且有点复杂了，不过技术应该很强
而且他主要是做通用爬虫，而我倾向内容聚合，产品不在一个方向

[ywgx]

可爱的

[beastk]

就怕被不法分子利用

[dbfox]

@ywgx ?_?

[dbfox]

@beastk 安全问题不必考虑太早，技术做产品大忌

[40huo]

之前好像看到过一个做了个框架，然后上面有各种人写的爬虫，还有些是付费的。

[liangjing414]

网上 搜 “神箭手”，不谢

[qiqico]

有个网站 showapi, 提供很多接口调用，其中也包括一些爬虫接口，还可以在线自定义爬取规则

[ersic]

@dbfox 聚合话应该就是即刻了

[cheetah]

即刻： https://okjike.com

[1931]

深蓝阅读？

[em70]

很早前就见过,主打不是共享,而是傻瓜化爬取,还是工具型的产品,不吸引人.

按楼主的想法,应该是数据驱动的,核心是爬取的数据共享,比工具共享要好,可以试试

[110male]

管理，封他账号，他要爬 v2ex

[dbfox]

@110male
^_^

只爬列表，不抓取内页，最终访问地址还是到源网站上