支撑一个面向国内的开源分布式搜索引擎需要多少人力物力?

[xuanwu]

看到又一个搜索引擎坑( https://www.v2ex.com/t/487957), 不吐不快, 在 2010 年的时候做了个火狐插件 FromWhereToWhere 实现基于 clickstream 对本地浏览历史进行可视化(在新版火狐中已不可用). 当时觉得可以通过它共享结构化和主题化, 并且已经过人工过滤的浏览历史 /网页集合. 如果有足够的共享的数据, 就可以做一个小型搜索引擎, 也许能克服纯计算进行信息提取的一些问题. 当时觉得集中式搜索引擎的问题很多是通病, 而且在搜索算法不公开透明的情况下, 很难建立与最终用户的信任. 白驹过隙, 现在的搜索技术和计算资源的普及程度比那时又不可同日而语.

问题: 最小需要多少物资人力投入支撑一个搜索算法开源透明, 靠社区监督报告(也是公开的)补足算法的错漏, 靠自愿投入的计算资源(抓取+索引+共享)支撑全网数据更新的搜索引擎呢? 假设分布式以及数据本地化的架构可以使搜索流量的绝大部分(比如 99/100)通过访问其他节点而非通过直接访问主站进行(是否实际?)

[encro]

曾经做了一个索引 osc,csdn,stackoverflow 等 7 个编程网站数据的搜索引擎。数据压缩后也就几个 G 而已。一台阿里云虚拟机足够

另外一个美国亚马逊，德国亚马逊，日本亚马逊，大部分数据的海淘搜索引擎，大概 7000 万数据。一个月营业额几百万吧，8 核 16G 阿里云虚拟机做均衡。

[xuanwu]

@encro 专业数据和通用搜索引擎的数据量和负载应该有几个量级的差别吧.

[encro]

@xuanwu 基本原理（存储结构和索引方式）基本是一样的，所以不存在很大的差别，谷歌百度之类可能性能能提高 10 倍以上，比如利用 GPU，前置缓存层等。