关于目前 V2EX 搜索所用到的软件

[Livid]

Index and Search Server:

Tokyo Dystopia http://1978th.net/tokyodystopia/

API Server:

Tornado: http://www.tornadoweb.org/

及用来起到加速目的的 Nginx 和 Memcached。

[Livid]

Tornado 是一个非常好用的技术。

如果你不方便访问 Tornado 的网站的话，这里是我做的镜像：

http://web.me.com/v2ex.livid/tornado/

[Livid]

及目前最新 0.2 版本的下载：

http://web.me.com/v2ex.livid/tornado/static/tornado-0.2.tar.gz

[gonbo]

呵呵，分词怎么做的？

[Livid]

N-gram

[gonbo]

这个，聊胜于无

[gonbo]

当然 search不是社区的主要功能，不提供也可以。呵呵

[Kenyth]

跟我之前了解到的全文搜索方案有点不一样。

你的方案应该不全是在GAE上实现的吧？

其他的server是host在什么地方的呢？

[Livid]

在另一个云里。

[Kenyth]

是在Amazon的云里吗？

[Kenyth]

还有你的index server是怎么访问这个v2ex的数据的呢，直接开的HTTP的API？ 这样要达到近似于实时索引应该要用掉不少GAE上的quota吧？

还是你已经开始用Google Storage（没用过这个，不太了解）来访问了？

[areless]

sphinx现在有realtime了。

[Livid]

2.4.0 时这部分通讯代码会开源的。

[Kenyth]

可以有的一种方案是：

<ul>
<li>Storage用独立的方案（Google的、Amazon的或者其他的，我总觉得GAE的datastore有性能问题，GAE上quota太容易就用掉了）
<li>处理一个数据变更请求时异步的ping一下索引服务器，索引服务器再去异步的访问storage并建立索引
</ul>

云一出来，跨云的解决方案也一并出来了。

[cnleoyang]

@areless 是的，刚刚发布了beta。
@Kenyth Google Storage for developers的速度和流量相当不错，官方提供python版本的库。

[Livid]

一个贴子连上回复通常数据流量是不会超过 10K 的。

[lin]

我对这些东西完全不懂，但是刚才无意中看到有一篇叫

full text search on app engine

的东西：

http://www.ultrasaurus.com/sarahblog/2010/06/full-text-search-on-app-engine/

不知道有没有什么价值，先贴上来。

[oldgun]

@Livid,这里不必翻墙。

[oldgun]

http://www.tornadoweb.org.nyud.net/