论文做实验需要英文分词和单词提取，有啥好python库推荐么

[stackpop]

其实主要是把一篇文章的关键词（所有出现次数大于等于1的英文单词，不考虑词组）全部提取出来然后按我自己的算法来建立索引就OK了，python直接写其实也挺方便，

不过还是想问问，有专门处理这类问题的库么？尤其是如果能直接从网页上抓取并过滤html就好了。因为实验要设计挺多不同领域的文档做统计，我就不想复制到txt了。。。。

嘿嘿，首次发主题，谢谢诸位.

[eric]

NLTK 的 word_tokenize 就能很方便的实现。
http://nltk.org/

[stackpop]

@eric 的确好强大，就是我想要的东西。之前打算用C++ 写，后来朋友建议用python,代码简洁得多，果然py强大~难怪国外好多大学CS第一门编程课改成python了，呵呵

[fanzheng]

如果只是出现次数的话用split然后counter()嘛，官方模块文档里面的counter()

[from0tohero]

NLTK最好没有之一～