有这样的爬虫么, 可以爬英文的文档中的单词并统计每个单词在文档出现的次数?

[xoxo419]

[ChangQin]

有，go 程序设计语言前几节就有这个 demo

[jiezhi]

python 入门里也有这个 demo 吧

[xy2401]

mark。我之前想统计 比如 spring 文档里面 的高频词汇，感觉需求类似

[yuanfnadi]

Java 入门时候写过类似 demo

[lhx2008]

读进来切一下，python 可以用 counter，java 可以用 stream

[NaVient]

python --> from collections import Counter

[qilishasha]

数组长度数组长度

[kingname]

请看这篇文章： https://kingname.info/2017/12/10/use-fsm/

[laoyuan]

手写原生

[simapple]

nltk

[soho176]

是准备统计最近十年高考英语卷，出现频率高的单词吗？

[fengche361]

爬取+分词+wordcount ？

[yuriko]

第一反应是 MapReduce 的范例……

[hyi]

学 python 时写过一个统计英文 txt 单词词频的 python 小脚本，用的是 nltk 库，你可以参考下思路，https://github.com/Hangyi/parse_words_frequency

[jyf]

主流的爬虫一般都会统计词频 因为有个流行的算法 TF-IDF 就是拿词频作为计算基础的

[woscaizi]

写过一个类似的东西，是统计小说中 2 到 5 字的词语出现的次数，没有考虑是否是有意义的词的情况
https://github.com/pandaTED/zhihuSpider/blob/master/src/main/java/cn/panda/hello/Hello.java

[Tink]

这点功能不如手写

[geying]

@yuriko +1