TF-IDF SDN 顶级开源社区 OVS 分析

[alexapollo]

前两天想要分析开源社区的大致方向，裸写了个 TF-IDF ，用来分析邮件（进而知道社区热门话题、方向）。
效果一般般，不过 TF-IDF 写的倒感觉有点用，来共享下，看看大家有没有意见~

项目地址： https://github.com/geekan/pytfidf
功能：自动分析同路径下的 txt 结尾的文件，生成对应的 TFIDF （ per doc ）

--- python/tfidf ‹ master* M › » python genr_idf2.py
calculating tf-idf, please wait..
Top words in document 1
('2015-April.txt', [(u'Apr', 0.010277195365977952), (u'nuvula.ch', 0.003959742920420917), (u'ccu.edu.tw', 0.0023527739201665092), (u'ubuntu.com', 0.001667612536263859), (u'supcom.tn', 0.0012544223755531912), (u'actor', 0.0011954529172162112), (u'partner', 0.0011954529172162112), (u'network-scripts', 0.0011763869600832546), (u'host26', 0.0011763869600832546), (u'astgosen', 0.0009803224667360455), (u'cs.ccu.edu.tw', 0.0009803224667360455), (u'entry=0x0', 0.0009307604853565725), (u'marco', 0.00075567612985132), (u'canonical.com', 0.0007471580732601321), (u'checking', 0.0006704908276598603), (u'alliedtelesis.co.nz', 0.0006535483111573637), (u'Marco', 0.0006196544264780824), (u'ds=ds', 0.0005977264586081056), (u'port_priority', 0.0005977264586081056), (u'www.nuvula.ch', 0.0005817253033478579)])
Top words in document 2
('2015-August.txt', [(u'Aug', 0.003634402984413171), (u'qemu_group', 0.002360795350797748), (u'memoryBacking', 0.0022846406620623365), (u'Gabe', 0.0022249321456754424), (u'Sean', 0.002169136507262212), (u'Black', 0.0018379874246884087), (u'AMEXMB01.ds.jdsu.net', 0.0018379874246884087), (u'su', 0.001779945716540354), (u'August', 0.0015477788839481337), (u'Mooney', 0.0015090844118494304), (u'viavisolutions.com', 0.0012962648153065622), (u'Gabe.Black', 0.0012962648153065622), (u'Lange', 0.0012575703432078586), (u'Resubmitted', 0.0012050758373678954), (u'xml', 0.0011505870110741928), (u'libvirt-qemu', 0.00104078074605062), (u'arg', 0.0009941875658285137), (u'yiv5620352777', 0.0009392411610700717), (u'br-p6p1', 0.0009138562648249347), (u'apparmor', 0.0009138562648249347)])