微信公众号文章语料库

2016-05-06 15:00:34 +08:00
 linsun84

部分网络抓取的微信公众号的文章,已经去除 HTML ,只包含了纯文本。每行一篇,是 JSON 格式, name 是微信公众号名字, account 是微信公众号 ID , title 是题目, content 是正文。

Clone 完 Git 之后,要用 git lfs fetch 来拿主要的文件。

目前数据大约 1G ,数据会定期更新增加。

请只用于研究用途。

https://github.com/nonamestreet/weixin_public_corpus

4967 次点击
所在节点    Python
4 条回复
sharp
2016-05-07 15:14:52 +08:00
你是怎么抓的
xlxlxlxl
2016-05-08 14:53:57 +08:00
我该说 1024 还是好人一生平安(●'◡'●)
楼主好人
songkaiape
2016-05-09 11:00:05 +08:00
同问怎么抓取的。。好奇
linsun84
2016-05-09 12:36:24 +08:00
文章蛮多的
http://www.cnblogs.com/java-wgm/p/5088674.html

主要有验证码和各种限制。刚更新了,数据增加到了 3G 。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/276769

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX