[开源]新闻聚合站点，抓取科技圈即将发生的事

[Rootcat]

代码比较简单。有兴趣的可以在此基础上完善。

原理：selenium + chromedriver 用 headless 模式定时抓取头条、百度、搜狐、新浪、虎嗅等网站，过滤出带将来时的标题，存入 mongodb。用 Flask 做 web 展示。

Github 代码

Demo

[cosmo]

能分页和设置关键词就更好

[artandlol]

有点像 rss 了，还没带链接

[jisibencom]

好像不错的样子。

[TimePPT]

看标题以为能做到新闻预测……

[Rootcat]

@artandlol 开放 API 接口： http://140.143.226.167:8000/api/v1/news?page=0&limit=20

[MrJing1992]

我很好奇是如何识别即将发生的事情的，看了代码，Soga ！
https://github.com/NolanZhao/FutureNews/blob/master/news_crawler/check.py

words = ['将', '预计', '明天', '后天', '下周', '月底', '明日', '明晚', '下月', '明年', '未来', '计划于', '准备于']

[Rootcat]

@MrJing1992 老哥，稳 :)

[artandlol]

@Rootcat 那可以定时存到 Elasticsearch 进行搜索

[terencehan]

感觉不错诶

[hezhile]

可以适配移动端吗？

[bigmama]

http://thuglife8.com/hot/看我这个。

用的网站里一位老哥的代码，自用。

[bigmama]

http://thuglife8.com/hot/
看我这个。

用的网站里一位老哥的代码，自用。

[ucanuup]

《英特尔显卡部门又添一员大将 Larrabee 之父回归》，这个就不准确了。建议做个分词并结合词性标注。

[stream]

@bigmama 代码能推荐一下么？