[开源]新闻聚合站点，抓取科技圈即将发生的事

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

爱意满满的作品展示区。

这是一个创建于 2377 天前的主题，其中的信息可能已经有所发展或是发生改变。

代码比较简单。有兴趣的可以在此基础上完善。

原理：selenium + chromedriver 用 headless 模式定时抓取头条、百度、搜狐、新浪、虎嗅等网站，过滤出带将来时的标题，存入 mongodb。用 Flask 做 web 展示。

Github 代码

Demo

代码

虎嗅

flask

Selenium

14 条回复 • 2018-06-27 12:22:47 +08:00

cosmo

2018-06-20 20:52:23 +08:00 via Android

能分页和设置关键词就更好

artandlol

2018-06-21 08:07:12 +08:00 via iPhone

有点像 rss 了，还没带链接

jisibencom

2018-06-21 08:25:53 +08:00

好像不错的样子。

TimePPT

2018-06-21 08:51:17 +08:00 via iPhone

看标题以为能做到新闻预测……

Rootcat

2018-06-21 09:05:43 +08:00

@artandlol 开放 API 接口： http://140.143.226.167:8000/api/v1/news?page=0&limit=20

MrJing1992

2018-06-21 09:14:28 +08:00

我很好奇是如何识别即将发生的事情的，看了代码，Soga ！
https://github.com/NolanZhao/FutureNews/blob/master/news_crawler/check.py

words = ['将', '预计', '明天', '后天', '下周', '月底', '明日', '明晚', '下月', '明年', '未来', '计划于', '准备于']

Rootcat

2018-06-21 09:59:24 +08:00

@MrJing1992 老哥，稳 :)

artandlol

2018-06-21 11:22:21 +08:00

@Rootcat 那可以定时存到 Elasticsearch 进行搜索