想用 Python 做个资讯聚合站,需要用到哪些技术?

2019-11-28 15:26:05 +08:00
 onice

自己想做一个咨询采集站,类似于多个新闻站点的聚合。

我想到的思路肯定是需要 python 写爬虫去采集,是用 bs 库吗?但是目标站点网页结构发生变化,我岂不是又要更新一次代码?

我想在 web 端爬取规则搞成可配置的形式,但是感觉有点复杂。有没有更好的方法?

目前只会一些 django。如果要实现这种新闻聚合站点,应该学一些什么?

目前会的技术栈有:java,springboot,python,django,vue,jquery,bootstrap.

1598 次点击
所在节点    程序员
4 条回复
zhenruyan
2019-11-28 15:33:37 +08:00
你这么问的时候 就证明了 你上述说的技术栈 大部分没那么会叭。
dreamerlv3ex
2019-11-28 15:37:41 +08:00
Axure
ibirdyuan
2019-11-28 23:37:11 +08:00
别想太多,先实现吧,快速搞一版 demo 出来哪怕再重构也不会太费时,光想很容易就想没了
U87
2019-12-06 15:31:53 +08:00
我之前做过类似,前台可编辑爬虫规则,爬取网站有哪些等,后台会唤醒爬虫,当然暂时不考虑网页结构发生变化

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/623988

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX