像这种多新闻来源的爬虫，是每种来源都做一套爬虫？

[secsilm]

如果不是，通常是用啥方法来做？

[est]

这个大概率是坐了一个小编

[shanlan]

1.官方 API
2.人肉抓取
3.定制爬虫

[secsilm]

@est 是个狠人，这得多少人干这

[murmur]

官方的新闻直接爬，非官方的人工洗稿

[twor2]

应该是人工的吧，至少半人工

[ired]

@est 同意，人肉 API

[secsilm]

@murmur 直接爬的话，是不是也得每种来源搞一套爬虫？这工作量感觉不小啊

[litmxs]

就算是人力成本也不是很高吧

[andylsr]

@secsilm 原则上每个来源写一个解析就行了

[est]

@secsilm 没有人的话，万一新闻源搞了个大新闻，你自动同步上去，等于你也有一份泽任吧。

[jellybool]

@est 泽任这个词，excited ！

[freakxx]

不是一套，

一般是先自己搭个框架，
像这种，可以分别写 爬取机制 + 清洗机制(parse )，然后做入库。



像 v 站一个老哥的，pyspider 用来做这玩意就还不错。

[locoz]

新闻类的直接上智能提取就行了，不用写规则，而且这种需求就无脑刷最新新闻那一页就行。
至于最终发布…显然部分非官方的新闻是人肉处理的，有新闻就直接推到编辑那，审核没问题了再提出关键内容放上去。

[nocoolsandwich]

看你样子是想要疫情的数据吧,github 有人整理好了,数据来源丁香园好像是.https://github.com/BlankerL/DXY-COVID-19-Data

[delectate]

来源就那几个，写规则就好；一般人机器爬，人肉审、二审、发。

[alaikis]

做几个规则，一个源配置一下就好呀，没那复杂

[murmur]

@secsilm 官方新闻其实就那么几个源，一个字都不能改

[secsilm]

@locoz 智能提取是个什么鬼

[Ericcccccccc]

人力成本很低啊

[locoz]

@secsilm #18 比如 https://github.com/kingname/GeneralNewsExtractor