又一个天马行空的爬虫需求 大佬们来分析一下

[2ME]

leader 让我写这么个爬虫 爬取目标是文章、新闻、资讯。

初始给我个关键词库，关键词千奇百怪，可能是挖掘机哪家强也可能是个商品名、也可能是个公司名、网站名、地名各种奇奇怪怪的词语句子。

然后让我用这些词在 B 家上搜索，把是新闻的页面的新闻内容爬取下来。

从几个角度分析一下可行性?

首先我得先能识别他是不是新闻，其次是我得识别出他标题和内容在哪个标签里抽取出来，在这是这么搞的效率问题，一天能有多少产出。

我试着拿几个词搜了一下，前几页看到新闻的几率渺茫，而且从新闻类目下搜大部分词也搜不到新闻，就算搜到了也词不对题。。

[cdwyd]

百度不是有个百度新闻，去那里搜出来的都是新闻吧

[2ME]

@cdwyd 最后写了 从新闻类目下搜大部分词也搜不到新闻，就算搜到了也词不对题 主要是关键词不一定是词 大部分情况下都是啥都搜不到

[fire0594]

从页面自动抽取标题和内容，python 有 goose 和 readability 两个库

[4BVL25L90W260T9U]

你这不是爬虫问题，是文本分类，也就是 nlp 的问题

[tttwww18]

搜索引擎的 SERP 里面会有一些相对固定的返回模式，可以据此判断该 query 是否属于 news domain 然后再做提取处理。

[2ME]

@ospider 判断一个源是不是新闻不一定要 nlp 应该也可以从标记样式页面结构之类的入手吧 不过 nlp 对于我这个脚本仔来说确实太难了

[soulmine]

咱有个办法呀 你可以换个思路呀 比如你广撒网 然后爬十几二十个新闻网站 然后拿标题和你的那些关键词对比 看符不符合不就行了 ww 在或者说你去新闻这种地方去搜搜？

[miniliuke]

你找几家大的新闻网站，或者头条之类的。里面都是新闻，而且新闻网不都是我抄你，你抄我吗

[2ME]

@soulmine 这种思路被 leader 做为没有办法的办法 - - 需求内容一般都是 to B 的 有些新闻源都被爬烂了

[2ME]

@miniliuke B2B 的新闻资讯 和头条 163 这些不太搭边 不然直接爬这些新闻站就完了 需求用百度搜就是想爬一些小企业站的原创伪原创吧估计

[Pinwheel]

我们也有这样的需求，用关键词去搜索引擎搜索，不过我们是要做更细的历史、体育之类更加细分的东西。

先去爬门户网站的特定栏目数据作为样本，分词统计概率，再将从搜索引擎抓下来的内容用贝叶斯分类去找概率最高的，基本可以满足要求。

[miniliuke]

@Pinwheel 我感觉他是想要企业新闻类似的，一般企业新闻不会在新闻站中出现。只有大部分只有企业官网上有......就怕各个企业发稿天马行空

[2ME]

@miniliuke 是这需求
@Pinwheel 我是 SEO 爬完按 DM25 匹配一下就行了 别的对我来说就超纲了 = =

[2ME]

#13 DM25 -> BM25

[insoxin]

我 https://api.isoyu.com/demo/#/