如何判断一个 url 是不是一个 news article page？

[jyb002]

我想下载尽可能多的新闻文章，现在用的是 Scrapy 来搭建爬虫，然后用 newspaper ，一个抓取新闻 metadata 的包，来抓取文章的标题、正文等。
会遇到一些 url ， newspaper 还是能抓取出一些东西，然后保存进来。想问下有没有办法，判断出 url 是否是 news articles page 。
有大神知道，像 google news 他是爬取整个网络，是怎么判断出文章链接的？

[MasterYoda]

新闻和其他信息不同，搜索引擎有专门收录新闻网站。。。
你可以看看百度和 Google 的新闻收录规定，你可以提交你的新闻网站，他们的收录方式不同，估计可以从这里判断出哪些是新闻吧。

[WKPlus]

是指 url 去重么？ bloom?

[say2old]

新闻页面一般都是模板生成，在 URL 上一定符合某种 pattern 。你可以先通过某种方法收集新闻网页的 pattern （比如楼上说的去搜索引擎专门收录新闻网站的地方收集），然后做成 pattern 白名单在 scrapy 里面用，这样抓下来的所有页面都是新闻，再交给 newspaper 处理。如果希望通过文本分析判断一个页面是不是新闻，可以做，但不一定有新闻白名单的方案，简单且质量高

[zog]

数据量很大 bloom ，不大，几千几万个用 md5 吧。

[poke707]

试试能不能把 sitemap 挖出来

[jyb002]

自答：
google_source: https://github.com/codelucas/newspaper/blob/python-2-head/newspaper/resources/misc/google_sources.txt
popular_source: https://github.com/codelucas/newspaper/blob/python-2-head/newspaper/resources/misc/popular_sources.txt

[jyb002]

Python Code:
import newspaper

url = '要判断链接‘
a = newspaper.article(url)
a.is_valid_url()

[pinggaimuir]

@jyb002 非常感谢