想请问下大家,有没有什么方法能判别网站所包含的网站总数

2019-07-29 15:07:36 +08:00
 tohearts

想对某一个网站较快的方法得出其网站链接总数。

1085 次点击
所在节点    程序员
2 条回复
sleepm
2019-07-29 15:33:47 +08:00
在谷歌中 site:site.domain
在网页中找 sitemap.xml
找网站所使用的程序,举个例子,比如文章列表页,多少个目录,一页多少个,共多少,累加
得到完全具体的数字数字那是不可能的,自己建的站都不知道多少链接。。。。
silencefent
2019-07-29 17:00:28 +08:00
开个爬虫,一级域名通配符一页页抓 url,放 redis 里面用布隆过滤器去重

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/587174

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX