蜘蛛是如何发现网络上的网站/域名的？

[yitd]

比如解析了一个二级 /域名，蜘蛛是如何知道存在这个二级 /域名的？
域名后缀那么多，挨个扫？不现实吧？

[opengps]

蜘蛛不会知道的。
如果没有外链，没有主动推送提交，没有 sitemap 引路，那么你这个二级域名的站点几乎等同于沉入了“暗网”

[chinvo]

Google 同时还会用 chrome 去获取新链接

[OneMan]

你要自己去提交。
做个出名蜘蛛很爽吧，这边主动喂料，那边主动交钱。

[xyjincan]

跑字典，或者直接在 dns 哪里批量获取？

[Ultraman]

这里是 cloudflare 的解释。
https://www.cloudflare.com/learning/bots/what-is-a-web-crawler/
web crawler bots start from a seed, or a list of known URLs. They crawl the webpages at those URLs first. As they crawl those webpages, they will find hyperlinks to other URLs, and they add those to the list of pages to crawl next.

[yitd]

@opengps 有许多网站都没有建设好，比如搜索 Welcome to nginx! 后面几页开始就会有很多默认页面，这没有任何推送引路同样被收录

[Ultraman]

不如自行挂一个网页随便放点什么东西，再绑一个从来没用过的（二级）域名，你自己也不要访问避免如上老哥讲浏览器上传 URL 这种情况，然后等几天回来观察访问记录看 bot 能不能发现。

[LukeChien]

通过 dns，公共 dns 谷歌、百度、阿里都有。权威 dns 最早 dnspod 是和各家搜索引擎合作的。

[binfeng]

dns

[chihiro2014]

一般是自己提交，然后爬虫会去爬

[Showfom]

一般你用 Chrome 联网访问过就会被 Google 知道了

[dream7758522]

据说 36x 的蜘蛛，只要是同款浏览器再隐蔽的链接也能被抓