推荐书目
› 高性能网站建设进阶指南
› High Performance Web Sites
› Google Hacks: Tips & Tools for Finding and Using the World's Information
关于 Google SEO 最好的一本书
› High Performance Web Sites
› Google Hacks: Tips & Tools for Finding and Using the World's Information
关于 Google SEO 最好的一本书
这是一个创建于 1691 天前的主题，其中的信息可能已经有所发展或是发生改变。
比如解析了一个二级 /域名，蜘蛛是如何知道存在这个二级 /域名的？
域名后缀那么多，挨个扫？不现实吧？
域名后缀那么多，挨个扫？不现实吧？
 |
1
opengps 2020-04-06 23:39:07 +08:00
蜘蛛不会知道的。
如果没有外链，没有主动推送提交，没有 sitemap 引路，那么你这个二级域名的站点几乎等同于沉入了“暗网” |
 |
2
chinvo 2020-04-06 23:44:18 +08:00 via iPhone
Google 同时还会用 chrome 去获取新链接
|
 |
3
OneMan 2020-04-06 23:45:58 +08:00
你要自己去提交。
做个出名蜘蛛很爽吧，这边主动喂料，那边主动交钱。 |
 |
4
xyjincan 2020-04-06 23:46:31 +08:00 via Android
跑字典，或者直接在 dns 哪里批量获取？
|
 |
5
Ultraman 2020-04-06 23:47:54 +08:00 via Android
这里是 cloudflare 的解释。
https://www.cloudflare.com/learning/bots/what-is-a-web-crawler/ web crawler bots start from a seed, or a list of known URLs. They crawl the webpages at those URLs first. As they crawl those webpages, they will find hyperlinks to other URLs, and they add those to the list of pages to crawl next. |
 |
6
yitd OP @opengps 有许多网站都没有建设好，比如搜索 Welcome to nginx! 后面几页开始就会有很多默认页面，这没有任何推送引路同样被收录
|
|
7
Ultraman 2020-04-06 23:54:55 +08:00 via Android
不如自行挂一个网页随便放点什么东西，再绑一个从来没用过的（二级）域名，你自己也不要访问避免如上老哥讲浏览器上传 URL 这种情况，然后等几天回来观察访问记录看 bot 能不能发现。
|
 |
8
LukeChien 2020-04-07 02:38:07 +08:00 via Android
通过 dns，公共 dns 谷歌、百度、阿里都有。权威 dns 最早 dnspod 是和各家搜索引擎合作的。
|
 |
9
binfeng 2020-04-07 02:54:01 +08:00 via iPhone
dns
|
 |
10
chihiro2014 2020-04-07 02:55:13 +08:00
一般是自己提交，然后爬虫会去爬
|
 |
11
Showfom 2020-04-07 08:14:39 +08:00
一般你用 Chrome 联网访问过就会被 Google 知道了
|
 |
12
dream7758522 2020-04-07 08:48:19 +08:00 via Android
据说 36x 的蜘蛛，只要是同款浏览器再隐蔽的链接也能被抓
|
Select Language