V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
sebastianwade
V2EX  ›  程序员

如何尽可能多的获取全世界所有 online 的域名列表(包括子域名)

  •  
  •   sebastianwade · 2020-08-17 15:17:34 +08:00 · 2650 次点击
    这是一个创建于 1559 天前的主题,其中的信息可能已经有所发展或是发生改变。

    有没有好的实现办法,有没有做过的同学。

    第 1 条附言  ·  2020-08-17 18:57:14 +08:00
    目前的做法是:各种顶级域名按照各维度的( seo 、行业等)排名先把 topX 抽出来,然后针对每个域名再去抓各自的子域名。这样做经常要修复采集端,有点浪费时间。
    第 2 条附言  ·  2020-08-17 18:58:16 +08:00
    目前的做法是:各种顶级域名按照各维度的( seo 、行业等)排名先把 topX 抽出来,然后针对每个域名再去抓各自的子域名。这样做经常要修复采集端,有点浪费时间。
    10 条回复    2020-08-18 16:30:14 +08:00
    niuroumian
        1
    niuroumian  
       2020-08-17 16:45:56 +08:00 via Android
    先手动列出一些知名网站,然后深度优先探索
    wszgrcy
        2
    wszgrcy  
       2020-08-17 16:46:47 +08:00 via Android
    @niuroumian 那么如果有个网站没有被引用或,如何知道么?
    imn1
        3
    imn1  
       2020-08-17 16:47:12 +08:00
    穷举,🐶
    niuroumian
        4
    niuroumian  
       2020-08-17 16:49:07 +08:00 via Android
    只能上 bruteforce 喽
    kernelpanic
        5
    kernelpanic  
       2020-08-17 16:57:52 +08:00   ❤️ 3
    扫描全部 ipv4 的 443 端口,提取证书里的域名
    crt.sh/?q=baidu.com
    ym1ng
        6
    ym1ng  
       2020-08-17 17:12:15 +08:00
    拿下根域名服务器(逃
    sebastianwade
        7
    sebastianwade  
    OP
       2020-08-17 18:49:05 +08:00
    @kernelpanic 居然还有这好东西, 多谢
    sebastianwade
        8
    sebastianwade  
    OP
       2020-08-17 18:49:34 +08:00
    @niuroumian 现在就是这么多做的,数据清洗有点心累
    lijialong1313
        9
    lijialong1313  
       2020-08-17 20:16:41 +08:00
    我想了一下……
    直接问域名服务器可以考虑吗?
    learningman
        10
    learningman  
       2020-08-18 16:30:14 +08:00
    @lijialong1313 你是拿着域名去查 IP,拿着 IP 只能查一个 rDNS
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2770 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 14:46 · PVG 22:46 · LAX 06:46 · JFK 09:46
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.