V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
kenneth
V2EX  ›  程序员

全世界一共有多少网站,多少注册域名?如何获得所有网站的域名?

  •  
  •   kenneth · 2012-12-18 11:22:54 +08:00 · 6847 次点击
    这是一个创建于 4362 天前的主题,其中的信息可能已经有所发展或是发生改变。
    DNS服务器上,有所有网站域名->ip的数据库?全否?
    求高手释疑。
    21 条回复    1970-01-01 08:00:00 +08:00
    iloahz
        1
    iloahz  
       2012-12-18 11:36:37 +08:00
    AFAIK,一般大家用的dns上都是没有数据的,只有缓存的一些结果。他们也是接到请求后,然后看看缓存,没有的话就去根服务器查询的,反正他们自己是没有什么数据的。dns协议里面也有一个是否支持递归查询,貌似叫RCODE什么的。

    感觉数据应该是在根服务器上。

    v2ex不是有dns么,求@livid 权威解答
    qiayue
        2
    qiayue  
       2012-12-18 11:37:49 +08:00
    域名whois查询是可以查询到任何域名的是否注册信息的,所以你可以用以下方案:
    1、建立一个1位到63位的由字母、数字、中划线组成的字典(目测字典很大,具体多大我笨,算不出来);
    2、建立一个域名后缀字典,收录全球所有域名后缀以及对应的whois查询服务器;
    3、1字典x2字典=所有的域名组合(包括已注册的和未注册的);
    4、查询3组合的每一个域名,量很大,所以你要想办法。
    yeh
        3
    yeh  
       2012-12-18 11:38:15 +08:00   ❤️ 1
    明显不是。

    1.电信等的dns解析服务器,因为很多域名没人访问,所以不可能全。
    2.域名解析服务器例如dnspod这样的,这个服务器太多了,所以也不全。
    3. gtld国际域名数据库都是不同商家代维护的,加上cctld国家级别的,服务器太多了。
    4.很多网站不做解析的。

    域名分分秒秒在新增,也每天在过期注销,这个数字不可能准确。
    qiayue
        4
    qiayue  
       2012-12-18 11:49:50 +08:00
    每一个域名都是有自己的whois查询服务器的,往这个服务器的指定端口发socket查询请求,会返回查询结果。
    iloahz
        5
    iloahz  
       2012-12-18 11:57:34 +08:00
    79bxh9b
        6
    79bxh9b  
       2012-12-18 12:11:59 +08:00
    所以说科学计数法让人失去了对数字的敏锐判断
    explayer
        7
    explayer  
       2012-12-18 12:24:34 +08:00
    mark
    jiangle
        8
    jiangle  
       2012-12-18 12:32:01 +08:00   ❤️ 1
    kenneth
        9
    kenneth  
    OP
       2012-12-18 13:28:49 +08:00
    @qiayue 的方法,估算的蛮准了。只是不知道如何用Python做这样的字典。如果太大了,内存也不够吧。
    cabbala
        10
    cabbala  
       2012-12-18 13:37:17 +08:00
    @kenneth “内存也不够”。。果然“科学计数法让人失去了对数字的敏锐判断”

    1PB ~ 10^15 @qiayue那个10^98人类想遍历一次估计到宇宙末日了
    cabbala
        11
    cabbala  
       2012-12-18 13:46:50 +08:00   ❤️ 2
    @kenneth

    来个估算,根据热力学第二定律,要使一bit数据从1变成0或者从0变成1,所需要的最小能量不小于kT,其中k是波尔兹曼常数,T是绝对温度。

    假如我们有一台在宇宙空间运行的超级计算机,T=3.2K。那么可以计算出太阳每年输出的能量最多只能使2.7 × 10^56 位数据发生变化。

    而如果人类建设一个戴森球拦截太阳发出的所有能量供该超级计算机使用,那么遍历6*10^98则需要2*10^42年,也就是大约10^32倍宇宙年龄

    [1] http://security.stackexchange.com/questions/25375/why-not-use-larger-cipher-keys
    goool
        12
    goool  
       2012-12-18 13:55:28 +08:00
    @cabbala 感谢,上了一课。
    kenneth
        14
    kenneth  
    OP
       2012-12-18 14:42:23 +08:00
    @qiayue 的思路不错
    @cabbala 感谢你的深入分析,确实需要考虑这个数字,太大了也。
    @Livid 感谢Livid,这个也算蛮精确的第三方统计,可惜就是没有提供数据库供下载。
    cjjia
        15
    cjjia  
       2012-12-18 15:25:25 +08:00
    我昨晚在想,假如人类遭遇灭顶之灾需要迁移的话,备份整个互联网需要多大的硬盘。
    chuangbo
        16
    chuangbo  
       2012-12-18 16:15:33 +08:00
    com/net/org/info/asia 的 zonefile 是可以花钱下载到的,这几个后缀包括了绝大部分域名,可以得到粗略的统计结果。
    HowardMei
        17
    HowardMei  
       2012-12-18 16:52:46 +08:00   ❤️ 6
    http://www.dailychanges.com/

    @qiayue @yeh @iloahz @explayer @jiangle @cabbala @cjjia @chuangbo 大家都不知道这个网站吗?很诡异啊,公开发布数据N年了 =_=

    覆盖142,969,293全球通用主流域名,每当我注册一个新.com域名,必然出现在它的列表中,还很贴心地提供每天域名变动csv下载,连爬虫都不需要写,抢新鲜过期域名必备。

    财主们给俺补点铜币就行了 :)
    kenneth
        18
    kenneth  
    OP
       2012-12-18 17:42:20 +08:00
    @HowardMei 你提供的确实一个好网站,铜币已发。
    gtalk
        19
    gtalk  
       2012-12-19 09:19:38 +08:00
    @HowardMei Good
    yeh
        20
    yeh  
       2012-12-19 09:22:41 +08:00
    gange
        21
    gange  
       2012-12-19 10:24:24 +08:00
    竟然想到用爬虫手段,自己去分析,这些数据去域名管理机构就能查到
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4420 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 10:13 · PVG 18:13 · LAX 02:13 · JFK 05:13
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.