V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
bobopu
V2EX  ›  程序员

有没有批量检测网址有效性的软件?

  •  
  •   bobopu · 2014-09-21 17:00:55 +08:00 · 6508 次点击
    这是一个创建于 3716 天前的主题,其中的信息可能已经有所发展或是发生改变。
    网上找了几个貌似都有点问题,说是多线程的,可执行一会就停止了,检测还不到100个网址就瘫痪了。。有没有好点的软件呢?
    15 条回复    2017-12-13 14:51:39 +08:00
    kisshere
        1
    kisshere  
       2014-09-21 17:08:06 +08:00
    自己用phantomJs去写个小脚本吧
    binux
        2
    binux  
       2014-09-21 17:12:33 +08:00
    写几行shell就搞定了吧
    bobopu
        3
    bobopu  
    OP
       2014-09-21 17:19:46 +08:00
    @kisshere
    @binux 不会。。
    em70
        4
    em70  
       2014-09-21 17:20:08 +08:00
    写个小脚本,向每个地址发送head命令,返回状态码200就说明有效,要不了几行代码,但这种方法不支持禁head或者有专门404页面的服务器.
    bobopu
        5
    bobopu  
    OP
       2014-09-21 17:23:09 +08:00
    @em70 如果这个网站首页没法访问,但二级页面可以访问,这该如何检测他是否有效啊?
    em70
        6
    em70  
       2014-09-21 17:26:52 +08:00   ❤️ 1
    @bobopu 能访问就能检测,超链接嘛,与其所在位置无关

    找你找一个python的head命令检测函数 http://www.tuicool.com/articles/YruQZb
    自己写个循环或者上个多线程就行了
    bobopu
        7
    bobopu  
    OP
       2014-09-21 17:30:33 +08:00   ❤️ 1
    @em70 如果Ping都ping不通的情况下,该网站应该返回哪个错误代码呢?
    em70
        8
    em70  
       2014-09-21 17:45:22 +08:00
    @bobopu 400,403,407,500,502都有可能,其实你不用关心这个,head命令发送返回200状态码就说明有效,其他都无效就行了.
    bobopu
        9
    bobopu  
    OP
       2014-09-21 18:07:02 +08:00 via Android
    @em70 刚才又找了个软件,可以返回状态码,但是跑了一会也是停止响应了。。这类软件怎么都这么不稳定。
    em70
        10
    em70  
       2014-09-21 18:09:49 +08:00
    @bobopu 多线程大量访问未知的网络会出现很多异常,又不是成熟的商业软件,不可能做得多完善,自己写脚本是正道,有什么问题自己可以解决.
    jacker
        11
    jacker  
       2014-09-21 19:18:43 +08:00   ❤️ 1
    xenu;Screaming Frog SEO Spider前者免费,后者有破解版
    renzhn
        12
    renzhn  
       2014-09-21 19:33:46 +08:00   ❤️ 1
    火狐有个Bookmarks Checker,前几天清理书签时用过
    qping
        13
    qping  
       2014-09-21 22:28:26 +08:00   ❤️ 1
    qping
        14
    qping  
       2014-09-21 22:29:18 +08:00
    原来是网址不是域名 看错了 楼主别里我了
    geo5078
        15
    geo5078  
       2017-12-13 14:51:39 +08:00
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2837 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 08:44 · PVG 16:44 · LAX 00:44 · JFK 03:44
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.