首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
jiezhi
V2EX  ›  分享创造

将某美剧网站所有下载链接保存下来了,需要自取

  •  1
     
  •   jiezhi · 2016-05-10 15:33:30 +08:00 · 4215 次点击
    这是一个创建于 1357 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近在追《疑犯追踪》,发现在美剧网站上一个一个复制链接下载到网盘很是繁琐,索性写了个脚本直接将下载链接以 csv 格式保存下来以便批量下载。

    既然都动手了,那就干脆再将网站上所有美剧的下载链接爬了下来以备不时之需,大概 380 个页面,当然这些只适合追老剧。

    如果有需要可以直接下载我抓下来的:(点击去下载

    脚本也放Github

    16 回复  |  直到 2016-05-11 10:30:55 +08:00
    Hansee
        1
    Hansee   2016-05-10 15:59:01 +08:00 via iPhone
    Tks!
    slixurd
        2
    slixurd   2016-05-10 16:02:52 +08:00
    我都是直接写 js ,然后扔到控制台跑一下
    不过如果有好几季就得手动跑好几次
    copy($($("body").find("a")).map(function(){if(/magnet/.test($(this).attr("href")))return ($(this).attr("href"))}).get().join("\n"))
    jiezhi
        3
    jiezhi   2016-05-10 16:06:34 +08:00
    @slixurd 原理都一样啦,哪怕在网页源码里直接用正则也可以,但每次还得去手写一遍,干脆直接都抓下来再说了(:
    realpg
        4
    realpg   2016-05-10 16:28:04 +08:00
    为啥我看 POI 之前你不搞这个……
    strwei
        5
    strwei   2016-05-10 16:28:39 +08:00
    右键,本页所有磁力链接用迅雷下载
    jiezhi
        6
    jiezhi   2016-05-10 16:30:46 +08:00
    @strwei 我是用妖妖舞网盘看的
    jiezhi
        7
    jiezhi   2016-05-10 16:31:31 +08:00
    @realpg 你要看其他的美剧还有机会的
    mahone3297
        8
    mahone3297   2016-05-10 16:38:42 +08:00
    这么说,我之前也写了个。。。这个站是还可以
    https://github.com/mahone3297/hades/tree/master/src/python/scrapy/cn163
    mahone3297
        9
    mahone3297   2016-05-10 16:39:50 +08:00
    lz ,你的代码只是一个页面,要爬所有数据,还需要再写个脚本
    jiezhi
        10
    jiezhi   2016-05-10 16:42:51 +08:00
    @mahone3297 我的那个页面应该是网站可追溯的第一篇帖子了,所以抓取完后再递归抓取其下一页即可,该网站没有死链的话。
    4679kun
        11
    4679kun   2016-05-10 16:57:11 +08:00 via Android
    一行 shell 命令

    curl -s "http://cn163.net/archives/58/" | sed 's/ /\n/g' | sed 's/>/\n/g' | sed 's/</\n/g' | grep "ed2k" | sed 's/\"//g' | sed 's/href=//g' | sed 's/data-ke-src=//g' | uniq | grep "HDrip"
    jiezhi
        12
    jiezhi   2016-05-10 17:00:59 +08:00 via iPhone
    @4679kun 你这还得加上对迅雷和磁力链接的支持😊
    4679kun
        13
    4679kun   2016-05-10 17:04:33 +08:00 via Android
    @jiezhi 把命令中的 ed2k 替换成 magnet 不就行了
    gamecreating
        14
    gamecreating   2016-05-10 18:00:26 +08:00
    CN163 ...这博客不错
    ziyuan
        15
    ziyuan   2016-05-10 21:10:56 +08:00
    CN163 ...这博客不错+1
    MozzieCN
        16
    MozzieCN   2016-05-11 10:30:55 +08:00
    CN163 ...这博客不错+1
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   774 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 27ms · UTC 21:16 · PVG 05:16 · LAX 13:16 · JFK 16:16
    ♥ Do have faith in what you're doing.