V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
XadillaX
V2EX  ›  Node.js

一个任务队列的 module

  •  1
     
  •   XadillaX · 2014-05-07 00:55:05 +08:00 · 2709 次点击
    这是一个创建于 3883 天前的主题,其中的信息可能已经有所发展或是发生改变。
    事情很曲折,我某天在萌否收音机里面听到了一首歌,很好听,叫 hypnotized,于是红心了。

    过了几天我再去听——发现这首歌变了。

    最后经过多方面求证,我大概得出结果就是应该有人传错了歌,然后后来有人重新传了一遍,导致我听的不是原来那首歌了。那我那天听的那首歌到底叫什么名字呢?

    然后大致看了一下,虽然歌被重新传了,但是 http://moe.fm/music/9600 显示的这首歌的时间没变!还是11分钟,目测是数据库没更新。

    于是我就想了个笨办法,去爬收音机里面所有 tag 为 東方project 的专辑,然后跑到专辑页看歌曲的长度。

    问题来了,如果我直接爬,然后爬完 callback 之后又直接爬,没有任何间隔,就相当于我在 DDOS 它的站子。或者即使没那么严重——反正最后到一定程度并发太大我就访问不了了。

    于是我就想到了做一个任务队列的 module。该 module 的作用就是把一堆任务扔到队列中,完成一个才开始下一个。

    然后如果同时执行一个也太慢,module 还允许你开多几个子队列同时执行。

    模块的 repo 在 GitHub (https://github.com/XadillaX/scarlet-task) 上面。名字叫 Scarlet Task 的原因一是我本身就喜欢二小姐,二是为了纪念这次事件我是为了找有关二小姐的歌。

    要安装也很简单:

    $ npm install scarlet-task

    然后 repo 的 README.md 里面有使用方法的——大致就是实例化一个对象,然后定义好某个任务的任务标识(可以是字符串,可以是 json 对象,可以是任何类型的数据),然后再定义好处理这个任务的函数,将这个数据推倒队列中即可。然后在处理函数中任务处理完的时候执行以下任务完成的函数即可。
    4 条回复    2014-05-08 11:48:29 +08:00
    bakac
        1
    bakac  
       2014-05-08 01:38:17 +08:00
    async.js queue
    tamamaxox
        2
    tamamaxox  
       2014-05-08 09:52:43 +08:00
    支持啊,前几天还在看一个kue的东西
    XadillaX
        3
    XadillaX  
    OP
       2014-05-08 11:48:10 +08:00 via Android
    async 整个库比我的大多了,而且基本上的项目都会在用。我这个只是一个小小的 module,所谓重复造轮子。

    而且有时候并不需要 async 里面的 queue 那么多样化的定制,只需要一个简简单单的任务队列就够了。所以有时候重复造轮子也是有其意义在的。
    XadillaX
        4
    XadillaX  
    OP
       2014-05-08 11:48:29 +08:00 via Android
    @bakac async 整个库比我的大多了,而且基本上的项目都会在用。我这个只是一个小小的 module,所谓重复造轮子。

    而且有时候并不需要 async 里面的 queue 那么多样化的定制,只需要一个简简单单的任务队列就够了。所以有时候重复造轮子也是有其意义在的。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   920 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 22:36 · PVG 06:36 · LAX 14:36 · JFK 17:36
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.