@utoyuri 在 middleware 处尝试过滤 url，触发条件 raise IgnoreRequest，结果还是继续跑停不下来...
@menyakun 没有自定义 scheduler，只是在取 url 时实现 redis 推送。准确来说，我这边需要的是，触发条件对 url [或者某域名] 的请求进行过滤清除。
@rocketman13 我昨儿后来试了下 scrapy-redis，直接中止不再读取 redis 了，监听停止，没有继续跑呢。

@WaJueJiPrince 不知道您说的是不是这个：
```
#动态域范围的获取
def __init__(self, *args, **kwargs):
# Dynamically define the allowed domains list.
domain = kwargs.pop('domain', '')
self.allowed_domains = filter(None, domain.split(','))
super(MySpider, self).__init__(*args, **kwargs)
```
我这边需要是的是条件触发清除指定域名的队列，好像跟这个不太符合。

@WilliamYang 中间件不满足抛弃的话，我那边也做了，但还是在爬触发了我条件的网站，不会停下对该域名的爬行的。

@mengdodo 这是 17 年的帖子了...不过还是谢谢兄 dei~

@YuuuZeee flower 有时候出现 miss task-id，命令行能看到的 task-id，里面看不到。而且，它效果只能说勉强能用。

古总的桌面是万年不换啊...

抽奖抽个创宇的一年半年期的服务也不错啊。

书不错，不过感觉讲的比较基础，楼主有计划出进阶版本吗？

@YaphetYin 说实话，我仔细对比了下，您贴的那段示例代码差不多就是我的调度结构了。
SoftTimeLimitExceeded 是在 debug 信息里显示的，但是一直 catch 抓不到到，然后部分 test_error 在显示 SoftTimeLimitExceeded 后，超时了一段时间才 success，还有的就一直 starting。

@YaphetYin
您那种写法的话，错一个子任务 test_error，chord 就直接报错，不会返回任何内容了。
这里的 mytask 案例网上找的，对应的应该是我这里的 test_error。
昨儿我试了下，好像是我在 test_error 函数里，import 了其他耗时的模块造成的，但仍然不知道咋解决，这里因为不能 raise 错误，所以用不了 time_limit，SoftTimeLimitExceeded 在 test_error 函数（乃至主函数里）一直捕获不到。

另外，我像下面这样是可以在 180s 的时候，得到 soft time sleep 的，然后任务变成 success 状态：
```
@app.task(soft_time_limit=180)
def test_error():
time.sleep(500)

```

@YaphetYin 后来用单个 chord 串联了执行了一堆任务，暂时解决了，虽然法子有点笨，老兄回头有空看看我最新的提问...

关键 v 站玩这个的也不算多...

@YaphetYin 嗯，回头我整理下贴出来，代码在公司，兄 dei 长假快乐~

@YaphetYin 有看过，3.2 以后好像还针对这种情况抛出错误，只是实在没想到更优的解法，来解决一堆 subtask 的问题。

@YaphetYin 单独起了，会出现我上述的死锁问题，所以才想把 beat 任务单独给一个 queue。
但是结果好像不尽如人意，不知道我 router 和 queue 是否配置有问，还是压根不能这样做。

@chanssl 能外送么？

Woc，没人给点建议么，屌大的大佬们呢，都换上女装去泡吧了么？！

分母，分母~

新版的 chrome 才有帽子吧，我这儿没有。