求教 scrapy 的一个问题，困扰了很久。

[Yc1992]

时间较长的阻塞函数是不适宜放置在 parse 回调函数里面的，这个我懂。

但是目前由于需要渲染带有 js 的页面，我使用了子进程 subprocess 调用 phantomjs 来完成页面的渲染，针对每个页面。

我把这个实现写在了 parse 里面，导致了爬虫速度大大下降。

有什么方法可以异步执行这种对时间消耗比较大的回调呢？

谢谢！

[Yc1992]

@ffwalle 框架方便了我们这些初级码农写一些还不算太糟糕的爬虫，不过越写越发现确实很多地方被框架所限，谢谢你的建议~

[Yc1992]

@knightdf 额 我记得直接 timeout 导致 connection close 了

[sckieer]

@cxh116 大神，我用 splash 为啥加载不了 iframe 下的内容啊？