pyspider 项目启动后无响应、无报错

2017-08-11 12:02:28 +08:00
 Morriaty

脚本调试的时候一路 follow 都能走通,但启动项目后就是没响应。

Active Tasks 就一条记录

data:,_on_get_info 

pyspider 的 project 数据库也只有data:,on_startdata:,on_finished两条记录,清空重跑也不行。

@binux

4413 次点击
所在节点    Python
9 条回复
Morriaty
2017-08-11 12:19:38 +08:00
找到这个[issue]( https://github.com/binux/pyspider/issues/208)

但似乎`/task/project:taskid`这个路由已经遗弃了,访问`/task/{name}:data:,on_start`是 404
golmic
2017-08-11 13:19:13 +08:00
建议用 scrapy。用 pyspider 踩坑无数,最后不得不把整个项目重构
arischow
2017-08-11 13:20:29 +08:00
换个头像吧,真讨厌
binux
2017-08-11 16:36:42 +08:00
你按 run 了吗?
binux
2017-08-11 16:37:05 +08:00
你以前运行过项目吗?
Morriaty
2017-08-11 17:08:16 +08:00
@binux 当然点 run 了......之前运行过,但也是卡在`data:,_on_get_info`,所以已爬取的 url list 是空,这和能否重复运行有关系吗?而且我也主动清空过 taskdb
terrawu
2017-08-11 17:11:12 +08:00
现在还有人用 pyspider 吗?
binux
2017-08-11 17:53:38 +08:00
@Morriaty #6 日志,队列状态?
jamesv2v2
2018-06-15 12:02:16 +08:00
@every(minutes=24 * 60)
def on_start(self):
是 @every 限制了每 24 小时执行一次。
注释掉,立刻执行。哈哈,爽

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/382168

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX