scrapy 自己写的 filter 无法加载

2015-11-25 18:38:05 +08:00
 nexus6
自己实现了一个过滤器方法 custom_filter , settings 中设置
DUPEFILTER_CLASS = 'crawls.spiders.custom_filter'

运行项目时提示'module' object has no attribute 'from_settings'
请问各位有遇到过嘛,或者知道问题大概出在哪里的
2431 次点击
所在节点    Python
4 条回复
tongle
2015-11-25 19:08:24 +08:00
knightdf
2015-11-25 21:37:58 +08:00
建议你参考 RFPDupefilter 的源码写,然后这个 filter 会被 Scheduler 自动调用 from_settings 函数初始化,源码里都有
knightdf
2015-11-25 21:42:03 +08:00
然后你的错误应该是没有实现 filter 的 classmethod from_settings ,这个是 scheduler 会自动调用的,必须有的
nexus6
2015-11-25 22:44:36 +08:00
@tongle 多谢回复,回头到公司再研究研究
@knightdf 多谢,我会试试的,话说 classmethod 是可以继承的吧,继承自 RFDupefilter 的类应该是有这个方法的呀?
纯粹问问,具体结果试过了再说

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/238901

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX