scrapy 怎么管理大量的 spider 啊？

[johnsonshu]

假设我写了 1000 个 spider, 我总不能都放在 spiders 目录下吧。 我肯定要进行目录分割：

   spiders/AAA 目录下放置 ：spiderA01  spiderA02  ...
   spiders/BBB 目录下放置 ：spiderB01  spiderB02  ...
   ...

但是，当我用 scrapyd-deploy 配置到 scrapyd 服务器时， 这些工具只看 spiders 目录下的 spider(子目录被忽略)，这样，我的分割完的 spider 就被忽视了。

我该怎么解决这个问题 ？

谢谢 @Kobayashi

在 settins 里的这个设置里，加上spider 的各个子目录的模块名搞定了。

另外，scrapyd-deploy 生成egg文件时用到了 setuptools 的 find_packages() 函数。 只有子目录里有 __init__.py 的目录才会被打包。 所以一股脑儿在各个目录下创建了 __init__.py

(base) c:\_work\projs\python\scrapy01>scrapyd-deploy --debug -p scrapy01
Packing version 1635911154
Deploying to project "scrapy01" in http://ubuntu20-lts:6800/addversion.json
Server response (200):
{"node_name": "ubuntu20-lts", "status": "ok", "project": "scrapy01", "version": "1635911154", "spiders": 4}

(base) c:\_work\projs\python\scrapy01>scrapyd-client spiders -p scrapy01
scrapy01:
  ccpi
  quotes
  womenadvancenc
  yifymovies

[Kobayashi]

SPIDER_MODULES