关于 scrapy 分布式管理

[aragakiiyui]

最近在使用 scrapy-redis 做分布式爬虫，目前考虑写一个扩展，主要可以实现：

• 通过一个 ui 界面来提交爬虫代码。（大概类似于一些 oj 刷题网站的代码编辑页面）
• 然后点击运行按钮，就能够自动启动一个 scrapy 实例。

这里遇到一些问题，爬虫代码保存在哪里？然后通过什么方法来运行这份爬虫代码？ 目前我的方案是：

• 把代码文件存到一个公共的目录，所有的爬虫都从这个目录启动。
• 然后爬虫通过 docker 来启动，docker 可以访问那个公共目录。

不过感觉这样好麻烦啊，估计会碰到很多坑，不知道各位 v 友有没有什么更优的方式，实现我这个需求。

[owenliang]

自己部个 marathon 或者 k8s，然后通过 api 启动实例？

[aragakiiyui]

@owenliang = =不会啊，还没用过。

[Chrics]

> 然后点击运行按钮，就能够自动启动一个 scrapy 实例。

这个顺序反了吧，应该是启动一个 scrapy 实例，向中央服务器注册？

[sunwei0325]

试试 spiderkeeper

[hcnhcn012]

Heroku 把，它可以和你的 git 联动

[SlipStupig]

如果用 docker 的话，强力推荐 rancher

[aragakiiyui]

@sunwei0325 那个项目部署方式太蛋疼了，界面可以参考一下，但是调度方式还是得写一套。

[sunwei0325]

@aragakiiyui [捂脸]我还觉得挺好用的, 有 api 直接写好脚本打包 egg, 上传到 scrapyd 服务器

[tikazyq]

有一个现成的轮子，需要配置 scrapyd

https://github.com/DormyMo/SpiderKeeper

[my8100]

@aragakiiyui 如何简单高效地部署和监控分布式爬虫项目 www.v2ex.com/t/507933