请教一下如何对多个服务器上的爬虫进行管理

[zzxy001]

我最近遇到一个问题。我用 python 写了一个 selenium 爬虫，自动处理一些任务。现在放在 4 个 windows 服务器上，
我更新爬虫文件都是用远程桌面连接，将新代码复制粘贴进去，然后关闭正在运行的爬虫程序，再打开新更换的。
现在还好，以后服务器多了，这样手动维护总感觉不太对劲。
请教一下有什么好的办法没有？如何能够自动更新代码并在更新后自动重启爬虫 python 程序？有什么工具可以使用吗？谢谢！

[Latin]

稍等会，会有人过来推荐的

[zzxy001]

还请大佬们指点迷津，百度了半天也没找到好的解决办法

[scukmh]

webhook 它不香嘛？

[Ultraman]

不负责任猜测哦，开个 git 仓库，本地改完推上去，服务端写个脚本定时往回拉然后关掉旧的开新的。虽然比较糙。

[wysnylc]

所有的项目最终都要考虑分布式

[lenqu]

容器化解决的就是这个问题，常规 k8s，简单 shell 脚本就能实现

[zzxy001]

目前是这个问题，以后项目可能需要根据任务的不同动态启动不同的 selenium 爬虫程序，让每个服务器都不会空闲。
我属于小白一个，感谢大家。大家提的建议我都会去百度学习，看看能不能实现我想要的功能

[zzxy001]

@lenqu 能不能稍微详细讲一下思路，我从哪里可以入手

[MrTreasure]

找一个 ssh 的库，写脚本，把你这些手动操作的步骤都写成脚本

[zzxy001]

@MrTreasure 是 shell 脚本可以完成这些步骤吗？

[zzxy001]

@MrTreasure 刚刚初步搜了一下，shell 脚本是 Linux 系统，window 可以用吗

[la2la]

使用工具是有成本的，如果服务器或者爬虫的数量不是特别多的话，可以写个脚本，在开发环境测试后，运行脚本把文件分配到服务器上，顺便重启。

[raphael008]

linux->ansible
windows->powershell

[matepi]

搭 Git

爬虫的任务进程以外，再开个守护性进程。守护进程负责从 Git 上拉；拉完杀了重启任务进程

守护性进程还可以做些例行任务管控、查询任务进度之类的的动作，和爬虫执行任务进程解耦分离

守护进程挂到 windows 服务自启。

[kalago]

scrapyd 不能满足你这个需求吗？

[Saurichthys]

xx-job 维护就好了

[luocjv]

代码加版本控制推荐 git, 可以自己搭建 gitlab 或者用 github 之类的,然后改完代码用 webhook 触发多个服务器上的更新代码脚本并重启服务

[wiken]

git + webhook

[tikazyq]

分布式爬虫管理平台 crawlab

https://www.crawlab.cn

[lenqu]

@zzxy001 给个现成的用用，portainer，你自己查查
#### follow NDPS