如何简单高效地部署和监控分布式爬虫项目

2018-11-14 22:44:31 +08:00
 my8100

需求分析


安装和配置

1.所有主机都已经安装和启动 Scrapyd
2.开发主机或任一台主机安装 ScrapydWeb

pip install scrapydweb

3.运行如下命令,将在当前工作目录生成 scrapydweb_settings.py 配置文件

scrapydweb -h

4.启用 HTTP 基本认证

ENABLE_AUTH = True
USERNAME = 'username'
PASSWORD = 'password'

5.添加 Scrapyd server,支持字符串和元组两种配置格式,支持添加认证信息和分组 /标签

SCRAPYD_SERVERS = [
    '127.0.0.1',
    # 'username:password@localhost:6801#group',
    ('username', 'password', 'localhost', '6801', 'group'),
]

6.启动 ScrapydWeb

scrapydweb

访问 Web UI

通过浏览器访问 http://127.0.0.1:5000,输入认证信息登录


部署项目


运行爬虫


日志分析和可视化


邮件通知

1.配置邮箱认证信息

SMTP_SERVER = 'smtp.qq.com'
SMTP_PORT = 465
SMTP_OVER_SSL = True
SMTP_CONNECTION_TIMEOUT = 10

FROM_ADDR = 'username@qq.com'
EMAIL_PASSWORD = 'password'
TO_ADDRS = ['username@qq.com']

2.设置邮件工作时间和定时通知间隔,以下示例为:每隔 1 小时或某一任务完成时,并且当前时间是工作日的 9 点,12 点和 17 点,ScrapydWeb 将会发送邮件告知当前运行任务的统计信息

EMAIL_WORKING_DAYS = [1, 2, 3, 4, 5]
EMAIL_WORKING_HOURS = [9, 12, 17]
ON_JOB_RUNNING_INTERVAL = 3600
ON_JOB_FINISHED = True

3.基于后台定时执行日志分析,ScrapydWeb 提供多种 log 类型触发器及其阈值设置,包括 'CRITICAL', 'ERROR', 'WARNING', 'REDIRECT', 'RETRY', 'IGNORE'等。以下示例为:当发现 3 条或 3 条以上的 critical 级别的 log 时自动停止当前任务,如果当前时间在邮件工作时间内,则同时发送通知邮件。

LOG_CRITICAL_THRESHOLD = 3
LOG_CRITICAL_TRIGGER_STOP = True
LOG_CRITICAL_TRIGGER_FORCESTOP = False
...
LOG_IGNORE_TRIGGER_FORCESTOP = False

Github 开源

my8100/scrapydweb 更多实用功能正在开发中,欢迎 Star 和提交 Issue

4345 次点击
所在节点    Python
9 条回复
Nick2VIPUser
2018-11-14 23:36:07 +08:00
给大佬赞一个
find456789
2018-11-14 23:45:06 +08:00
感觉 Scrapy 有个缺点,就是无法在 flask 中调用 , 类似调用 requests 那样, 请问楼主有办法吗
my8100
2018-11-14 23:52:24 +08:00
@find456789 之前有用过 subprocess 调用 docker 内的 Scrapy + Scrapyd
lujiajing1126
2018-11-15 04:48:05 +08:00
为啥不用 Jenkins
AX5N
2018-11-15 05:40:39 +08:00
@find456789 印象中是可以的,我指的好像是可以在 python 的代码里可以启动 scrapy 的,你找文档看看。
chengxiao
2018-11-15 08:51:09 +08:00
想请教下大佬 scrapy-redis 怎么做到爬多个 spider ?
vincekang
2018-11-15 09:21:57 +08:00
支持
111qqz
2018-11-15 16:22:12 +08:00
111qqz
2018-11-15 16:24:10 +08:00
先 star 为敬

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/507933

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX