scrapydweb：实现 Scrapyd 服务器集群监控和交互， Scrapy 日志分析和可视化
my8100 · my8100 · 2018-10-09 13:02:35 +08:00 · 2807 次点击这是一个创建于 2270 天前的主题，其中的信息可能已经有所发展或是发生改变。
功能特性
-
Scrapyd 服务器集群监控和交互
- 支持通过分组和过滤选中特定服务器节点
- 一次点击，批量执行
-
Scrapy 日志分析
- 统计信息展示
- 爬虫进度可视化
- 关键日志分类
-
支持所有 Scrapyd API
- Deploy project, Run Spider, Stop job
- List projects/versions/spiders/running_jobs
- Delete version/project
GitHub
欢迎 Star 和提交 Issue
安装
通过 pip 安装：
$ pip install scrapydweb
启动
通过命令行终端运行 "scrapydweb -h" 以查看帮助和选项. 第一次运行将在当前工作目录生成配置文件 "scrapydweb_settings.py"，可用于自定义 Scrapyd 服务器列表等选项.
$ scrapydweb
通过浏览器访问 http://127.0.0.1:5000
运行界面截图
-
集群监控和交互
-
当前节点任务列表
-
日志分析
-
统计信息展示
-
爬虫进度可视化
-
关键日志分类
-
-
部署项目
-
运行爬虫
-
管理项目
第 1 条附言 · 2018-10-25 21:03:00 +08:00
更新截图
-
Overview
-
Dashboard
-
Log Analysis
-
Stats collection
-
Progress visualization
-
Logs categorization
-
-
Deploy a Project
-
Run a Spider
-
Manage Projects
第 2 条附言 · 2018-11-21 13:07:24 +08:00
V2EX 文章发布后不能随时更新，图片容易挂，移步查看最新版本
推荐阅读：如何简单高效地部署和监控分布式爬虫项目
9 条回复 • 2018-11-13 17:52:17 +08:00
 |
1
achaocha 2018-10-09 22:14:36 +08:00
先 star 再说。
|
 |
2
my8100 OP v0.9.4 Add basic auth for web UI
|
|
3
my8100 OP v0.9.5 Add Items page
|
 |
4
SpiderXiantang 2018-10-14 13:37:18 +08:00
star!
|
|
5
my8100 OP v0.9.6 Support accessing Scrapyd servers protected by basic auth
|
|
6
my8100 OP v0.9.7: Fix the bug that fails to read lastModifiedDate of egg file in Firefox and Safari
|
|
7
my8100 OP v0.9.8: Kill caching subprocess when main process is killed
|
|
8
my8100 OP v0.9.9: Add auto eggifying
|
|
9
my8100 OP v1.0.0rc1: Add Email Notice; Refactor codes
|
Select Language