做了一个 PHP 爬虫系统，可视化操作只需要写规则即可采集大量数据

[zorlan]

https://github.com/zorlan/skycaiji

用 tp5 写的 php 版本采集器，使用上和 cms 系统类似

功能： 全自动定时定量采集

支持正则表达式、xpath、json 匹配数据

支持多级、多页、分页采集

可以将数据发布到 cms 程序、数据库、excel 文件等

配合谷歌浏览器实现页面渲染功能

图片本地化、ip 代理等等

[glouhao]

膜拜大佬

[DonnyChao]

在 vps 上安装试了一下，挺好用的，感谢作者开源，学习一下，github 已 star。

[zqjilove]

早期用过一次，感觉体验很不好，至少和之前用过的一些采集工具比，感觉还是操作体验差一些。功能没问题。还是 DXC 用的爽，可惜现在也收费了

[zorlan]

@DonnyChao 感谢，多多提问题

[zorlan]

@zqjilove 历时一年多，现在已经更新到 2.0 版本了，体验上面怎么改进的好呢？还有你说的 dxc 是什么？

[d5n]

收藏

[vus520]

已经 600 个星星了

[lunatic5]

蓝天采集器，刚出来的时候用过，感觉很赞。。。不过好像在 v2 推过好几次了

[tdwj12580]

可以的，我也收藏一下，以后有用再使用！

[dany813]

膜拜大佬

[bzj]

有没有演示站点

[pinerge]

采集一般都是 cli 吧，fpm 采集不是特别友好，就算把 php.ini 中 max_execute_time 设为无限有时进程也会莫名其妙的挂掉

[zorlan]

@lunatic5 嘿嘿，大半年前推过，你还记得

[zorlan]

@pinerge 这个问题确实有，现在已经有很大提升了，具体的可以看看源码

[runningman]

关注一下 看看

[willywu001]

cookie 怎么设置的？

[willywu001]

@zorlan cookie 怎么设置呢，文档中没看到

[zorlan]

@willywu001 任务》采集器设置》请求头信息 里面

[dwhzy]

mark 一下，好工具～