首页   注册   登录
tikazyq

tikazyq

V2EX 第 78883 号会员,加入于 2014-10-27 22:46:55 +08:00
今日活跃度排名 4922
tikazyq 最近回复了
@huruwo crawlab 针对爬虫管理,可配置爬虫暂时仅限于 web,手机 app 爬虫还需要用自定义爬虫开发
@JaneWang 反爬特性的爬虫可以用自定义爬虫,但爬虫管理是一个比较重要的功能,除非你的爬虫根本不成规模,或者处于 demo 阶段… 详情可以看我掘金上关于爬虫管理平台的文章
@huruwo 对于复杂的反爬措施,可配置爬虫暂时不能绕过,但后续可能会开发更复杂的可配置爬虫
@locoz 大佬懂我
@optional 火车头是给小白用的,crawlab 是给专业人士用的
@AX5N 这是因为可配置爬虫还不够灵活,现在有些局限性,不过后面会不断发展,需求还是有的。对于复杂爬虫,可以采用 crawlab 的自定义爬虫
恭喜恭喜,我的 crawlab 开源项目也拿到了全家桶 license,4 个成员都有😊


https://github.com/crawlab-team/crawlab
@uc2664360 可以加作者微信私聊 tikazyq1
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   725 人在线   最高记录 5168   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.3 · 22ms · UTC 19:59 · PVG 03:59 · LAX 11:59 · JFK 14:59
♥ Do have faith in what you're doing.