Rod 一个为简化自动化和爬虫设计的 devtools driver

项目地址： https://github.com/ysmood/rod

这个库的主要原理就是利用浏览器的 devtools 可编程接口来操控浏览器。日常你可以用它自动化一些重复的页面任务，相比油猴子有更多的高级功能和 golang 强大的生态。工作上可以用它辅助集成化测试减少人力消耗。开发上可以用它简化一些传统爬虫需要费很多时间逆向工程的场景。

根目录的 readme 里有常见的问答，以及和 chromedp，puppeteer 等库的比较。

同类的项目有 chromedp，但是其存在架构设计上的问题且更新缓慢，所以我们开发了 rod，感兴趣的朋友请来试试。欢迎对自动化有兴趣的朋友加入到项目中来，这是我们的聊天室： https://discord.gg/PAaMGJw

因为问的人特别多，我们列了个表格用实际可运行的例子帮助大家直观对比 rod 和 chromedp： https://github.com/go-rod/rod/tree/master/lib/examples/compare-chromedp

下面是一个打印 awesome-go 某一类别项目列表的例子：

package main

import (
    "log"

    "github.com/go-rod/rod"
)

func main() {
    // 启动一个浏览器并新建一个页面
    page := rod.New().Connect().Page("https://github.com/avelino/awesome-go")

    // 获取页面里含有 "Selenium and browser control tools" 标题的下方元素
    // 这里我们将获取到 p 标签下方的列表
    section := page.ElementMatches("p", "Selenium and browser control tools").Next()

    // 在列表里获取全部 li 标签
    projects := section.Elements("li")

    for _, project := range projects {
        // 从 li 标签里获取 a 标签
        link := project.Element("a")
        
        // 打印 a 里的文字，a 的链接，以及 li 里的文字
        log.Println(
            link.Text(),
            link.Property("href"),
            project.Text(),
        )
    }
}

ysmood

2020-07-06 16:05:58 +08:00

@vus520 那我推荐你试试 rod，splash 基于 QT, 它用的 webkit 和 v8，rod 基于 chromium，它用的 blink 和 v8，blink 是 fork 的 webkit，他们团队对此的解释可以看这里 http://www.chromium.org/blink/developer-faq

chrome 团队在这篇文章里说了：我们会有更好的多线程支持和性能提升。当然这点就仁者见仁智者见智了。我个人的观察是用 rod 内存消耗基本是几 MB，cpu 的消耗更大的是在于我渲染的什么网站，而不是选什么引擎。关注问题我们看瓶颈在哪，所以我发现容不容易开发才是我选择使用什么方案的决定性因素。比如如果我要实现个拖拽模拟，结果 webkit 要 hack 一堆函数，那我肯定是不会选 webkit 的。

如果吹毛求疵的话，rod 是基于 golang 的，splash 是基于 python，单从你自己项目的架构和可维护性来讲，golang 往往是爬虫更佳的选择。python 之所以现在还在爬虫界这么火，我觉得还是因为老一辈的积累和工具的成熟度，但仅我个人来看未来还是 golang 更适合处理这方面的业务。