Rod 一个为简化自动化和爬虫设计的 devtools driver

项目地址： https://github.com/ysmood/rod

这个库的主要原理就是利用浏览器的 devtools 可编程接口来操控浏览器。日常你可以用它自动化一些重复的页面任务，相比油猴子有更多的高级功能和 golang 强大的生态。工作上可以用它辅助集成化测试减少人力消耗。开发上可以用它简化一些传统爬虫需要费很多时间逆向工程的场景。

根目录的 readme 里有常见的问答，以及和 chromedp，puppeteer 等库的比较。

同类的项目有 chromedp，但是其存在架构设计上的问题且更新缓慢，所以我们开发了 rod，感兴趣的朋友请来试试。欢迎对自动化有兴趣的朋友加入到项目中来，这是我们的聊天室： https://discord.gg/PAaMGJw

因为问的人特别多，我们列了个表格用实际可运行的例子帮助大家直观对比 rod 和 chromedp： https://github.com/go-rod/rod/tree/master/lib/examples/compare-chromedp

下面是一个打印 awesome-go 某一类别项目列表的例子：

package main

import (
    "log"

    "github.com/go-rod/rod"
)

func main() {
    // 启动一个浏览器并新建一个页面
    page := rod.New().Connect().Page("https://github.com/avelino/awesome-go")

    // 获取页面里含有 "Selenium and browser control tools" 标题的下方元素
    // 这里我们将获取到 p 标签下方的列表
    section := page.ElementMatches("p", "Selenium and browser control tools").Next()

    // 在列表里获取全部 li 标签
    projects := section.Elements("li")

    for _, project := range projects {
        // 从 li 标签里获取 a 标签
        link := project.Element("a")
        
        // 打印 a 里的文字，a 的链接，以及 li 里的文字
        log.Println(
            link.Text(),
            link.Property("href"),
            project.Text(),
        )
    }
}

abc0707

2020-07-24 22:11:58 +08:00

代码

package main

import (
"fmt"

"github.com/go-rod/bypass"
"github.com/go-rod/rod"
"github.com/go-rod/rod/lib/launcher"
)

func main() {
url := launcher.New().Headless(false).Client()

browser := rod.New().Client(url).Connect()
defer browser.Close()

page := bypass.Page(browser)

page.Navigate("https://www.baidu.com").WaitLoad()

page.ScreenshotFullPage("testresult.png")

fmt.Println("All done, check the screenshot. ✨")
}

报错：
panic: malformed ws or wss URL

goroutine 1 [running]:
github.com/ysmood/kit/pkg/utils.E(0xc000042ca0, 0x1, 0x1, 0xe53e98, 0x0, 0x0)
D:/Program Files/Gopath/src/github.com/ysmood/kit/pkg/utils/utils.go:33 +0xb2
github.com/go-rod/rod.(*Browser).Connect(0xc00007c880, 0xc0003a26c0)
D:/Program Files/Gopath/src/github.com/go-rod/rod/sugar.go:18 +0xa4
main.main()
c:/Users/zhaob/Desktop/qingdao/main.go:14 +0x94
exit status 2