写了个使用 Google Chrome Dev Protocol 来操作 chrome/headless chrome 的 Python Package

2017-08-03 09:30:26 +08:00
 fate0

项目地址: fate0/pychrome

用处:

直接使用 Google Chrome Dev Protocol 操作 chrome/headless chrome,比较灵活(前提要过一遍 Protocol) 。 更多信息请看 README.md

为什么要写:

想使用 headless chrome 来替换 PhantomJS 作爬虫,我找了一下,Python 好像并没有和 chrome-remote-interface 一样直接使用 Chrome DevTools Protocol 来操作 chrome 的 Package,后面就自己写了一个。

最后:

欢迎各种 star、issue 以及 pr (。・`ω´・)

6299 次点击
所在节点    Python
12 条回复
chengxiao
2017-08-03 10:06:38 +08:00
和 selenium 的区别是???
CryMeatel
2017-08-03 10:10:04 +08:00
赞~ 又见 fate 大神~
JhZ7z587cYROBgVQ
2017-08-03 10:22:34 +08:00
感觉有点意思,但是看了下代码,是不是支持的功能有点少?
w0000
2017-08-03 10:22:56 +08:00
@chengxiao selenium 在速度上还是慢了点
fate0
2017-08-03 10:23:04 +08:00
@chengxiao 区别是更接近 Dev Protocol 吧,selenium 依赖 ChromeDriver,然而 ChromeDriver 还是使用 Dev Protocol 来操作 chrome (这段话单讲 chrome...)
fate0
2017-08-03 10:26:49 +08:00
@jason0916 功能多不多,主要看 dev protocol 开放的接口多不多,chrome 61 之后多了个 Network.requestIntercepted,看到这个 method,我就觉得 headless chrome 能够写爬虫了。
knightdf
2017-08-03 10:32:24 +08:00
我觉得单论爬虫 splash 比 selenium 好用点
Fen2g
2017-08-03 10:35:58 +08:00
已 star,公司已经有在用不过是 node。这个 python 希望楼主继续加油!
scys
2017-08-03 11:02:13 +08:00
Stared :D
挺好,近来研究自动化家庭框架。用得上。
slideclick
2017-08-03 11:31:07 +08:00
看楼主破解了 ruby 的混乱工具,搭车问一下,python 有比较好的混乱工具么?
fate0
2017-08-03 12:51:32 +08:00
@slideclick 简单的方法就是转成 c 代码,需要保密的代码我直接用 go 写
atsummer
2018-05-11 06:55:07 +08:00
好不容易找到的,已经 star,感谢楼主^_^

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/380014

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX