首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
V2EX  ›  分享创造

使用 Airtest 超快速开发 App 爬虫

  •  
  •   itskingname · 323 天前 · 8743 次点击
    这是一个创建于 323 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想开发网页爬虫,发现被反爬了?想对 App 抓包,发现数据被加密了?不要担心,使用 Airtest 开发 App 爬虫,只要人眼能看到,你就能抓到,最快只需要 2 分钟,兼容 Unity3D、Cocos2dx-*、Android 原生 App、iOS App、Windows Mobile ……

    Airtest 是网易开发的手机 UI 界面自动化测试工具,它原本的目的是通过所见即所得,截图点击等等功能,简化手机 App 图形界面测试代码编写工作。

    爬虫开发本着天下工具为我所用,能让我获取数据的工具都能用来开发爬虫这一信念,决定使用 Airtest 来开发手机 App 爬虫。

    详情请戳:https://www.kingname.info/2019/01/19/use-airtest/

    第 1 条附言  ·  323 天前
    第 2 条附言  ·  323 天前

    第 3 条附言  ·  322 天前

    我的书除了实体书以外,也可以在微信阅读上查看

    100 回复  |  直到 2019-02-22 16:08:24 +08:00
        1
    xrazor   323 天前
    有意思
        2
    itskingname   323 天前
    @xrazor 而且不需要连接 USB 线。
        3
    111111111111   323 天前 via Android
    有点意思
        4
    dengtongcai   323 天前 via iPhone
    因吹丝挺
        5
    YingJie   323 天前
    厉害了,直接手机爬虫?
        6
    itskingname   323 天前
    @YingJie 对。
        7
    Yarnus   323 天前 via iPhone
    666 老哥强 我以前也试过 appium 配合 autojs 用安卓手机爬微信公众号文章 但是效果没你这个好
        8
    ranleng   323 天前 via Android
    有意思
        9
    blueorange   323 天前
    ubuntu 1804 运行不起来?
        10
    itskingname   323 天前
    @blueorange 官方是支持 Ubuntu 的。我自己在 macOS 和 Windows 做过测试,但是没有在 ubuntu 上测试。
        11
    dapang1221   323 天前
    惊了,这是什么屌东西,最骚的是那个 touch()的参数是个图标
        12
    MASAILA   323 天前 via iPhone
    有意思 研究一下
        13
    newmind   323 天前 via Android
    堪称手机版的 selenium
        14
    ctro15547   323 天前
    uiautomator2、appium 都能做,只抓 UI 数据有局限性,效率低。最近在考虑做这方面的拓展,怎么用 app 爬数据比较效率,还没啥头绪。。
        15
    itskingname   323 天前 via iPhone
    @newmind 关键是这 Airtest 也支持 Selenium
        16
    itskingname   323 天前 via iPhone
    @ctro15547 实际上很简单,再配合 mitmproxy 抓包即可。我的书上有详细案例。
        17
    itskingname   323 天前 via iPhone
    @dapang1221 高级神器。
        18
    d5   323 天前
    这工具,十分美滋滋,前途无量
        19
    d5   323 天前
    难以言表的激动,相见恨晚
        20
    itskingname   323 天前 via iPhone
    @d5 如果对你有帮助,请关注我的公众号,并转发公众号这篇文章,让更多人看到
        21
    akira   323 天前
    这个扩展一下不就是群控了么
        22
    d5   323 天前 via iPhone
    @akira #21 自带了群控,有预感成为黑产神器
        23
    itskingname   323 天前   ♥ 1
    @d5 我的书上写了如何做更稳定的群控。
        24
    Fulcrum   323 天前 via Android
    和 Auto.js 有什么不一样的地方吗
        25
    itskingname   323 天前
    @Fulcrum 兼容 Unity3D、Cocos2dx-*、Android 原生 App、iOS App、Windows Mobile,支持图像识别,自动生成代码。
        26
    akira   323 天前
    @d5 那估计是了,大幅降低群控的技术难度了啊。。移动端的按键精灵+大漠插件,应用广泛啊。。
        27
    colincat   323 天前 via iPhone
    手机其实检测更容易,设备 id 投毒了解一下
        28
    lance7in   323 天前
    试了试
    按图片识别的动作, 慢到无法忍受
    不过这个功能很赞
    资瓷
        29
    omph   323 天前
    神器啊,不过网易也太低调了,都不推广的嘛
        30
    itskingname   323 天前 via iPhone
    @lance7in 所以那个功能我都是一笔带过
        31
    itskingname   323 天前 via iPhone
    @omph 网易内部还挺多这种好用不推广的工具
        32
    justin2018   323 天前
    哈哈 谢谢楼主分享了 hohohoho~~~
        33
    itskingname   323 天前 via iPhone
    @justin2018 好用请关注微信并转发~
        34
    itskingname   323 天前 via iPhone
    @lance7in 基于 pillow 做的识别
        35
    laucie   323 天前
    这个抢红包快吗
        36
    pango   323 天前
    哈哈,我的一堆旧手机有用武之地了
        37
    itskingname   323 天前 via iPhone
    @laucie 很快,而且我还在我的读者群搞了这个开发抢红包程序的比赛。
        38
    BadReese   323 天前
    真是不错
        39
    justin2018   323 天前
    @itskingname Python 爬虫开发 从入门到实战 ISBN 9787115490995 这本书么 😁
        40
    itskingname   323 天前 via iPhone
        41
    laucie   322 天前
    @itskingname 申请进群,机器人没有反应
        42
    locoz   322 天前 via Android
    之前从熊博那里知道了这玩意后就试了一下做群控的效果,写起来是很爽,但是有些骚操作目前还是做不出来,要等后面更新,如果现在要用的话只能是另外写一个 android 原生 app 去搞。
    他们还有个叫 airlab 的云测试服务,就是把你的 airtest 代码丢到他们的手机机房里跑,不过他们也没有很优雅的方式解决群控最恶心的温度控制和网络接入问题😂,还是直接拿空调和定制机柜怼的。
        43
    itskingname   322 天前 via iPhone
    @laucie 麻烦再申请一次,备注来自 Airtest
        44
    itskingname   322 天前 via iPhone
    @locoz 网络接入我目前是购买的电磁屏蔽箱和无线 AP,每 15 台手机一组。
        45
    locoz   322 天前 via Android
    @itskingname #44 他们也是这种方案,其实我觉得这种方式还不够优雅,比较麻烦🤔
        46
    Vegetable   322 天前 via iPhone
    @d5 我已经在考虑能不能原来群控微信了
        47
    kingcc   322 天前
    lz,你的博客貌似好多人打不开,原因是 unpkg.com 被墙了
        48
    itskingname   322 天前 via iPhone
    @locoz 那就买 Sim 卡。无线控制用 Sim 卡也可以实现,不是非要 WiFi。
        49
    itskingname   322 天前 via iPhone
    @Vegetable 不用考虑,肯定可以。因为我已经这样用了很久了。
        50
    itskingname   322 天前 via iPhone
    @kingcc 我都不知道我引用了这个东西
        51
    JCZ2MkKb5S8ZX9pq   322 天前
    借楼问一句,有啥办法能直接获取使用 app 时 fiddler 得到的数据?
    如果可以的话,配合虚拟操作,直接拿 json 呗。
        52
    sea516   322 天前
    用了一下 感觉还不错
        53
    locoz   322 天前
    @itskingname #48 我当然知道 SIM 卡能实现,说得好像流量不要钱一样
        54
    itskingname   322 天前   ♥ 1
    @JCZ2MkKb5S8ZX9pq 当然可以,我的书上就写了这种方法。请看上面我贴的书的二维码。
        55
    itskingname   322 天前
    @locoz 用国外的卡啊~
        56
    itskingname   322 天前
    @JCZ2MkKb5S8ZX9pq 第九章,基于 mitmproxy
        57
    applehater   322 天前
    @locoz 手机机柜?网络的话可以用 USB 网卡吗
        58
    locoz   322 天前 via Android
    @itskingname #55 🤔有渠道吗,介绍一下
        59
    locoz   322 天前 via Android
    @applehater #57 目前没看到用 USB 网卡的。。
        60
    itskingname   322 天前
    @locoz 有渠道,但是不能介绍。
        61
    huruwo   322 天前 via Android
    游戏可以吗
        62
    itskingname   322 天前 via iPhone
    @huruwo unity 开发的游戏和 coco 开发的游戏都可以
        63
    thursday   322 天前
    @itskingname 基于 pillow 做的识别 有类似的开源项目吗 。 判断一个图片 是否包含另外一个图片
        64
    huruwo   322 天前 via Android
    @itskingname 嗯 看到了
        65
    huruwo   322 天前 via Android
    我现在就是从事 app 爬虫工作 一个人操作 500 多台手机 不知道你这个和其他测试框架有什么比有什么优势呢 比如 appium 这种
        66
    huruwo   322 天前 via Android
    @lance7in 估计是计算量的问题 换个高速 u 可能会快
        67
    itskingname   322 天前 via iPhone
    @thursday Python 的 pillow 这个库本身就有这个功能
        68
    itskingname   322 天前 via iPhone
    @huruwo 实际上他们底层的原理都是差不多的。Airtest 好在对开发友好,能图像识别,并且不用插 USB 线就能控制手机。
        69
    fireapp   322 天前 via iPhone
    其实简单的直接可以 adb shell 算点坐标能达到同样效果,14 年的时候就这么干过
        70
    itskingname   322 天前 via iPhone
    @fireapp 点坐标最麻烦的问题在于不同分辨率的代码不通用。
        71
    huruwo   322 天前 via Android
    @itskingname 试用了 感觉很好 但是图像识别速度确实捉急
    我再继续使用下 一周后再分享个心得体会
        72
    itskingname   322 天前 via iPhone
    @huruwo
        73
    huruwo   322 天前 via Android
    @fireapp 简单的坐标不适合复杂的操作
    比如突然出现的弹窗 点击特定的文字 图标 但是位置不固定 等等
        74
    liyuanzao   322 天前
    支持校友,同时买一本书学习下,因为也经常在清洗和抓取数据。学习了一下你的博客,很有启发,👍。 @itskingname
        75
    TaoQAQ   322 天前
    AutoJs 了解一下
        76
    soulmine   322 天前
    appium 了解一下 首先你不可能要 大批量或者爬几个月的时候 爬东西挂台真机 第二 挂台虚拟机也不现实 第三 这东西不像 chromeless 有 aws 的 serverless 可用性挺 emmmm 的
        77
    itskingname   322 天前
    @TaoQAQ autojs 支持 Unity3D、Cocos2dx-*、Android 原生 App、iOS App、Windows Mobile 吗?能不插 USB 线远程控制吗?
        78
    itskingname   322 天前
    @soulmine Appium 不好用。
        79
    nicoljiang   321 天前
    是 微信读书不适合写技术类书籍么?上面代码全是 < >
        80
    itskingname   321 天前
    @nicoljiang 有点奇怪,我手机上看着完全正常啊,iOS12.1.2
        81
    nicoljiang   321 天前
    @itskingname 可能微信小程序的问题吧
        82
    huruwo   321 天前
    @TaoQAQ AutoJs 就是个玩具
        83
    d5   321 天前
    @itskingname 已经在微信阅读加入书架~
        84
    itskingname   321 天前
    @d5 感谢感谢
        85
    HarryQu   321 天前 via Android
    android 小程序 微信读书看不到图片 , 代码格式也乱了。 下载微信读书 app 可以正常阅读
        86
    itskingname   321 天前 via iPhone
    @HarryQu 小程序还真是不可靠啊
        87
    honglongmen   321 天前
    战略性马克.
        88
    honglongmen   321 天前
    https://www.kingname.info/2018/10/13/use-docker-swarm/ 原来之前那篇帖子是你写的?
        89
    itskingname   321 天前 via iPhone
    @honglongmen 正是本人。
        90
    Leigg   320 天前 via iPhone
    牛逼!这个周末试试
        91
    leon0918   320 天前
    马可 动手试试
        92
    guanhui07   320 天前
    厉害
        93
    MuscleOf2016   319 天前
    貌似模拟器不怎么支持 麻烦。
        94
    itskingname   319 天前
    @MuscleOf2016 模拟器也是能支持的啊。亲测有效。
        95
    MuscleOf2016   319 天前
    @itskingname geny 的模拟器吗,噗,昨天试了几次都不可以,刚准备截报错信息的可以了,有毒。
        96
    nsky   317 天前 via Android
    不错
        97
    haoxuexiaoyao   290 天前
    这个书的视频网上有么 @itskingname
        98
    itskingname   290 天前
    @haoxuexiaoyao 你扫描书里面的二维码就可以看到视频。
        99
    1130335361   289 天前
    如果只要爬第 10 页的数据,那就要下拉十次?
        100
    itskingname   289 天前
    @1130335361 对。就是这样的。人怎么操作,这个程序就怎么操作。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4288 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 99ms · UTC 03:43 · PVG 11:43 · LAX 19:43 · JFK 22:43
    ♥ Do have faith in what you're doing.