[炒冷饭] 自己动手做的微信跳一跳机器人，分数 30 万+

[mrchi]

项目地址： https://github.com/chiqj/WechatJump，Python 语言开发，使用 adb + pillow + opencv + sklearn 实现，目前只支持安卓手机。

这是一个年初就想动手的项目，期间因为时间原因、技术能力原因，到现在算是完成了。在前人的基础上做了些改进，理论上可以无限运行——只要有时间。

上个分数截图证明自己所言不虚：

特性

与年初的跳一跳机器人相比，进行了以下改进：

• adb 截图后图像直接传输给上位机，不经过手机存储和 SD 卡；上位机一直在内存中处理图像，减少 IO 耗时，提高效率。
• 使用上一次截图的目标棋盘（也是本次截图的起始棋盘）作为模版，使用 OpenCV 模版匹配寻找起始棋盘的中心坐标，根据中心坐标和棋子中心坐标的相对位置、上次计算的跳跃距离计算实际跳跃距离。替代其他项目中在“跳跃后视角平移前”进行截图的方法，不需要反复尝试调整合适的 “ Magic Number ”，且每次跳跃只需截图一次。简而言之，省力✌️，提高准确性，提高效率；
• 为加快运行速度，只在程序初始化时训练模型，但程序运行时输出的数据可用于回归模型训练。
• 计算两点间距离时，使用两点在跳跃方向（与水平线夹角 30 度）上的投影距离，与欧式距离相比更加精确。即下图中 OB 的距离（图片来源：腾讯 WeTest 团队）：

使用的技术和库

• OpenCV —— 模版匹配，Canny 边缘检测
• Pillow —— ImageDraw 模块
• sklearn —— 线性回归，多项式回归

回归模型

线性回归

多项式回归(degree=7)

踩过的坑

1. 由于图像坐标系从左上角开始，Y 轴在向下的方向上是递增的，所以斜率与普通直角坐标系相反。也就是说，从左下到右上方向的直线实际为负斜率。
2. OpenCV 模版匹配对缩放图片处理效果不好，导致从小程序文件解包出来的棋子图像无法使用，必须获取当前分辨率下的棋子图像和中心点图像作为模版；

最后，反对一切使用外挂的行为，该项目只为学习目的，没有加入反作弊代码，以后也不会有：）

[ShineSmile]

newbee.class

[kethylar]

newbee.jpg

[mrchi]

@ShineSmile
@kethylar

谢谢称赞，欢迎 star/fork/提 issue 哈 😏

[ZiLong]

interesting.rmvb

[swkl86]

Cool.avi

[voidless]

DIO.WRYYYYY

[carpediemvv]

地址挂了？

[mrchi]

@carpediemvv 没有，v2 的网址自动识别把逗号后面的也识别进去了。地址是： https://github.com/chiqj/WechatJump

[xiangchen2011]

awesome.py

[Hilong]

1949.js

[zcjwxf]

当年我做这个脚本的时候,边缘检测你知道怎么找的吗?没错!遍历像素点,判断颜色差别率,做出了边缘检测其他都是菜~

[raycool]

最开始的训练数据怎么来的？手动跳的么

[mrchi]

@zcjwxf 最早开始造轮子的兄弟么？致敬，能有今日的分数都是踩在你们的肩膀上：）

[mrchi]

@raycool 上一版的机器人是在另外地方进行线性回归模型训练，代码里只指定了 k 和 b 两个变量。那个时候 k 和 b 都是猜的，只要能跳的中且能确定位置，就有数据了。

[sangmong]

游戏中存在可疑行为，该结果不予显示。。。

[xxxy]

有用强化学习做的吗？

[mrchi]

@sangmong 是的，没有反作弊。

[mrchi]

@xxxy 目前还没有，机器学习我才刚刚入门，就只用了比较简单的回归算法。老哥要不要自己实现一个？

[zcjwxf]

@raycool 这种东西还要训练数据？单纯的线性关系，只要你找对 3 个点（小人底部中心、目标顶部边缘 xy、目标侧边 xy ），然后找出按压时间和距离的系数，我可以告诉你是 2 （不同算法可能是 10 的几次关系），你说的是训练找边缘？

[mrchi]

@zcjwxf 他指的训练数据应该是我项目里带的 training_data.txt ，是用来训练回归模型的。