如何提高滑块验证码的识别精度？

最近碰到一个需求，需要自动化操作一个网站，第一步就遇到一个问题，滑块验证码登录。

核心逻辑是：

1. 获取两张图片，一张左侧的验证码图片，一张完整的图片
2. 比对两张图片，获取到验证码图片与完整图片重合区域在 X 轴上需要移动的举例
3. 通过 selenium 缓慢移动验证码图片到重合区域，完成登录

在网上找到一个类似的需求和实现方案，跟着写了下代码 https://blog.csdn.net/weixin_53300120/article/details/138068169

写了两个实现的方式：

采用 ddddocr：

 with open('left.png', 'rb') as f:

 target_bytes = f.read()

 with open('full.png', 'rb') as f:
     background_bytes = f.read()

 ocr = ddddocr.DdddOcr(det=False, ocr=False, show_ad=False)

 res = ocr.slide_match(target_bytes, background_bytes, simple_target=True)

 print(res, res['target'][0])

采用 cv2：

 # 加载图片 A 和 B
 image_a = cv2.imread('left.png', cv2.IMREAD_GRAYSCALE)
 image_b = cv2.imread('full.png', cv2.IMREAD_GRAYSCALE)

 # 使用模板匹配方法（ Template Matching ）寻找图片 A 在 B 中的位置
 result = cv2.matchTemplate(image_b, image_a, cv2.TM_CCOEFF_NORMED)

 # 获取最大匹配值及其位置
 min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)

 # 如果 TM_CCOEFF_NORMED 方法使用，可以通过以下方式找到匹配位置的左上角坐标
 top_left = max_loc

 # 获取图片 A 的宽度和高度
 height, width = image_a.shape
 print(height, ':', width)
 height2, width2 = image_b.shape
 print(height2, ':', width2)

 # 获取最左侧的 x 坐标（左上角）
 leftmost_x = max_loc[0]
 print('leftmost_x:', leftmost_x)

现在的问题是，这两种方法的准确度都不高，而且我也不了解他们内部的实现方式，不知道如何提高识别的准确度。现在用了一个比较笨的方法，死循环，重复 10 次以内大概率是可以成功一次。

想请教大家，这种场景有没有啥好的办法可以提高识别的准确度，或者有没有相关的开源库可以直接用？

感谢!

deepall

54 天前

这个 ddddocr 感觉不太行，试试这个
def generate_distance(slice_url, bg_url):
"""
:param bg_url: 背景图地址
:param slice_url: 滑块图地址
:return: distance
:rtype: Integer
"""
slice_image = np.asarray(bytearray(requests.get(slice_url).content), dtype=np.uint8)
slice_image = cv2.imdecode(slice_image, 1)
slice_image = cv2.Canny(slice_image, 255, 255)

bg_image = np.asarray(bytearray(requests.get(bg_url).content), dtype=np.uint8)
bg_image = cv2.imdecode(bg_image, 1)
bg_image = cv2.pyrMeanShiftFiltering(bg_image, 5, 50)
bg_image = cv2.Canny(bg_image, 255, 255)

result = cv2.matchTemplate(bg_image, slice_image, cv2.TM_CCOEFF_NORMED)

min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)

return max_loc[0]

uTOmOuk3L6sb4MSI

53 天前

没什么特别的，我用的 js

```js

const cv = require('@u4/opencv4nodejs');

// 加载图像
const originalMat = cv.imread(__dirname + '/tmp/' + 'full.png');
const templateMat = cv.imread(__dirname + '/tmp/' + 'left.png');

//识别图片边缘
bg_edge = originalMat.canny(100, 200);
cut_edge = templateMat.canny(100, 200);

// 转换图片格式
bg_pic = bg_edge.cvtColor(cv.COLOR_GRAY2RGB);
cut_pic = cut_edge.cvtColor(cv.COLOR_GRAY2RGB);

// 进行模板匹配
const matched = bg_pic.matchTemplate(cut_pic, cv.TM_CCOEFF_NORMED);

// 归一化
const minMax = matched.minMaxLoc();
const {
maxLoc: { x, y },
} = minMax;

console.log(JSON.stringify(minMax));

// 绘制匹配区域的矩形框
const point = new cv.Point(x, y);
const color = new cv.Vec(255, 0, 0);
const thickness = 2;
originalMat.drawRectangle(
new cv.Rect(point.x, point.y, templateMat.cols, templateMat.rows),
color,
thickness,
cv.LINE_8
);

// 显示结果
cv.imshow('Result', originalMat);
cv.waitKey();

```