某滑块验证码识别思路(附完备代码)
思路验证码范比方下：
https://img2024.cnblogs.com/other/1914604/202412/1914604-20241210104259831-1552188932.pnghttps://img2024.cnblogs.com/other/1914604/202412/1914604-20241210104300108-561853208.png
大概搜刮了下，有两种主流思路：yolo目标检测算法和opencv模版匹配。很明显第二种本钱远小于第一种，也不需要训练。
而且这种验证码有干扰(两个目标点)，yolo一次还不能直接到位，还得进一步处置惩罚。我在搜刮的时候还有用轮廓匹配做识别的，但是实测下来准确率很低，这里就不说了。
识别
背景预处置惩罚
先对图片做一些预处置惩罚，移除多余的干扰项， 提高准确率。比如先简单将图片切割一下，只保留包含滑块的那一部分。这么说大概不太理解，不识别之前怎么知道哪一部分包含滑块？我截图标一下大家就明白了，可以只保留中间这一块。
https://img2024.cnblogs.com/other/1914604/202412/1914604-20241210104300450-559759065.png
网页知道滑块放置的位置，说明服务器告诉了它准确的y坐标，看了下接口返回的结果里有一个tip_y应该是跟滑块放置的y坐标有关。滑块的具体位置可以在元素一栏里看到(em这个单位和px换算规则是 px = em * 字体大小，从网页上看字体大小是100px)
https://img2024.cnblogs.com/other/1914604/202412/1914604-20241210104300844-711074162.png
但tip_y的值是69，和85px对不上。这里可以打上属性修改断点，看一下属性是怎么生成的，但我找了半天没找到，最后复制多个值发给gpt让他说一下有什么规律。它说比例是固定的，也就是tip_y乘以1.23就是放置的y坐标
https://img2024.cnblogs.com/other/1914604/202412/1914604-20241210104301151-1835053689.png
固然还有个简单的方法就是用浏览器获取滑块的坐标，这样就不用关心两个值有啥规律。
那就可以得到裁剪的位置了：
from PIL import Image
def crop_main_loc(background_path:Image, slide_path:Image, tip_y:int):
background_img = Image.open(background_path)
slide_img = Image.open(slide_path)
top_y_212 = tip_y * (85 / 69)
top_y_344 = int(top_y_212 * (344 / 212))
crop_size = (0, top_y_344, background_img.width, top_y_344+slide_img.height)
cropped_image = background_img.crop(crop_size)
cropped_image.show()
if __name__ == '__main__':
crop_main_loc('background.jpeg', 'slide.png', 69)https://img2024.cnblogs.com/other/1914604/202412/1914604-20241210104301377-130581654.png
滑块预处置惩罚
先提取一下滑块的轮廓，抖音的滑块特征很明显，可以不用用cv2.Canny来提取边缘特征。
具体步骤如下：
[*]去除外围透明像素点(滑块外层的像素点的a值都是0)
[*]将图片转成灰度图并举行二值化操纵(0和255)
[*]只保留二值化为255的像素点
[*]去除多余噪声
代码
读取rgba格式的滑块
import cv2
input_img = cv2.imread("slide.png", cv2.IMREAD_UNCHANGED)将透明值为0的像素点设置为纯玄色
https://img2024.cnblogs.com/other/1914604/202412/1914604-20241210104301556-1564325085.png
# 取透明维度的值
alpha_channel = input_img[:, :, 3]
# 只使用rgb三个维度的值
rgb_image = input_img[:, :, :3]
rgb_image = 提取白色边缘并设置成玄色，将其他像素点设置为白色
https://img2024.cnblogs.com/other/1914604/202412/1914604-20241210104301748-147535324.png
gray = cv2.cvtColor(rgb_image, cv2.COLOR_BGR2GRAY)
_, thresholded = cv2.threshold(gray, 240, 255, cv2.THRESH_BINARY)
white_img = np.ones_like(rgb_image) * 255
white_img = 去除噪声(判断某个玄色像素点周围3x3范围内有多少个玄色像素点，少于阈值认为是噪声)
https://img2024.cnblogs.com/other/1914604/202412/1914604-20241210104301989-666613532.png
def count_black_neighbors_by_cv2(gray_image):
if gray_image.ndim == 3:
gray_image = cv2.cvtColor(gray_image, cv2.COLOR_BGR2GRAY)
_, binary_image = cv2.threshold(gray_image, 240, 255, cv2.THRESH_BINARY_INV)
binary_image = binary_image // 255
kernel = np.ones((3, 3), dtype=np.uint8)
kernel = 0
black_neighbors = cv2.filter2D(binary_image, -1, kernel)
# 设置边缘为0
black_neighbors[:, 0] = 0
black_neighbors[:, 109] = 0
return black_neighbors固然也可以通过遍历来实现，这样更容易理解点
def count_black_neighbors_by_range(gray_image):
# 将图像转换为灰度图
if len(gray_image.shape) == 3:
gray_image = cv2.cvtColor(gray_image, cv2.COLOR_BGR2GRAY)
# 二值化图像
_, binary_image = cv2.threshold(gray_image, 240, 255, cv2.THRESH_BINARY_INV)
binary_image = binary_image // 255
# 创建一个与输入图像大小相同的全零数组
black_neighbors = np.zeros_like(binary_image)
# 遍历图像中的3x3邻域，计算每个像素
neighbor_offsets = [(-1, -1), (-1, 0), (-1, 1),
(0, -1), (0, 1),
(1, -1), (1, 0), (1, 1)]
# 遍历每个像素
rows, cols = binary_image.shape
for row in range(1, rows - 1):
for col in range(1, cols - 1):
# 当它本身不是黑色像素点的时候，就不计算
if binary_image != 1:
continue
count = 0
for offset in neighbor_offsets:
neighbor_row, neighbor_col = row + offset, col + offset
if binary_image == 1:
count += 1
black_neighbors = count
return black_neighbors
black_neighbors = count_black_neighbors_by_range(white_img)
output = np.ones_like(rgb_image) * 255
output = 0正题
好了，现在可以把上面看到的内容忘掉了，因为在实际识别的时候用不到(我发现不做处置惩罚比做处置惩罚识别的准确率要高很多)，直接识别准确率乃至接近百分百了。
至于为啥还写上面的内容，主要是我花时间研究了，总要写出来，万一下次用到又忘了呢。还有就是凑个字数。
完备代码
下面是识别的完备代码
import os
import cv2
def get_slide_distance(bg_path, slide_path):
'''
识别滑块具体位置，返回位置比例: 位置/图片宽度
使用的时候再乘以实际图片宽度即可
'''
bg_img = cv2.imread(bg_path)
sd_img = cv2.imread(slide_path)
bg_gray = cv2.cvtColor(bg_img, cv2.COLOR_BGR2GRAY)
bg_gray = cv2.GaussianBlur(bg_gray, (5, 5), 0)
bg_edge = cv2.Canny(bg_gray, 30, 100)
rgb_bg_gray = cv2.cvtColor(bg_edge, cv2.COLOR_GRAY2RGB)
sd_gray = cv2.cvtColor(sd_img, cv2.COLOR_BGR2GRAY)
sd_gray = cv2.GaussianBlur(sd_gray, (5, 5), 0)
sd_edge = cv2.Canny(sd_gray, 30, 100)
rgb_sd_gray = cv2.cvtColor(sd_edge, cv2.COLOR_GRAY2RGB)
result = cv2.matchTemplate(rgb_bg_gray, rgb_sd_gray, cv2.TM_CCORR_NORMED)
_, _, _, max_loc = cv2.minMaxLoc(result)
cv2.rectangle(bg_img, (max_loc, max_loc), (max_loc+110, max_loc + 110),
(0, 255, 0), 2)
result_path = os.path.join(os.path.dirname(bg_path), "result.png")
cv2.imwrite(result_path, bg_img)
return max_loc/bg_gray.shapecv2.matchTemplate
核心函数就是cv2.matchTemplate，它是用来做模版匹配的，通俗点说是在一个图中找出另一张图，看一下gpt的参数表明:
https://img2024.cnblogs.com/other/1914604/202412/1914604-20241210104302144-434571619.png
不知道哪个参数更好，可以都测试一下。我看网上用的都是cv2.TM_CCORR_NORMED,效果如下：
https://img2024.cnblogs.com/other/1914604/202412/1914604-20241210104302416-2035081960.png
测试下来后面四个效果都不错，只有cv2.TM_SQDIFF和cv2.TM_SQDIFF_NORMED效果很差:
https://img2024.cnblogs.com/other/1914604/202412/1914604-20241210104302784-1090091755.png
``
流程图
为了更清晰的知道这段代码做了什么，可以将中间步骤处置惩罚过程都保存下来：
cv2.cvtColor(cv2.COLOR_BGR2GRAY是将bgr格式的图片转为灰度图):
https://img2024.cnblogs.com/other/1914604/202412/1914604-20241210104303026-1047437138.png
cv2.GaussianBlur(高斯滤波做含糊处置惩罚):
https://img2024.cnblogs.com/other/1914604/202412/1914604-20241210104303225-1853054322.png
cv2.Canny(边缘检测，参数可以自己调节看看，第一个是最小值，第二个是最大值，如果值给的太高保留下来的线就很少):
https://img2024.cnblogs.com/other/1914604/202412/1914604-20241210104303478-1050959245.png
本文由博客一文多发平台 OpenWrite 发布！
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]