引言

随着信息技术的飞速发展，图形用户界面（GUI）已成为现代软件应用不可或缺的一部分。这些界面不仅为用户提供了直观的操作体验，还承载着丰富的信息展示功能，包括富文本、图像等多种元素。然而，这也给自动化测试带来了新的挑战，尤其是当GUI包含大量动态变化的文本信息时，传统的基于固定元素定位或文本内容的测试方法往往显得力不从心，直接影响到自动化测试运行稳定性。

为了应对这一挑战，图像文本识别（OCR）技术逐渐在软件测试领域崭露头角。OCR技术是一种能够将图像中的文字内容转化为可编辑、可搜索的文本格式的技术。它利用计算机视觉和模式识别的方法，对图像中的文字进行定位、分割和识别，从而实现文字信息的自动提取。

将OCR技术融合到界面自动化测试中，具有显著的优势和潜力。首先，OCR技术可以自动捕捉和识别GUI中的文本信息，无需人工干预即可获取到准确的文本内容、文本定位信息，极大地提高了测试效率和准确性。其次，OCR技术能够处理动态变化的文本信息，使得测试脚本能够更加灵活地应对GUI的变化进行识别和结果校验。

图像文本识别的Python 实现

PaddleOCR 作为一款开源、免费、高效、精准的OCR工具，凭借其多语种支持、高精度、易用性和高效性等特点，在各个领域得到了广泛的应用。随着技术的不断进步和应用需求的日益增长，PaddleOCR将在自动化处理和智能识别领域发挥更大的作用。

接下来，将使用 PaddleOCR 离线模型对下图进行文本识别。

文本识别结果如下图：

代码示例：

示例中 Python 版本及依赖库

# Python 3.10
Pillow==10.4.0
paddleocr==2.8.0
opencv-python==4.10.0.84
paddlepaddle==2.6.1

以下代码为示例代码，首先通过opencv-python 对图像进行预处理，然后使用paddleocr 库识别图像中所有文本信息，输出文本的五点定位坐标、可信度值。

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
import os
from PIL import Image
from paddleocr.tools.infer.utility import draw_ocr
from paddleocr import PaddleOCR
import cv2


# 本地模型地址
from config.deployment_config import INFERENCE_MODEL_PATH

def ocr_preprocess(_image_file_path):
    image = cv2.imread(_image_file_path)
    # 将输入图像转为灰度图
    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    # 对灰度图使用 Ostu 算法
    ret, th = cv2.threshold(gray, 0, 255, cv2.THRESH_OTSU)
    image_pro = Image.fromarray(cv2.copyMakeBorder(th, 25, 25, 25, 25, cv2.BORDER_CONSTANT, value=[255, 255, 255]))
    image_pro_path = os.path.join(os.path.dirname(_image_file_path), f"tmp_{os.path.basename(_image_file_path)}")
    image_pro.save(image_pro_path)
		
		# 初始化
    ocr = PaddleOCR(
        det_model_dir=os.path.join(INFERENCE_MODEL_PATH, 'det_infer'),
        rec_model_dir=os.path.join(INFERENCE_MODEL_PATH, 'rec_infer'),
        cls_model_dir=os.path.join(INFERENCE_MODEL_PATH, 'cls_infer'),
        use_space_char=True,
        use_angle_cls=True,
        lang="ch", use_gpu=False)

    ocr_result = ocr.ocr(image_pro_path)

    # 图像中标注识别结果
    image = Image.open(image_pro_path).convert('RGB')
    boxes = [line[0] for line in ocr_result[0]]
    txts = [line[1][0] for line in ocr_result[0]]
    scores = [line[1][1] for line in ocr_result[0]]
    ocr_image_result_show = draw_ocr(image, boxes, txts, scores, drop_score=0.8, font_path="simsun.ttc")
    ocr_image_path = os.path.join(os.path.dirname(_image_file_path), f"ocr_{os.path.basename(_image_file_path)}")
    Image.fromarray(ocr_image_result_show).save(ocr_image_path)
    text_cor_coordinate = {}

		# 遍历识别结果，获取坐标、可信度信息
    for line in ocr_result:
        for word_info in line:
            # 获取识别结果的文字信息
            text_info = word_info[1][0]
            # 获取文字的坐标（中心点）
            x1, y1 = word_info[0][0]
            x2, y2 = word_info[0][2]
            target_coords = ((x1 + x2) / 2, (y1 + y2) / 2)
            text_cor_coordinate[text_info] = {
                'left_top': (x1, y2),
                'right_top': (x2, y2),
                'left_bottom': (x1, y1),
                'right_bottom': (x2, y1),
                'center': target_coords,
                'score': word_info[1][1]
            }

    return text_cor_coordinate


if __name__ == '__main__':
    result = ocr_preprocess("WX20240708.png")
    print(result)

输出结果：

{
    "功能性测试质量目标之缺陷探测率O-DDP": {
        "center": [
            492.5,
            161.0
        ],
        "left_bottom": [
            235.0,
            150.0
        ],
        "left_top": [
            235.0,
            172.0
        ],
        "right_bottom": [
            750.0,
            150.0
        ],
        "right_top": [
            750.0,
            172.0
        ],
        "score": 0.9388514757156372
    },
    ...
}
    
    

图像文本识别与UI自动化测试的融合思路

测试执行阶段的融合——获取文本坐标，驱动测试执行。

在使用selenium 进行界面自动化测试时，通常会使用元素定位的方式驱动相关的点击、输入等操作。除此之外，也可以通过传递页面坐标，使用ActionChains 方法实现相关操作的驱动。

• 首先，通过OCR 识别获取指定文本的坐标位置。
• 然后，selenium ActionChains 实现操作驱动，驱动后续进行相关键鼠操作。

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains

dr = webdriver.Chrome()
dr.get('http://www.baidu.com')

# 鼠标右键点击
ActionChains(dr)\
  .move_by_offset(200, 300)\
    .context_click()\
      .perform()  

除此之外，除了selenium 的解决方案，OCR识别也可以与pyautogui 进行融合。

• 首先，通过OCR 识别获取指定文本的坐标位置，
• 然后，通过pyautogui.moveTo 实现鼠标移动，驱动后续进行相关键鼠操作。如

import pyautogui

def mouse_move_click(x, y, duration=0.25):
    """
    先移动再单击左键
    Args:
        x: x轴坐标
        y: y轴坐标
        duration: 持续时间

    Returns:

    """
    pyautogui.moveTo(x=x, y=y)
    time.sleep(0.5)
    pyautogui.click()

测试校验阶段的融合——获取文本内容，驱动测试校验。

可通过精确、模糊、正则表达式等方式灵活的校验期望结果与识别结果。

特定文本类型的提取，可通过特定规则对OCR识别结果中的内容进行定向提取，再与期望结果进行比对。

可设计文本识别的可信度阈值，只有当识别的结果可信度大于设定阈值时，才会进行后续的相关校验。