【图像识别做UI自动化第一章】UI自动化代码设计思路

一、自动化框架散装思路

💭 框架设计思路如下

🔖 代码结构如下所示

🗂️  UIAutomationTools：UI自动化操作工具

- 📁 app：业务功能代码

    [ui_automation.py：结合图像识别的UI操作]

- 📁 case：测试用例

    [case_template.csv：UI测试用例步骤]

- 📁 config：配置文件

    📁 login:  登录相关的ICON图标路径

    [icon_config.py：图片路径配置文件]

- 📁 runner：运行器

    [config.py：配置文件处理模块]

    [runner.py: 程序运行入口]

- 📁 utils：基础方法

    [ui_tools.py：UI 操作方法]

    [ocr.py：图片文字识别方法]

    [match.py: 图像识别算法]

[config.ini： 运行配置文件]

[main.py：程序执行入口]

二、运行方法

代码的整体功能：

以下是构架框架的思路

1. **任务目标：**读取csv文件中的操作步骤，通过图像识别的方法，依据用例里的步骤依次操作APP界面。

2. 编写代码逻辑如下

• case下的用例模版新建测试用例

• 运行main.py函数

1. 案例

   例如：写一个登录界面的UI自动化脚本

   拆解：

    1. 登录界面有用户名输入框，密码输入框框，以及登录按键
   
    2. 输入框需要通过文字点击再输入，按键类图片需要通过图片点击
   
    3. 最后输出case.csv步骤，case.csv就是登录界面的UI自动化脚本
   
        ```Python
        location_method,action_type,action_value
        文本,点击,用户名
        文本,输入,Kahoku
        文本,点击,密码
        文本,输入,密码
        图片,点击, /login_sub.png
        文本,等待,2
        断言,图片,/login_succes.png
         ```
   

三、扩展知识

🎞️ 图像识别算法

【图像识别】OpenCV 算法

---

🛠️ UI控制驱动

---

🔲 其它辅助方法

---

---

---