【分享】基于gpt4v的ui自动化传统方法，无论是影刀还是s
ChatGPT
151 人阅读
|
0 人回复
|
2024-03-16
|
|
|
【分享】基于gpt4v的ui自动化传统方法，无论是影刀还是selenium，都是基于规则来定位元素。相同的内容，换套模板，就要新写一套规则。做的越多，需要维护的规则就越多，失效的也越多。gpt4v基于机器视觉和语义理解，能够直接读取ui图片，结合你的提问来定位元素。不过美中不足的是，需要对ui预先标定（就是画框标序号让它选），对于白盒ui（能拿到树结构的）适用，黑盒需要事先搞个yolo。滑动验证页面 |
|
|
|
|
|
|
|
|
|
