
OmniParser,微软开源基于纯视觉的图形界面Agent的屏幕解析工具,能够将屏幕截图转化为 LLM 可读懂的结构化元素,提高多模态大模型的视觉识别准确度。
特别适合自动化测试、自动化操作等交互场景
https://github.com/microsoft/OmniParser

OmniParser,微软开源基于纯视觉的图形界面Agent的屏幕解析工具,能够将屏幕截图转化为 LLM 可读懂的结构化元素,提高多模态大模型的视觉识别准确度。
特别适合自动化测试、自动化操作等交互场景
https://github.com/microsoft/OmniParser