Interpretación de una imagen que contiene una pantalla

Para un proyecto que tengo es necesario tener un componente que por inteligencia artificial pueda interpretar una imagen que contenga una pantalla de una aplicación web diferenciando: los campos de texto con los nombres asignados al campo de forma anterior o arriba, campos de selección de igual forma, botones, checkbox, radiobotton, tablas.
El proyecto está desarrollado en java.