[Автоматизация] Анализ элементов управления по изображению

[JRay]

Доброго времени суток.
Суть вопроса такова: имеем динамический (меняющийся в процессе работы) веб-интерфейс доступный через терминал (RDP). Элементы интерфейса не имеют фиксированного положения и могут смещаться в процессе работы(т.е. тупо кликать по координатам не выйдет). Учитывая что доступ у нас только через терминал, цепляться к элемента управления по классу,ИД и т.д. то же не представляется возможным. Проще говоря мы имеем изображение, которое надо анализировать и определить где какие элементы управления находятся и прокликать заданную последовательность действий. Элементы управления представляют собой ссылки в тексте отличающиеся бОльшим размером шрифта по сравнению с простым текстом.

На сколько я себе представляю, нужен некий метод анализа изображения, который определит координаты управляющих элементов (которые позже можно распознать OCR чтоб понять где какой контрол).
У кого какие мысли ?

 

[edyapd]

Если изображение контрола остаётся неизменным, то можно воспользоваться BMPSearch

 

[JRay]

Это первое что пришло в голову или как аналог искать контрол по контрольным пикселям, но проблема в том что контрол это текстовая ссылка, т.е. текст с чуть большем шрифтом чем основная масса. К тому же печаль в том, что текст контрола не статичен, а может меняться в процессе работы.

Для понимания, упрощенная аналогия, слово "форматирование" есть контрол который надо идентифицировать:

Спойлер

это какой-то текст. Его количество
и форматирование совершенно произ
вольно и может меняться как угодно