UIAutomate - автоматизация нестандартных элементов GUI

[InnI]

astanid
Я вам ещё раз повторю: интерфейс UIAutomation не работает с кодом страницы. С кодом работает браузер, который на его основе создаёт элементы. И вот с этими элементами уже работает IUIAutomation. Фактически страница представляется, как окно GUI с кнопками, полями ввода, списками и т.д. Поэтому нужно использовать Inspect.

Как узнать выделен или нет чекбокс ?

Если вы хотите работать с CheckBox, то и искать нужно CheckBox (UIA_CheckBoxControlTypeId), а не его текст. Запускаете Inspect и находите CheckBox. Смотрите, какое у него имя (почти всегда оно совпадает с его текстом). А за "выделение" отвечает свойство "Toggle.ToggleState": 0 - выключен, 1 - включён

#include <UIAutomate.au3>

$oParent = _UIA_GetElementFromHandle(ControlGetHandle("[class:IEFrame]", "", "Internet Explorer_Server1"))
$oElement = _UIA_WaitControlTypeElement($oParent, "UIA_CheckBoxControlTypeId", "Outdated or irrelevant")
$iState = _UIA_ElementGetPropertyValue($oElement, "Toggle.ToggleState")
ConsoleWrite($iState & @CRLF)

Ещё есть свойство "LegacyIAccessible.State" - это набор флагов состояния элемента. Узнать состояние On/Off можно так

$iState = _UIA_ElementGetPropertyValue($oElement, "LegacyIAccessible.State")
If BitAND($iState, 0x10) Then
  ConsoleWrite("On" & @CRLF)
Else
  ConsoleWrite("Off" & @CRLF)
EndIf

 

[astanid]

Я вам ещё раз повторю: интерфейс UIAutomation не работает с кодом страницы.

спасибо. прочитать код страницы мне правда постоянно нужно - и как это сделать пока не придумал :(
http://autoit-script.ru/index.php?topic=23242.msg134428#new

 

[mr.Gbabak]

А подскажите как работать с браузером Опера?
С IE проблем нет, все хорошо, но решил код переделать под оперу и все, ничего не могу найти. Ни одного элемента со страницы, ни элементов браузера!!!

 

[InnI]

mr.Gbabak

как работать с браузером Опера

Также, как с Google Chrome, Yandex Browser и подобными. Главное - запустить с параметром "--force-renderer-accessibility". А дальше см. пример в описании темы и кучу примеров на форуме. Кстати, все проблемы автоматизации Google Chrome вы ощутите и на Опере.

 

[pasmo]

Добрый день,


Пытался сделать отслеживание создания новых вкладок в браузере Firefox EST (версия 45.6.0)
делаю примерно так:

$oRCpage = null
while 1
   $oRCpage = _UIA_WaitControlTypeElement($oParent, 0xC36E, "Авторизация", "Name", False, 0)
   if IsObj($oRCpage) then ExitLoop
   Sleep(500)
wend

$sHttpAddr = _UIA_ElementGetPropertyValue($oRCpage, "LegacyIAccessible.Value")
MsgBox(0,'', $sHttpAddr)

но проблема из-за которой решил беспокоить такая
Браузер начинает заметно подтормаживать - выходит регулярный опрос тормозит его
игрался с параметрами задержки - если ставить 2 секунды

$oRCpage = _UIA_WaitControlTypeElement($oParent, 0xC36E, "Авторизация", "Name", False, 2)

и Sleep(2000) то тормозит меньше,
однако раз в две секунды, если например постоянно переключать вкладки (имитируя работу в браузере)
краткосрочные тормоза появляются снова

может подскажите как решить такую проблему и имеет ли она решение вообще?
Спасибо Вам

 

[InnI]

pasmo
Функция _UIA_WaitControlTypeElement сама является циклом. Каждые 100мс она пытается найти запрошенный элемент. Т.е. последний параметр влияет только на время, в течение которого будут производиться попытки, и не влияет на паузы между попытками. А FireFox работает с интерфейсом IUIAutomation (создаёт объекты) довольно долго и с большой нагрузкой. Поэтому, пробуйте так

$UIA_ConsoleWriteError = 0
Do
  Sleep(1000)
  $oRCpage = _UIA_GetControlTypeElement($oParent, 0xC36E, "Авторизация")
Until Not @error
$UIA_ConsoleWriteError = 1

 

[Jenya-cook]

Браузер: Firefox

Добрый вечер InnI !
Суть вопроса такова:
Хочу сделать проверку, если в в области уведомлений появляется красный круг, то выполнить "допустим нажатие на нем" Предоставляю скрин (Окно Вк и консоль autoit)

Я новичок прошу помощи.

Кратко мои мысли и что делаю по порядку:
1. Ищу все элементы $aAllElements[0]
2. Сравниваю по двум элементам чтобы сжать условие поиска, чтобы найти красный кружок
3. Далее по идее если его найду то можно нажать на него
4. Если его нет - то и ничего делать не надо

В результате слишком много элементов (4шт), как сузить до одного и только его проверять и чем проверять?

Прикладываю мой ерундовый код:

$hWnd = WinActivate("Страница Вк")
$oParent = _UIA_GetElementFromHandle($hWnd) ; родитель


$aAllElements = _UIA_FindAllElements($oParent)
   
    For $i = 1 To $aAllElements[0]
        If _UIA_ElementGetPropertyValue($aAllElements[$i], "LocalizedControlType") ="поле" And _   ;Ищу по двум критериям, но все равно не могу найти искомое только одно.
		   _UIA_ElementGetPropertyValue($aAllElements[$i], "AccessKey") = "Alt+Shift+2" Then

			$info = _UIA_ElementGetPropertyValue($aAllElements[$i], "name")

          	ConsoleWrite ($i &" ") ;вывожу номер из массива
			ConsoleWrite ($info &@CRLF) ;это вывод "name" для каждого $i
			
			$aRect = _UIA_ElementGetBoundingRectangle($aAllElements[$i])  ;здесь просто хочу подьехать мышкой к этому красному кружку 
			MouseMove($aRect[0] + ($aRect[2] - $aRect[0]) / 2, $aRect[1] + ($aRect[3] - $aRect[1]) / 2, 10)
		EndIf
	 Next

Что выводит консоль:
132 Уведомления
135 7
6596 Уведомления
6599 7
>Exit code: 0 Time: 13.14

 

[InnI]

Jenya-cook
Похоже на то, что у вас открыты две одинаковые вкладки. Дело в том, что FireFox перечисляет вообще все элементы - и видимые и невидимые. Поэтому попробуйте дополнительно искать по условию видимости IsOffscreen = False.

Если нужно найти ОДИН элемент, то нужно знать какое-то свойство, отличающее его от ВСЕХ других элементов. В противном случае, находим все элементы с каким-то общим свойством, затем при помощи _UIA_FindElementsInArray фильтруем полученный массив по другому свойству, затем по третьему и т.д. Когда останутся только одинаковые свойства, обращаемся к нужному элементу по индексу оставшегося массива

$oParent = _UIA_GetElementFromHandle($hWnd)

$aAccessKey = _UIA_FindAllElements($oParent, "AccessKey", "Alt+Shift+2")
$aEdit = _UIA_FindElementsInArray($aAccessKey, "LocalizedControlType", "поле")
$aVisible = _UIA_FindElementsInArray($aEdit, "IsOffscreen", False)

For $i = 1 To $aVisible[0]
  ConsoleWrite(_UIA_ElementGetPropertyValue($aVisible[$i], "Name") & @CRLF)
Next

Для вашего случая, я так понимаю, если останется два элемента, то "кружок" виден. А кликнуть, вероятно, можно в любой из них.

Ещё, как вариант, можно поискать видимую ссылку с наличием в имени строки "Уведомления". Затем, либо прочитать количество уведомлений, либо найти красный пиксель в области ссылки.

 

[Jenya-cook]

Cпасибо большое, да и вправду было две одинаковых вкладки открыто! Буду дальше пробовать, спс!

 

[tryinfinity]

Нахожу нужный объект
$oElement = _UIA_GetControlTypeElement($oParent, "UIA_TextControlTypeId", "name")
Пытаюсь проскролить на него _UIA_ElementScrollIntoView($oElement)
Не скролится. Может _UIA_ElementScrollIntoView только для браузеров?
_UIA_ElementMouseClick($oElement) работает, но когда объекта не видно в списке, то тыкает не туда куда надо.

 

[InnI]

tryinfinity

Не скролится.

Элемент должен поддерживать шаблон прокрутки IsScrollItemPatternAvailable: true (см. Inspect). Насколько я знаю, тексты данный шаблон не поддерживают. С другой стороны нет смысла кликать в текст, т.к. он ничего не сделает. Смотрите родителя текста в дереве Inspect - кнопка, ссылка, переключатель... Вот у них может быть поддержка прокрутки. Также, эти элементы, как правило, можно "кликать" через DoDefaulAction.

 

[InnI]

Обновление до версии 1.7:
- добавлена поддержка Windows 10 (1703) "Creators Update": возможность создания объекта IUIAutomation версии 4 и элементов версий 6 и 7

 

[tryinfinity]

Имею вот такую инфу в инспекторе:

Спойлер

ControlType: UIA_DataGridControlTypeId (0xC36C)
LocalizedControlType: "сетка данных"
Name: ""
AcceleratorKey: ""
AccessKey: ""
HasKeyboardFocus: false
IsKeyboardFocusable: true
IsEnabled: true
AutomationId: "AccountsListGridView"
ClassName: "RadGridView"
HelpText: "RadGridView"
Scroll.HorizontallyScrollable: false
Scroll.VerticallyScrollable: true
Selection.Selection:
Selection.CanSelectMultiple: false
Selection.IsSelectionRequired: false
Grid.RowCount: 9
Grid.ColumnCount: 11

Пытаюсь достать значение Grid.RowCount.
Т.к. name = "", ищу по LocalizedControlType

$oParent = _UIA_GetElementFromHandle($hWnd)
$oElement = _UIA_GetControlTypeElement($oParent, "UIA_DataGridControlTypeId", "сетка данных");
print(_UIA_ElementGetPropertyValue($oElement, "Grid.RowCount"));

Ошибок нет, значит объект находится, но Grid.RowCount почему-то распечатывае равным 0.
Хелп плз.

 

[InnI]

tryinfinity

Т.к. name = "", ищу по LocalizedControlType

"Name" используется по умолчанию, а другие свойства нужно указывать явно

$oElement = _UIA_GetControlTypeElement($oParent, "UIA_DataGridControlTypeId", "сетка данных", "LocalizedControlType")

почему-то распечатывае равным 0

Ну я же не знаю, что у вас функция print делает. Может, она только и умеет, что ноль "распечатывать" ;)

 

[tryinfinity]

Огромное спасибо за помощь.
Появилась новая проблема. Есть основное окно приложения, на нем кнопка "Меню" с выскакивающим списком кнопок, жму "Меню", жму нужную кнопку из списка (_UIA_ElementDoDefaultAction($oElement)), появляется поверх диалоговое окно, которое делает неактивным главное, пока его не закрыть. В этот момент весь скрипт замирает и чего то ждет, пока не закроешь это окно. Через время в логах _UIA_ElementDoDefaultAction : ошибка выполнения метода (0x80042002)
Читал описание, но там нет параметра не ожидать ответа о выполнении. Как можно решить проблему?

 

[InnI]

tryinfinity

скрипт замирает и чего то ждет

Скрипт выполняет указанные вами команды. Если вы, как разработчик скрипта, не можете понять, чего ожидает скрипт, то я, не видя кода, тем более не смогу это определить.

там нет параметра не ожидать ответа о выполнении

Не понял фразы. Функции выводят ошибки при возникновении этих самых ошибок. Вывод ошибок можно в любой момент отключить или включить

$UIA_ConsoleWriteError = 0 ; отключение вывода ошибок
$UIA_ConsoleWriteError = 1 ; включение вывода ошибок (по умолчанию - включено)

Как можно решить проблему?

Насколько я понял - проблема в открытом окне. Следовательно, нужно закрыть это диалоговое окно (или дождаться его закрытия) и только после этого вызывать функции, работающие с основным окном.

 

[tryinfinity]

Если вы, как разработчик скрипта, не можете понять, чего ожидает скрипт, то я, не видя кода, тем более не смогу это определить.

Дак вроде понял и написал, что скрипт подвисает на _UIA_ElementDoDefaultAction($oElement). А чтоименно его стопорит его в самой ф-ции я не знаю, вот и спросил.

 

[InnI]

tryinfinity

скрипт подвисает на _UIA_ElementDoDefaultAction($oElement)

Вы ошибаетесь. Если скрипт и подвисает, то не на этой функции. Чтобы выполнить эту функцию, вам нужно элемент найти. Вот при поиске, особенно, если использовать _UIA_Wait* функции, скрипт может "задуматься". Т.е. вам будет казаться, что скрипт завис, а на самом деле он пытается найти нужный вам элемент. С другой стороны, если окно заблокировано, то выполнение DoDefaultAction может привести к ошибке, по причине отсутствия доступа к элементу. К тому же, я не могу точно сказать, как будет вести себя поиск в заблокированном окне.

Я не пойму. Вы хотите проблему решить или пообщаться? Без кода проблемного участка мы проблему не решим. А бывает, что и код не помогает и нужно работать непосредственно с программой - изучать её реакцию на различные действия.

 

[XakeP]

для WinXP уже недоступно скачать API UIAutomation. :( если есть у кого - залейте куда нибудь

 

[InnI]

В описание темы добавил ссылку на обновление KB971513: catalog.update.microsoft.com