UIAutomate - автоматизация нестандартных элементов GUI

[Vengro]

Приветствую. Попробовал я эту библиотеку, но почему-то не получается установить текст в адресную строку FireFox.
Вроде находит объект, кликается, устанавливается фокус, но текст не вставляется.

Устанавливает @error = 3 - ошибка выполнения метода.

#include <UIAutomate.au3>
Local $h1 = WinGetHandle("[CLASS:MozillaWindowClass]"), $oParent, $oButton
WinActivate($h1)
$oParent = _UIA_GetElementFromHandle($h1)
;$oButton = _UIA_GetControlTypeElement($oParent, "UIA_EditControlTypeId", "Search or enter address", "LegacyIAccessible.Name")
$oButton = _UIA_GetControlTypeElement($oParent, "UIA_EditControlTypeId", "Search or enter address")
_UIA_ElementSetFocus($oButton)
_UIA_ElementTextSetValue($oButton, "autoit-script.ru")
MsgBox(0, @error & '           ' & @extended, IsObj($oParent) & @CR & @CR &  IsObj($oButton))

 

[InnI]

Устанавливает @error = 3 - ошибка выполнения метода.

Элемент не поддерживает данный метод ввода. Такое случается и довольно часто. Используйте Send.

 

[Gsq]

Добрый день. В приложении Viber Win 8.1. не удаётся найти элементы. Кто-то добился успеха ? Спасибо.

 

[Tick]

Добрый день! Огромное спасибо уважаемому автору за огромный труд!
Я пытаюсь заставить скрипт работать при заблокированном экране.

Сначала я вызываю всплывающее меню (было непросто научиться сюда нажимать).
ControlClick(WinGetHandle (" MAIN WINDOW TITLE"),"","[CLASS:AfxWnd140; INSTANCE:24]","left",1,2,2)
Затем я нахожу нужный элемент и кликаю по нему.

$hWnd = WinWait("[class:#32768]"); окно меню 
$oParent = _UIA_GetElementFromHandle($hWnd)
$aElements = _UIA_FindAllElements($oParent, "ControlType", $UIA_MenuItemControlTypeId)
_UIA_ElementMouseClick($aElements[4],"left",2,2,2,True);

Все прекрасно работает, пока экран не заблокирован.
При заблокированном экране ControlClick нормально отрабатывает и возникает меню.
Но кликнуть по элементу меню не получается.
Я попробовал заменить последнюю строку на
_UIA_ElementDoDefaultAction($aElements[4])
работает на разблокированном экране почему-то только в случае, если выполнить две таких команды подряд
На заблокированном экране - не работает :(
Нашел мануал
https://www.autoitscript.com/wiki/FAQ#Why_doesn.27t_my_script_work_on_a_locked_workstation.3F

On a locked station any window will never be active (active is only dialog with text "Press Ctrl+Alt+Del"). In Windows locked state applications run hidden (behind that visible dialog) and do not have focus and active status. So generally don't use Send() MouseClick() WinActivate() WinWaitActive() WinActive() etc. Instead use ControlSend() ControlSetText() ControlClick() WinWait() WinExists() WinMenuSelectItem() etc. Doing so allows you to interact with an application regardless of whether it is active or not. It's possible to run such a script from scheduler on locked Windows stations.

соответственно, ControlClick работает, а _UIA_ElementMouseClick - нет. Но почему не работает _UIA_ElementDoDefaultAction? :(
ПОЖАЛУЙСТА, посоветуйте, есть ли какой-то выход?
буду вам бесконечно признателен...

 

[InnI]

Затрудняюсь ответить, почему не работает _UIA_ElementDoDefaultAction на заблокированном экране. В связи с отсутствием ошибок можно предположить, что метод работает, только пункт меню его игнорирует.

Попробуйте стандартными средствами

Спойлер

; Вызов всплывающего меню SciTE и выбор "Select All"

#include <GuiMenu.au3>
#include <SendMessage.au3>
#include <WinAPISysWin.au3>
#include <WindowsConstants.au3>

$sText = "Select All" ; текст пункта

Sleep(3333) ; время на блокировку вручную (Win+L)

ControlClick("[Class:SciTEWindow]", "", "Scintilla1", "right")
$hWnd = WinWait("[class:#32768]")
$hMenu = _SendMessage($hWnd, 0x01E1)
$iItem = _GUICtrlMenu_FindItem($hMenu, $sText)
$aRect = _GUICtrlMenu_GetItemRect($hWnd, $hMenu, $iItem)
_MouseLeftClick($hWnd, $aRect[0] + 3, $aRect[1] + 3)

Func _MouseLeftClick($hWnd, $X, $Y, $Sleep = 10)
  Local Const $MK_LBUTTON = 0x0001
  _WinAPI_PostMessage($hWnd, $WM_SETCURSOR, $hWnd, _WinAPI_MakeLong($HTCLIENT, $WM_LBUTTONDOWN))
  _WinAPI_PostMessage($hWnd, $WM_LBUTTONDOWN, $MK_LBUTTON, _WinAPI_MakeLong($X, $Y))
  Sleep($Sleep)
  _WinAPI_PostMessage($hWnd, $WM_SETCURSOR, $hWnd, _WinAPI_MakeLong($HTCLIENT, $WM_LBUTTONUP))
  _WinAPI_PostMessage($hWnd, $WM_LBUTTONUP, 0, _WinAPI_MakeLong($X, $Y))
EndFunc

 

[Tick]

InnI​

Огромное вам спасибо! Все работает.

 

[grostech]

Добрый день!
Стоит задача получить классы (идентификаторы) кнопок на сайте через браузер google chrome, и в соответствующей последовательности и с соответствующими паузами произвести по ним клики. Соответственно вопрос, можно ли при помощи Inspect_W10 получить необходимые классы нужных кнопок, сходу не получилось, поэтому прошу оказать помощи, какую функцию лучше использовать и каким образом идентифицировать требуемые кнопки. За помощь буду очень благодарен.

 

[InnI]

через браузер google chrome

Для доступа к элементам страницы нужно запустить chrome с параметром --force-renderer-accessibility

 

[grostech]

Для доступа к элементам страницы нужно запустить chrome с параметром --force-renderer-accessibility

Спасибо за подсказку, буду пробовать.
А можно тогда уточнить, каким образом можно проверить с каким параметром запущен chrome, чтобы цикл обходил запуск chrome с данным параметром в случае если он запущен надлежащим образом? Спасибо

 

[InnI]

@grostech
Наличие параметра при запуске - это лишь один из способов включения поддержки IUIAutomation в chrome. Можно ещё перейти по ссылке chrome://accessibility и включить/отключить доступ к странице. Ещё можно отправить специальное сообщение:

UIAutomate - автоматизация нестандартных элементов GUI

SuperSonic Проблема некорректной работы с координатами при изменении DPI - это не проблема данной UDF. Это проблема AutoIt. Для правильной работы добавьте в начало скрипта DllCall("User32.dll", "bool", "SetProcessDPIAware") Теперь по поводу Inspect. Проверьте её работу на рабочем столе, в...

autoit-script.ru

Поэтому наличие/отсутствие параметра при запуске может не совпадать с фактическим наличием/отсутствием доступа к элементам страницы.

 

[grostech]

Поэтому наличие/отсутствие параметра при запуске может не совпадать с фактическим наличием/отсутствием доступа к элементам страницы.

Спасибо, буду разбираться !!!

Сообщение автоматически объединено: 30 Апр 2021

Добрый день. В процессе возникла элементарная проблема.
Как выдернуть координаты найденного элемента _UIA_ElementGetBoundingRectangle($oElement). Необходимо получить из массива левые x и y, после функцией MouseMove я хочу направить курсор на данные координаты, но проблема в том, что я не понимаю логики, а поиском я нашел только то что эта функция возвращает координаты найденного объекта. Одновременно хотел поинтересоваться, а есть мануал по описанию функций, в самом UIAutomate.au3 функции описаны исключительно по принципу относимости решения определенной задачи, но возникают элементарные вопросы, а ответ кроме как тут получить негде. Спасибо !
... Я Извиняюсь, все получилось !!!!

Сообщение автоматически объединено: 5 Май 2021

Добрый день. В процессе реализации требуемого алгоритма возникла сложность следующего вида. Необходимо найти на открытой странице сайта все кнопки одного типа, их там две, и получить координаты определенной, последовательность была следующая:
в начале функцией _UIA_GetControlTypeElement нахожу кнопку, после в функции _UIA_FindAllElements пытаюсь найти все элементы того типа, соответственно ничего не получается. Причина скорее всего не понимаю синтаксис, если можно сделайте примеры использования, потому, как в сухую вопрос застопорился. Также можете пояснить, что именно в с правой стороны инспектора является свойством объекта, значением, типом?
На примере скриншота, если с типом еще более менее понятно это UIA_ButtonControlTypeId, то значение и свойство где найти в данном списке?

Благодарю за терпение и понимание!

 

[InnI]

все кнопки одного типа

Кнопка - это и есть тип элемента

; поиск всех кнопок
$aBtns = _UIA_FindAllElements($oParent, "ControlType", $UIA_ButtonControlTypeId)

значение и свойство где найти в данном списке

Слева - свойства, справа - значения.

 

[breakin]

Тему прочитал на 2 раза, не нашел про это.
Приложение, написанное на QT5, там есть combobox с детьми Edit и List.
Edit для ввода значения из списка, или вообще любого. Это работает с
сабжевым UDF.
У List есть куча ListItems, причем при раскрытии этого контрола
возникает панель, не дочерняя приложению, а дочерняя десктопу, со списком
ListItems. И со скролбаром, потому что все ListItems не влезают.
Список я могу получить с помощью
Local $aList = _UIA_FindAllElements($oMain, "ControlType", $UIA_ListControlTypeId)
и потом
Local $aListItems = _UIA_FindAllElements($aList[$i], "ControlType", $UIA_ListItemControlTypeId)
и там будут все ListItems, но только до первого вызова этой панели. После этого
$aList уже будет содержать не все ListItems.
Какие есть способы получить весь список, кроме перезапуска приложения?
Inspect сообщает следующее о панели

Спойлер

How found: Mouse move (533,177)
hwnd=0x000104E0 32bit class="Qt5QWindowPopupDropShadowSaveBits" style=0x96000000 ex=0x88
RuntimeId: "[42.66784]"
BoundingRectangle: {l:480 t:123 r:629 b:255}
ProcessId: 1664
ControlType: UIA_PaneControlTypeId (0xC371)
LocalizedControlType: "панель"
Name: ""
AccessKey: ""
HasKeyboardFocus: false
IsKeyboardFocusable: false
IsEnabled: true
ClassName: "Qt5QWindowPopupDropShadowSaveBits"
HelpText: ""
IsPassword: false
NativeWindowHandle: 0x104E0
IsOffscreen: false
FrameworkId: "Win32"
ProviderDescription: "[pid:2520,hwnd:0x104E0 Main:Nested [pid:1664,hwnd:0x104E0 Main(parent link):Microsoft: MSAA Proxy (unmanaged:uiautomationcore.dll)]; Hwnd(parent link):Microsoft: HWND Proxy (unmanaged:uiautomationcore.dll)]"
LegacyIAccessible.ChildId: 0
LegacyIAccessible.DefaultAction: ""
LegacyIAccessible.Description: ""
LegacyIAccessible.Help: ""
LegacyIAccessible.KeyboardShortcut: ""
LegacyIAccessible.Name: ""
LegacyIAccessible.Role: граница (0x13)
LegacyIAccessible.State: изменяемого размера,перемещаемое (0x60000)
LegacyIAccessible.Value: ""
IsDockPatternAvailable: false
IsExpandCollapsePatternAvailable: false
IsGridItemPatternAvailable: false
IsGridPatternAvailable: false
IsInvokePatternAvailable: false
IsLegacyIAccessiblePatternAvailable: true
IsMultipleViewPatternAvailable: false
IsRangeValuePatternAvailable: false
IsScrollPatternAvailable: false
IsScrollItemPatternAvailable: false
IsSelectionItemPatternAvailable: false
IsSelectionPatternAvailable: false
IsTablePatternAvailable: false
IsTableItemPatternAvailable: false
IsTextPatternAvailable: false
IsTogglePatternAvailable: false
IsTransformPatternAvailable: false
IsValuePatternAvailable: false
IsWindowPatternAvailable: false
IsItemContainerPatternAvailable: false
IsVirtualizedItemPatternAvailable: false
IsSynchronizedInputPatternAvailable: false
FirstChild: [null]
LastChild: [null]
Next: "" панель
Previous: [null]
Other Props: Object has no additional properties
Children: Container has no children
Ancestors: "Рабочий стол" панель
[ No Parent ]

 

[Vengro]

Innl, подскажите, вот в новой версии FireFox 88 стали недоступны элементы/объекты DOM.
А в старой версии, 56-ой объекты были доступны. Как это можно исправить?

 

[InnI]

После этого $aList уже будет содержать не все ListItems.

Встречал я такой Combo, только без поля ввода - просто раскрывающийся список. Да, он так работает: возвращает только те пункты, которые отображались при закрытии списка. Но у меня список был заранее известен. Поэтому я тупо устанавливал в Combo фокус, отправлял {home} и нужное количество {down}.

Как это можно исправить?

Сложно это исправить.
Можно попробовать после полной загрузки Firefox вызвать эту функцию

Func _FirefoxAccessInit($hWnd = WinGetHandle("[RegexpTitle:.*Mozilla Firefox]"))
  Local $tIID_IAccessible = DllStructCreate("dword;word;word;byte[8]")
  DllCall("ole32.dll", "long", "CLSIDFromString", "wstr", "{618736E0-3C3D-11CF-810C-00AA00389B71}", "struct*", $tIID_IAccessible)
  DllCall("oleacc.dll", "int", "AccessibleObjectFromWindow", "hwnd", $hWnd, "dword", 0xFFFFFFFC, "struct*", $tIID_IAccessible, "ptr*", 0)
  Sleep(111)
EndFunc

Если не поможет, можно включить вручную: вызвать средства разработчика (F12) и выбрать вкладку "Поддержка доступности". И, желательно, до запуска утилиты Inspect.

 

[Vengro]

Да, именно то, что надо. А то UIAccessiblity, то работало, то нет. Хотя MSAA, показывало всегда, но я не нашёл способа, как её прикрутить к скрипту.
В MSAccessibility.au3 нет хороших функций или примеров.

 

[elread]

Скажите, а можно с помощью вашего хорошего набора функций найти текст между двумя другими текстами на странице? Например, текст "Джонатан Беннет" между фразами "Класс языка" и "Повлиял на" на: этой странице.

 

[InnI]

Например, текст "Джонатан Беннет" между фразами "Класс языка" и "Повлиял на"

Да, можно найти. Только не понятно - зачем. Текст "Джонатан Беннет" там встречается всего один раз. Какая разница между чем и чем он находится.

 

[elread]

Да, можно найти. Только не понятно - зачем. Текст "Джонатан Беннет" там встречается всего один раз. Какая разница между чем и чем он находится.

Это я для примера, чтобы узнать про случай когда inspect не видит разницы между этими тремя текстами. Ну кроме мышиных координат. В моём случае, мне нужно на динамической странице искать текст каждый раз между разными текстами. Innl, поиск по форуму не находит примеров использования ваших функций в таком ключе. Пока я насилую ClipGet() + _StringBetween, можете привести пример как это делается?

 

[InnI]

пример как это делается

Пример для Chrome.
Chrome должен быть запущен с параметром --force-renderer-accessibility и отображать страницу https://ru.wikipedia.org/wiki/AutoIt

#include <UIAutomate.au3>

$oPage = _UIA_GetElementFromHandle(ControlGetHandle("AutoIt — Википедия - Google Chrome", "", "Chrome_RenderWidgetHostHWND1"))
$aText = _UIA_FindAllElements($oPage, "ControlType", $UIA_TextControlTypeId)
For $i = 1 To $aText[0]
  If _UIA_ElementGetPropertyValue($aText[$i], "Name") = "Класс языка" Then
    For $j = $i + 1 To $aText[0]
      $sText = _UIA_ElementGetPropertyValue($aText[$j], "Name")
      If $sText = "Повлиял на" Then Exit
      ConsoleWrite($sText & @CRLF)
    Next
  EndIf
Next