Если поставить в параметр hwnd 0, то все работает, цвет возвращает, а если поставить hwnd какого-либо окна, всегда возвращает черный цвет.
Код:
$hwnd = WinGetHandle("***", '')
$open = DllCall("user32.dll", "handle", "GetDC", "hwnd", $hwnd)
$call = DllCall("Gdi32.dll", "ptr", "GetPixel", "HANDLE", $open[0], "int", 508, "int", 606)
$error = DllCall("Kernel32.dll", "DWORD", "GetLastError")
MsgBox(0, '', $error[0] & @CRLF & $open[0] & @CRLF & @CRLF & 'Цвет: ' & $call[0])