Работаем с сайтом напрямую через http

[royalfint]

Всем привет! Вообщем надоел мне этот IE. Решил попробовать не использовать его и общаться с сайтом через протокол http. Есть пару вопросов к бывалым в этой теме. Допустим я отправляю GET запрос на сайт и получаю html. НО как сохранять куки, отправлять нажатия кнопок во флеше, отправлять формы, работать с js?
Допустим есть сайт: https://www.24option.com/24option/#Trade
1). Я отправляю get запрос и получаю html
2) как мне авторизоваться там и сохранить куки?
3) я допустим сохраню куки и буду передавать их в заголовках при следующих запросах?
4) там все почти построено на блоках и ни о каких формах и речь не может идти и как тогда мне отправлять нажатие кнопки или изменение значения в поле?
5) после изменения значений в поле или каких либо js эвэнтов я буду получать новый html?
Ну вот описал основные вопросы. Дорогие форумчане, прошу хоть как то наставить на путь правильный! :IL_AutoIt_1: Всем заранее спасибо!

 

[inververs]

1) Да
2) Авторизация обычно через POST, куки сохранятся автоматически
3) Если не сохранятся, то да, вручную при каждом новом запросе
4) Если там все на javascript то нажать на кнопки не получится, отправлять тоже.
5) нет

Открываете любой браузер, дальше переходите в режим отладки страниц, закладка по работе с сетью, нажимаете на кнопки на странице, если есть запросы, и вы сможете их повторить и понять как они формируются, то да, сможете через winhttp. Если не понятно откуда берутся те или другие данные, то вряд ли.

 

[royalfint]

Взял я мозиллу и Firebug. Авторизировался на сайте и отследил запросы.
самым первым был POST https://www.24option.com/24option/services/cookie
Заголовки запроса:

Спойлер

Accept	text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Encoding	gzip, deflate
Accept-Language	ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3
Content-Length	258
Content-Type	text/x-gwt-rpc; charset=utf-8
Cookie	JSESSIONID=CA117C35E9ACBD035433FC66F86443AE; __lc.visitor_id.2444211=S1408876382.b2b98f8c7d; visid_incap_29805=4j8A71oZRrO8SR2uNR8UJPTOxlMAAAAAQUIPAAAAAAAoV4kIbe5FcgycjUg0veJL; utag_main=_st:1408878828333$ses_id:1408877227929%3Bexp-session; SavedOftc=22547; FirstLPInFunnel=https://www.24option.com/; __utma=187397035.447170886.1405538044.1405538044.1408876378.2; __utmz=187397035.1405538044.1.1.utmcsr=22547_13310|utmccn=24Option%20Binary%20Option%20Trading|utmcmd=Affiliates; JSESSIONID=9EB0F820DF46E43622254DC36D9F2B9B; nofc=392888958oFcSep3oFcSepENoFcSepfalseoFcSeptrueoFcSepoFcSepoFcSep0oFcSepoFcSepfalseoFcSep0; incap_ses_265_29805=OSlBaqU4sF22ZP2SH3itA1K/+VMAAAAAcHALE4RggYu/PD7QG9zsIQ==; nlbi_29805=VAAzFLITeRRVPqsffzhUjgAAAAAehrvCKvXzcbc6U8Hq1z4J; regulation=Cysec; incap_ses_265_176401=Q+4PDOC141VOav2SH3itA1m/+VMAAAAA0TUeZ0HTYLH2FXNTE8xlpQ==; visid_incap_176401=VZ92KWz5S8qdAeFOnWDqw1i/+VMAAAAAQUIPAAAAAABewP0Atm3U/MOQQHT+a1Mc; __utmb=187397035.15.10.1408876378; __utmc=187397035; cookiePageType=Homepage EN; lc_window_state=minimized; _ym_visorc_24408424=b; PRUM_EPISODES=s=1408877045807&r=https%3A//www.24option.com/
Host	www.24option.com
Referer	https://www.24option.com/24option/
User-Agent	Mozilla/5.0 (Windows NT 6.1; rv:30.0) Gecko/20100101 Firefox/30.0
X-GWT-Module-Base	https://www.24option.com/24option/
X-GWT-Permutation	9599F191D646BC3FAA81ADEE712B05CA

заголовки ответа

Спойлер

Cache-Control	no-cache
Content-Disposition	attachment
Content-Length	12
Content-Type	application/json;charset=utf-8
Date	Sun, 24 Aug 2014 10:44:12 GMT
Expires	Thu, 01 Jan 1970 00:00:00 GMT
Pragma	no-cache
Server	Apache-Coyote/1.1
Set-Cookie	nofc=392888958oFcSep4oFcSepENoFcSepfalseoFcSeptrueoFcSepoFcSepoFcSep0oFcSepoFcSepfalseoFcSep0; domain=.24option.com; path=/; expires=Tue, 23-Sep-2014 10:44:13 GMT; HttpOnly
X-CDN	Incapsula
X-Iinfo	9-72842953-72847065 ENNY RT(1408877028802 23488) q(0 0 0 -1) r(4 4) U6

Что передавали в теле запроса:

Спойлер

7|0|6|https://www.24option.com/24option/|F37CB27F20251B873A47EC6A32F293C7|com.optionfair.client.cookies.CookieSaver|saveCookie|java.lang.String/2004016611|392888958oFcSep4oFcSepENoFcSepfalseoFcSeptrueoFcSepoFcSepoFcSep0oFcSepoFcSepfalseoFcSep0|1|2|3|4|1|5|6|

тело ответа:

Спойлер

//OK[[],0,7]

и куки

Спойлер

Добавлено:

Сообщение автоматически объединено: 24 Авг 2014

дальше идет запрос POST https://www.24option.com/24option/services/Lut
и его ответ очень большой и скорей всего служит для получения конфигов сайта.
далее пару запрос в яндекс метрик и кэш.
затем еще запрос для получения инфы о юзере.
И потом идет запрос на обновление каждые две секунды(assets update, и прочее).
Когда нажимаю на любую кнопку то js формирует интересный POST запрос:
ответа заголовки

Спойлер

Cache-Control	no-cache
Content-Disposition	attachment
Content-Encoding	gzip
Content-Length	1150
Content-Type	application/json;charset=utf-8
Date	Sun, 24 Aug 2014 11:30:09 GMT
Expires	Thu, 01 Jan 1970 00:00:00 GMT
Pragma	no-cache
Server	Apache-Coyote/1.1
X-CDN	Incapsula
X-Iinfo	9-73377771-73378322 ENNY RT(1408879769487 39127) q(0 0 0 -1) r(3 3) U6

заголовки запроса

Спойлер

Accept	text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Encoding	gzip, deflate
Accept-Language	ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3
Content-Length	162
Content-Type	text/x-gwt-rpc; charset=utf-8
Cookie	JSESSIONID=062D8CB8515C67EE0B9500059FE01DEA; __lc.visitor_id.2444211=S1408876382.b2b98f8c7d; visid_incap_29805=4j8A71oZRrO8SR2uNR8UJPTOxlMAAAAAQUIPAAAAAAAoV4kIbe5FcgycjUg0veJL; utag_main=_st:1408881591093$ses_id:1408880541845%3Bexp-session; SavedOftc=22547; FirstLPInFunnel=https://www.24option.com/24option/#; __utma=187397035.447170886.1405538044.1408876378.1408879768.3; __utmz=187397035.1405538044.1.1.utmcsr=22547_13310|utmccn=24Option%20Binary%20Option%20Trading|utmcmd=Affiliates; JSESSIONID=0D2F8B509EF77FD0D1798BCC2149DEE7; nofc=392888958oFcSep5oFcSepENoFcSepfalseoFcSeptrueoFcSepoFcSepoFcSep0oFcSepoFcSepfalseoFcSep0; incap_ses_265_29805=DeByCfpRqGOlsgmTH3itA5bM+VMAAAAAz/SsHJBuFZ/ZmHTzg1c0tw==; nlbi_29805=VAAzFLITeRRVPqsffzhUjgAAAAAehrvCKvXzcbc6U8Hq1z4J; regulation=Cysec; incap_ses_265_176401=Di7Id85tzhvbtwmTH3itA5vM+VMAAAAALM2YWrk2dHFQEsX1Q/Gugw==; visid_incap_176401=VZ92KWz5S8qdAeFOnWDqw1i/+VMAAAAAQUIPAAAAAABewP0Atm3U/MOQQHT+a1Mc; __utmc=187397035; cookiePageType=Unknown; lc_window_state=minimized; PRUM_EPISODES=s=1408879783089&r=https%3A//www.24option.com/; __utmb=187397035.5.10.1408879768; _ym_visorc_24408424=b
Host	www.24option.com
Referer	https://www.24option.com/24option/
User-Agent	Mozilla/5.0 (Windows NT 6.1; rv:30.0) Gecko/20100101 Firefox/30.0
X-GWT-Module-Base	https://www.24option.com/24option/
X-GWT-Permutation	9599F191D646BC3FAA81ADEE712B05CA

тело Post:

Спойлер

7|0|5|https://www.24option.com/24option/|804468DDC0303C40037B1916C2A068FF|com.optionfair.client.TradingService|getAssetTicks|J|1|2|3|4|3|5|5|5|Bp|UgHuhBs|UgH40NM|

и довольно приличный ответ:

[spoiler]//OK[0,0,'UgHx6bw',3,10850.119,2,0,0,'UgHx5No',3,10850.997,2,0,0,'UgHx3v4',3,10850.842,2,0,0,'UgHx2hw',3,10850.528,2,0,0,'UgHx1EA',3,10850.369,2,0,0,'UgHxzmQ',3,10849.925,2,0,0,'UgHxx44',3,10849.301,2,0,0,'UgHxvsQ',3,10849.528,2,0,0,'UgHxtQA',3,10845.724,2,0,0,'UgHxryQ',3,10849.928,2,0,0,'UgHxp1Q',3,10849.665,2,0,0,'UgHxoH4',3,10849.264,2,0,0,'UgHxmqI',3,10849.264,2,0,0,'UgHxktI',3,10848.713,2,0,0,'UgHxi_w',3,10846.886,2,0,0,'UgHxhiA',3,10848.017,2,0,0,'UgHxgT4',3,10848.137,2,0,0,'UgHxfFw',3,10851.559,2,0,0,'UgHxd3o',3,10851.145,2,0,0,'UgHxcKQ',3,10851.744,2,0,0,'UgHxa8I',3,10849.151,2,0,0,'UgHxYf4',3,10849.764,2,0,0,'UgHxXCI',3,10847.029,2,0,0,'UgHxVFI',3,10846.136,2,0,0,'UgHxT3A',3,10846.155,2,0,0,'UgHxSZQ',3,10845.799,2,0,0,'UgHxRLI',3,10845.435,2,0,0,'UgHxPdw',3,10847.258,2,0,0,'UgHxOPo',3,10847.155,2,0,0,'UgHxMiQ',3,10849.707,2,0,0,'UgHxLEg',3,10847.697,2,0,0,'UgHxJ2Y',3,10846.774,2,0,0,'UgHxIJA',3,10845.151,2,0,0,'UgHxGrQ',3,10845.556,2,0,0,'UgHxE94',3,10845.452,2,0,0,'UgHxDgI',3,10845.01,2,0,0,'UgHxByw',3,10845.85,2,0,0,'UgHxAko',3,10846.944,2,0,0,'UgHw_G4',3,10845.741,2,0,0,'UgHw9Zg',3,10846.469,2,0,0,'UgHw7cg',3,10848.483,2,0,0,'UgHw6OY',3,10851.628,2,0,0,'UgHw4wo',3,10850.735,2,0,0,'UgHw3ig',3,10849.501,2,0,0,'UgHw1lg',3,10847.05,2,0,0,'UgHw0Hw',3,10846.859,2,0,0,'UgHwyqA',3,10846.282,2,0,0,'UgHwwtA',3,10843.65,2,0,0,'UgHwu_o',3,10843.757,2,0,0,'UgHwtCo',3,10847.233,2,0,0,'UgHwrVQ',3,10848.394,2,0,0,'UgHwp3g',3,10848.28,2,0,0,'UgHwopY',3,10845.52,2,0,0,'UgHwnLo',3,10844.968,2,0,0,'UgHwleQ',3,10844.991,2,0,0,'UgHwkAg',3,10848.144,2,0,0,'UgHwiyY',3,10846.754,2,0,0,'UgHwhkQ',3,10844.264,2,0,0,'UgHwgGg',3,10844.238,2,0,0,'UgHweow',3,10842.961,2,0,0,'UgHwccI',3,10845.118,2,0,0,'UgHwbOA',3,10847.476,2,0,0,'UgHwZgo',3,10845.709,2,0,0,'UgHwXzQ',3,10844.863,2,0,0,'UgHwV2Q',3,10843.092,2,0,0,'UgHwUYg',3,10843.858,2,0,0,'UgHwS6w',3,10841.391,2,0,0,'UgHwRdA',3,10841.83,2,0,0,'UgHwP_Q',3,10842.767,2,0,0,'UgHwOhg',3,10842.28,2,0,0,'UgHwNTY',3,10841.599,2,0,0,'UgHwL1o',3,10841.526,2,0,0,'UgHwKng',3,10841.221,2,0,0,'UgHwJJw',3,10841.213,2,0,0,'UgHwHsA',3,10841.875,2,0,0,'UgHwF$o',3,10842.684,2,0,0,'UgHwEg4',3,10842.368,2,0,0,'UgHwCj4',3,10841.574,2,0,0,'UgHwA2g',3,10842.145,2,0,0,'UgHv_Yw',3,10843.904,2,0,0,'UgHv9rY',3,10843.96,2,0,0,'UgHv8dQ',3,10844.921,2,0,0,'UgHv6v4',3,10844.284,2,0,0,'UgHv5SI',3,10844.047,2,0,0,'UgHv4EA',3,10843.316,2,0,0,'UgHv2mQ',3,10841.658,2,0,0,'UgHv0pQ',3,10841.702,2,0,0,'UgHvzLg',3,10842.94,2,0,0,'UgHvxOg',3,10841.905,2,0,0,'UgHvvB4',3,10842.597,2,0,0,'UgHvtkI',3,10842.685,2,0,0,'UgHvpag',3,10842.807,2,0,0,'UgHvn8w',3,10842.832,2,0,0,'UgHvmfA',3,10843.544,2,0,0,'UgHvkxo',3,10843.033,2,0,0,'UgHvjT4',3,10842.972,2,0,0,'UgHvhmg',3,10841.846,2,0,0,'UgHvfpg',3,10840.773,2,0,0,'UgHveLw',3,10840.508,2,0,0,'UgHvcuA',3,10839.84,2,0,0,'UgHvbQQ',3,10841.63,2,0,0,'UgHvZyg',3,10841.53,2,0,0,'UgHvYkY',3,10842.151,2,0,0,'UgHvXGo',3,10841.671,2,0,0,'UgHvVZQ',3,10842.351,2,0,0,'UgHvTMo',3,10842.988,2,0,0,'UgHvRu4',3,10841.136,2,0,0,'UgHvQRI',3,10839.666,2,0,0,'UgHvOzY',3,10839.541,2,0,0,'UgHvNVo',3,10839.175,2,0,0,'UgHvL34',3,10837.924,2,0,0,'UgHvKKg',3,10837.16,2,0,0,'UgHvH94',3,10837.973,2,0,0,'UgHvGgI',3,10837.435,2,0,0,'UgHvFCY',3,10837.393,2,0,0,'UgHvD0Q',3,10836.555,2,0,0,'UgHvCG4',3,10835.598,2,0,0,'UgHvA4w',3,10835.933,2,0,0,'UgHu_LY',3,10835.853,2,0,0,'UgHu9OY',3,10836.497,2,0,0,'UgHu6yI',3,10836.685,2,0,0,'UgHu5kA',3,10835.425,2,0,0,'UgHu3nA',3,10838.328,2,0,0,'UgHu2JQ',3,10836.86,2,0,0,'UgHu0b4',3,10835.198,2,0,0,'UgHuzNw',3,10836.596,2,0,0,'UgHuxwA',3,10836.574,2,0,0,'UgHuwSQ',3,10840.302,2,0,0,'UgHuvEI',3,10840.21,2,0,0,'UgHutHI',3,10840.044,2,0,0,'UgHurZw',3,10839.444,2,0,0,'UgHuqLo',3,10840.241,2,0,0,'UgHuot4',3,10839.618,2,0,0,'UgHunAg',3,10837.554,2,0,0,'UgHulTI',3,10833.897,2,0,0,'UgHuinQ',3,10834.257,2,0,0,'UgHug54',3,10834.268,2,137,1,["java.util.ArrayList/4159755760","com.optionfair.client.model.FeedTickUpdate/4036343884","java.util.Date/3385151746"],0,7][/spoiler]

ну тут понятно что опять же данные для перерисовки страницы. но суть думаю в том что просто найти все данные о сессии, а там я уже создам шаблон запроса и буду подменять данные сессии.
P.S в АвтоИт я относительно недавно и максимальный мой проект по объему в 3500 строк. так что сильно не нужно судить если что говорю не так.
Было бы не плохо если кто то бы помог написать скрипт для получения html и кукисов чтобы их исследовать и изучать какие данные меняются и что говорит о сессии. Всем с меня обязательно по плюсу за помощь