Вывод в текстовый файл списка на сайте

Василиса Лукьянчикова · 3 Ноя 2018

Доброе утро специалисты по языку Autoit.
Подскажите решение по такому вопросу:

На сайте https://chastnik.ru/aob/22/ указаны вакансии трудоустройства, но их очень много, и они идут на разных страницах.
Выводимый текст этого списка - это разумеется не весь текст объявления, а только его часть.

Как вывести в текстовый файл - эти короткие записи которые идут в желтом списке на страницах https://chastnik.ru/aob/22/ затем https://chastnik.ru/aob/22/?PAGEN_5=2 и.д. ?
В ссылках - меняется последняя цифра (это значит, что идет следующая аналогичная страница сайта)

Tempo · 3 Ноя 2018

Василиса Лукьянчикова [?]

желтом списке

Что именно вы имеете ввиду?

Пример вывода полного списка

Код:

#include <Inet.au3>
#include <FileConstants.au3>
Global $g_sFile = @ScriptDir & "\JobList.txt", $g_sPath = "/aob/22"
_DumpJobList($g_sFile, $g_sPath)

Func _DumpJobList($sFile, $sPath)
	Local $sURL = "https://chastnik.ru", $sHTML, $aRegExp, $sOut, $hFile
	While 1
		$sHTML = _INetGetSource($sURL & $sPath)
		If @error Then ExitLoop
		$aRegExp = StringRegExp($sHTML, '<div class="large-12 columns aob__text"><a href="(.+?)">(.*?)</a></div>', $STR_REGEXPARRAYGLOBALMATCH)
		If Not @error Then
			For $i = 0 To UBound($aRegExp) - 1 Step 2
				$sOut &= "URL=" & $sURL & $aRegExp[$i] & @CRLF & "Desc=" & $aRegExp[$i + 1] & @CRLF & @CRLF
			Next
		EndIf
		$aRegExp = StringRegExp($sHTML, '<a class="block_white navigation__arrow navigation__next" href="(.+?)" title="Следующая страница">След.</a>', $STR_REGEXPARRAYMATCH)
		If @error Then ExitLoop
		$sPath = $aRegExp[0]
	WEnd
	$hFile = FileOpen($sFile, $FO_OVERWRITE + $FO_UTF8)
	FileWrite($hFile, $sOut)
	FileClose($hFile)
EndFunc   ;==>_DumpJobList

Василиса Лукьянчикова · 5 Ноя 2018

Tempo
Да у вас скрипт наверное делает то, что нужно.
Но он выдает русскоязычный текст в какой-то странной кодировке.
Я не могу его прочесть.

Примерно вот так в текстовом файле выдается информация:

URL=https://chastnik.ru/aob/56/2207867/
Desc=РћРїРµСЂР°С‚РѕСЂ РїСЂРµСЃСЃР° (С€С‚Р°РјРїРѕРІС‰РёРє) РЅР° РїСЂ-РІРѕ, Р·РЅР°РЅРёРµ

И так - весь файл - идут вот такие записи.

Tempo · 5 Ноя 2018

Попробуйте так

Код:

#include <Inet.au3>
#include <FileConstants.au3>
Global $g_sFile = @ScriptDir & "\JobList.txt", $g_sPath = "/aob/22"
_DumpJobList($g_sFile, $g_sPath)

Func _DumpJobList($sFile, $sPath)
	Local $sURL = "https://chastnik.ru", $sHTML, $aRegExp, $sOut, $hFile
	While 1
		$sHTML = _INetGetSource($sURL & $sPath)
		If @error Then ExitLoop
		$aRegExp = StringRegExp($sHTML, '<div class="large-12 columns aob__text"><a href="(.+?)">(.*?)</a></div>', $STR_REGEXPARRAYGLOBALMATCH)
		If Not @error Then
			For $i = 0 To UBound($aRegExp) - 1 Step 2
				$sOut &= "URL=" & $sURL & $aRegExp[$i] & @CRLF & "Desc=" & $aRegExp[$i + 1] & @CRLF & @CRLF
			Next
		EndIf
		$aRegExp = StringRegExp($sHTML, '<a class="block_white navigation__arrow navigation__next" href="(.+?)" title="Следующая страница">След.</a>', $STR_REGEXPARRAYMATCH)
		If @error Then ExitLoop
		$sPath = $aRegExp[0]
	WEnd
	$hFile = FileOpen($sFile, $FO_OVERWRITE)
	FileWrite($hFile, $sOut)
	FileClose($hFile)
EndFunc   ;==>_DumpJobList

Василиса Лукьянчикова · 6 Ноя 2018

Tempo
Выдает вот такой результат:

URL=https://chastnik.ru/aob/56/2207867/
Desc=РћРїРµСЂР°С‚РѕСЂ РїСЂРµСЃСЃР° (С€С‚Р°РјРїРѕРІС‰РёРє) РЅР° РїСЂ-РІРѕ, Р·РЅР°РЅРёРµ РїСЂРёРЅС†РёРїРѕРІ СЂР°Р±РѕС‚С‹ РїСЂРµСЃСЃРѕРІ СЂР°Р·Р». С‚РёРїРѕРІ, СЃРїРѕСЃРѕР±РѕРІ С€С‚Р°РјРїРѕРІ...

URL=https://chastnik.ru/aob/55/2207865/
Desc=Р Р°Р±РѕС‡РёР№ РЅР° СЃР±РѕСЂРєСѓ РєСЂРµРїРµР¶Р° (С…РѕРјСѓС‚) РґР»СЏ СЂР°Р±РѕС‚С‹ РІ С†РµС…Сѓ, РіСЂ. 3С…3 СЃ 8.00 РґРѕ 20.00, РІРѕР·Рј. РЅРѕС‡РЅ. 2С…2, СЃ 20...

URL=https://chastnik.ru/aob/56/2207866/
Desc=РЎРІР°СЂС‰РёРє С‚РѕС‡РµС‡РЅРѕР№ СЃРІР°СЂРєРё, РјР°С€РёРЅРЅР°СЏ РєРѕРЅС‚Р°РєС‚РЅР°СЏ СЃРІР°СЂРєР°, РѕР±СѓС‡РµРЅРёРµ, РѕС„РѕСЂРјР». РїРѕ РўРљ Р Р¤, РіСЂР°С„РёРє 4С…2 (РґРµРЅСЊ Рё ...

URL=https://chastnik.ru/aob/52/2208237/
Desc=РђРґРјРёРЅРёСЃС‚СЂР°С‚РѕСЂ - РїРѕРјРѕС‰РЅРёРє РґР»СЏ РІСЃС‚СЂРµС‡Рё РїРѕСЃРµС‚РёС‚РµР»РµР№ Рё РїСЂРёРµРјР° РІС…РѕРґСЏС‰РёС… Р»СЋРґРµР№, РІРµРґРµРЅРёРµ СЂРµРіРёСЃС‚СЂР°С†РёРё Р¶СѓСЂРЅР°Р»...

URL=https://chastnik.ru/aob/60/2208297/
Desc=РђРґРјРёРЅРёСЃС‚СЂР°С‚РѕСЂ РЅР° Р°РІС‚РѕРјРѕР№РєСѓ, РіСЂР°С„РёРє 3С…3 СЃ 8 РґРѕ 20, Р·Р°СЂРїР»Р°С‚Р° 12000 СЂСѓР±.

URL=https://chastnik.ru/aob/61/2208422/
Desc=РђРґРјРёРЅРёСЃС‚СЂР°С‚РѕСЂ-РґРёСЂРµРєС‚РѕСЂ РІ СЃС‚СЂСѓРєС‚СѓСЂРЅРѕРµ РїРѕРґСЂР°Р·РґРµР»РµРЅРёРµ, РѕРїС‹С‚ РїСЂРёРІРµС‚СЃС‚РІСѓРµС‚СЃСЏ, РіСЂР°С„РёРє 5С…2, РґРѕС…РѕРґ РґРѕ 40 С‚С‹СЃ...

URL=https://chastnik.ru/aob/52/2208390/
Desc=РђРґРјРёРЅРёСЃС‚СЂР°С‚РѕСЂ-РєРѕРЅСЃСѓР»СЊС‚Р°РЅС‚ СЃ С„СѓРЅРєС†РёСЏРјРё РјРµРЅРµРґР¶РµСЂР°, РїСЂРёРµРј Р·РІРѕРЅРєРѕРІ, РѕР±СЂР°Р±РѕС‚РєР° РІС…. Р·Р°СЏРІРѕРє, РєРѕРЅСЃСѓР»СЊС‚. РєР»РёРµ...

URL=https://chastnik.ru/aob/50/2208095/
Desc=РђРґРјРёРЅРёСЃС‚СЂР°С‚РѕСЂ-РєРѕРЅСЃСѓР»СЊС‚Р°РЅС‚, Р¶РµР»Р°С‚РµР»СЊРЅРѕ РјРµРґРёС†РёРЅСЃРєРѕРµ РѕР±СЂР°Р·РѕРІР°РЅРёРµ, РіСЂР°С„РёРє 5С…2, РІРѕР·Рј. РіРёР±РєРѕРіРѕ РіСЂР°С„РёРєР° РґР»СЏ...

URL=https://chastnik.ru/aob/52/2208544/
Desc=РђРґРјРёРЅРёСЃС‚СЂР°С‚РѕСЂ-РјРµРЅРµРґР¶РµСЂ РґР»СЏ СЂР°Р±РѕС‚С‹ РІ РѕС„РёСЃРµ, РІ С‚.С‡. СЃС‚СѓРґРµРЅС‚С‹, РІРѕРµРЅРЅС‹Рµ РїРµРЅСЃРёРѕРЅРµСЂС‹, РіСЂР°С„РёРє СЃРІРѕР±РѕРґРЅС‹Р№.

URL=https://chastnik.ru/aob/52/2208452/
Desc=РђРґРјРёРЅРёСЃС‚СЂР°С‚РѕСЂ-РѕРїРµСЂР°С‚РѕСЂ, РїСЂРёРµРј Рё РѕР±СЂР°Р±РѕС‚РєР° РІС…РѕРґСЏС‰РёС… Р·РІРѕРЅРєРѕРІ, РѕС‚С‡РµС‚РЅР°СЏ РґРѕРєСѓРјРµРЅС‚Р°С†РёСЏ, РѕР±СѓС‡РµРЅРёРµ РЅР° СЂР°Р±РѕС‡...

URL=https://chastnik.ru/aob/59/2208247/
Desc=РђРґРјРёРЅРёСЃС‚СЂР°С‚РѕСЂ-РїРѕРјРѕС‰РЅРёРє СЂСѓРєРѕРІРѕРґРёС‚РµР»СЏ РІ С‚РѕСЂРіРѕРІС‹Р№ РѕС‚РґРµР», РіРёР±РєРёР№ РіСЂР°С„РёРє, РґРѕСЃС‚РѕР№РЅР°СЏ РѕРїР»Р°С‚Р° + РїСЂРµРјРёРё (РµР¶РµРј...

URL=https://chastnik.ru/aob/61/2208244/
Desc=РђРґРјРёРЅРёСЃС‚СЂР°С‚РѕСЂ-СЂРµС„РµСЂРµРЅС‚ РІ СЃС„РµСЂСѓ СѓРїСЂР°РІР»РµРЅРёСЏ РїРµСЂСЃРѕРЅР°Р»РѕРј, РєР°СЂСЊРµСЂРЅС‹Р№ СЂРѕСЃС‚, СѓРґРѕР±РЅС‹Р№ РіСЂР°С„РёРє, РІРѕР·РјРѕР¶РЅРѕ СЃРѕРІРјРµ...

URL=https://chastnik.ru/aob/52/2208041/
Desc=РђРґРјРёРЅРёСЃС‚СЂР°С‚РѕСЂ-СЃРїРµС†РёР°Р»РёСЃС‚ РѕРїС‚РѕРІРѕРіРѕ СЃРєР»Р°РґР°, СЃРµРєСЂРµС‚Р°СЂСЊ-РјРµРЅРµРґР¶РµСЂ, РїРѕРјРѕС‰РЅРёРє РјРµРЅРµРґР¶РµСЂР° РЅР° РЅРµРїРѕР»РЅС‹Р№ СЂР°Р±РѕС‡РёР№...

URL=https://chastnik.ru/aob/49/2208255/
Desc=РђРєС‚РёРІРЅС‹Р№ РїРѕРјРѕС‰РЅРёРє РЅР° С‡Р°СЃС‚РёС‡РЅСѓСЋ Р·Р°РЅСЏС‚РѕСЃС‚СЊ, РІ С‚.С‡. РїРµРЅСЃРёРѕРЅРµСЂС‹. Р”СЂСѓР¶РЅС‹Р№ РєРѕР»Р»РµРєС‚РёРІ. РџСЂРѕСЃС‚С‹Рµ РѕР±СЏР·Р°РЅРЅРѕСЃС‚Рё.

URL=https://chastnik.ru/aob/51/2208133/
Desc=Р‘Р°СЂРјРµРЅ РІ С„РёС‚РЅРµСЃ-РєР»СѓР±, СѓС‚СЂРѕ СЃ 7 РґРѕ 15, РІРµС‡РµСЂ СЃ 15 РґРѕ 23, РіСЂР°С„РёРє РїР»Р°РІР°СЋС‰РёР№, СѓРґРѕР±РЅРѕ РІ С‚.С‡. РґР»СЏ СЃС‚СѓРґРµРЅС‚Рѕ...

URL=https://chastnik.ru/aob/51/2208123/
Desc=Р‘Р°СЂРјРµРЅ, С…РѕСЃС‚РµСЃСЃ РІ Р±Р°СЂ, С†РµРЅС‚СЂ РіРѕСЂРѕРґР°, СѓРґРѕР±РЅС‹Р№ РіСЂР°С„РёРє, РїРёС‚Р°РЅРёРµ, СЂР°Р·РІРѕР·, Р·/РїР»Р°С‚Р° РµР¶РµРЅРµРґРµР»СЊРЅРѕ.

URL=https://chastnik.ru/aob/56/2208078/
Desc=Р‘РµС‚РѕРЅС‰РёРєРё-РјРѕРЅРѕР»РёС‚С‡РёРєРё (Р±СЂРёРіР°РґР°) СЃРѕ СЃСЉРµРјРЅРѕР№ РѕРїР°Р»СѓР±РєРѕР№.

URL=https://chastnik.ru/aob/170/2207933/
Desc=Р‘СѓС…РіР°Р»С‚РµСЂ РІ С‚СѓСЂРёСЃС‚РёС‡РµСЃРєСѓСЋ РєРѕРјРїР°РЅРёСЋ.

URL=https://chastnik.ru/aob/170/2207841/
Desc=Р‘СѓС…РіР°Р»С‚РµСЂ РЅР° РїРµСЂРІРёС‡РЅСѓСЋ РґРѕРєСѓРјРµРЅС‚Р°С†РёСЋ, Р·РЅР°РЅРёРµ РўРљ Р Р¤, Р·Р°СЂРїР»Р°С‚Р° РїРѕ РёС‚РѕРіР°Рј СЃРѕР±РµСЃРµРґРѕРІР°РЅРёСЏ.

URL=https://chastnik.ru/aob/170/2208205/
Desc=Р‘СѓС…РіР°Р»С‚РµСЂ РЅР° РїРµСЂРІРёС‡РЅСѓСЋ РґРѕРєСѓРјРµРЅС‚Р°С†РёСЋ, СЃ РѕРїС‹С‚РѕРј СЂР°Р±РѕС‚С‹, РіСЂР°С„РёРє 5С…2 - СЃ 9.00 РґРѕ 17.00, Р·Р°СЂРїР»Р°С‚Р° 20000 СЂ...

Alecsis · 6 Ноя 2018

Привет!
С кодировкой скрипта всё Ok, а вот сама страничка закодирована в UTF8, отсюда-то и ноги растут…

Код:

#include <Inet.au3>
#include <FileConstants.au3>
Global $g_sFile = @ScriptDir & "\JobList.txt", $g_sPath = "/aob/22"
_DumpJobList($g_sFile, $g_sPath)

Func _DumpJobList($sFile, $sPath)
    Local $sURL = "https://chastnik.ru", $sHTML, $aRegExp, $sOut, $hFile
    While 1
;~         $sHTML = _INetGetSource($sURL & $sPath)  ; было
;~         If @error Then ExitLoop                  ;
        ;
        $sHTML = INetRead($sURL & $sPath, $INET_FORCERELOAD)  
        If @error Then ExitLoop                               ;
        $sHTML = BinaryToString($sHTML, $SB_UTF8)             ; не забываем кодировку страницы UTF8
        ;
        $aRegExp = StringRegExp($sHTML, '<div class="large-12 columns aob__text"><a href="(.+?)">(.*?)</a></div>', $STR_REGEXPARRAYGLOBALMATCH)
        If Not @error Then
            For $i = 0 To UBound($aRegExp) - 1 Step 2
                $sOut &= "URL=" & $sURL & $aRegExp[$i] & @CRLF & "Desc=" & $aRegExp[$i + 1] & @CRLF & @CRLF
            Next
        EndIf
        $aRegExp = StringRegExp($sHTML, '<a class="block_white navigation__arrow navigation__next" href="(.+?)" title="Следующая страница">След.</a>', $STR_REGEXPARRAYMATCH)
        If @error Then ExitLoop
        $sPath = $aRegExp[0]
    WEnd
;~     $hFile = FileOpen($sFile, $FO_OVERWRITE)                 ; было
    $hFile = FileOpen($sFile, BitOr($FO_OVERWRITE, $FO_ANSI))   ; стало: кодировку можно заменить на $FO_UTF8
    FileWrite($hFile, $sOut)
    FileClose($hFile)
EndFunc   ;==>_DumpJobList

Результат теперь выглядит так:

URL=https://chastnik.ru/aob/56/2207867/
Desc=Оператор пресса (штамповщик) на пр-во, знание принципов работы прессов разл. типов, способов штампов...

URL=https://chastnik.ru/aob/55/2207865/
Desc=Рабочий на сборку крепежа (хомут) для работы в цеху, гр. 3х3 с 8.00 до 20.00, возм. ночн. 2х2, с 20...

URL=https://chastnik.ru/aob/56/2207866/
Desc=Сварщик точечной сварки, машинная контактная сварка, обучение, оформл. по ТК РФ¬ график 4х2 (день и ...
…
и т.д.
…

Василиса Лукьянчикова · 6 Ноя 2018

Alecsis большое спасибо.

Автор темы	Похожие темы	Форум	Ответы	Дата
G	Получить полный вывод после выполнения _GUICtrlListView_EditLabel	Общие вопросы по AutoIt	1	18 Апр 2024
S	Вывод в консоль текста в одну и ту же строку	Общие вопросы по AutoIt	5	9 Июн 2023
	Вывод списка найденных файлов в окне	Стол заказов	0	26 Июл 2022
T	вывод pnputil.exe	Общие вопросы по AutoIt	2	19 Апр 2022
D	[Сеть, интернет] Парсер данных из xml с выводом в текстовый файл	Общие вопросы по AutoIt	3	6 Июл 2015

Поиск

Поиск

Вывод в текстовый файл списка на сайте

Василиса Лукьянчикова

Новичок

Tempo

AutoIT Гуру

Василиса Лукьянчикова

Новичок

Tempo

AutoIT Гуру

Василиса Лукьянчикова

Новичок

Alecsis

Осваивающий

Василиса Лукьянчикова

Новичок