Получение аватаров всех участников форума

CreatoR · 12 Фев 2011

Хочу сделать мозаику сообщества, используя аватары всех участников. Как сделать мозаику я нашёл (программа Mozaika), но вот никак не могу придумать как с форума вытащить все аватары.

Они конечно есть в базе, но они там вроде как зашифрованы, копаться в этом нет ни сил, ни времени. Конечно сохранять каждую аватарку тоже не вариант, пробовал автоматизировать через _IE* и через Inet*/TCP*, ничего толкого не вышло (тоже видимо лень с этим разбираться).

Нужен совет :whistle:

Yashied · 12 Фев 2011

Попросить участников форума.

:smile:

CreatoR · 12 Фев 2011

Пробовал примерно так:

Код удалён, чтобы предотвратить лишнюю нагрузку на сервер.
[

Скрытый контент

CreatoR · 12 Фев 2011

Yashied [?]

Попросить участников форума.

Чтобы сделали что, залили куда нибудь свою аватарку? Но ведь всё равно придётся выдёргивать их по отдельности :laugh:

Yashied · 12 Фев 2011

~~У форума есть FTP?~~ На обменник!

CreatoR · 12 Фев 2011

Yashied [?]

На обменник!

А смысл? как я их потом все достану? :'(

`p r o x y · 12 Фев 2011

Аватарки сохраняются по шаблону:

Код:

<user name> (<user profile id>).<file type>

[

Скрытый контент

Garrett · 13 Фев 2011

[

Скрытый контент

]
Вот мой вариант.
Смешанная технология IE.au3 + InetGet :smile:

[

Скрытый контент

`p r o x y · 13 Фев 2011

Garrett
хммм, почемуж не совпадает размер Мб.....
у меня 193 файла 3,45 МБ (3 624 960 байт)

`p r o x y · 13 Фев 2011

Это:

Код:

$aResult = StringRegExp($sSource, '(?s)<div class="content">.*?<img.*?"(http://.*?)".*?class="avatar".*?>.*?</div>', 3)

можно еще оптимезировать. Просто _IETagNameGetCollection в <div class="content">. Соответсвенно и URL на файл можно будет получить через IE COM. А то ж рег. выражения не слишком шустрые...

Garrett · 13 Фев 2011

`p r o x y [?]

хммм, почемуж не совпадает размер Мб.....

`p r o x y вы правы :(
Я, уже нашёл у себя ошибки :whistle:

CreatoR · 13 Фев 2011

`p r o x y [?]

у тебя есть доступ к БД форума? Из БД вытащить вообще элементарно.

Есть, я весь внимания как это сделать :-\

Хмм, да и саму прогу мазаики написать на AutoIt не сложно...если без эффектов всяких.

Моё внимание ещё больше обострилось, тут и потом тут я про это мыслил вслух.

SyDr · 13 Фев 2011

`p r o x y, здесь не 193 аватарки. Их вроде 209 или 210

Мне кажется, или на проекте нет НИ ОДНОЙ .jpg аватарки?

CreatoR · 13 Фев 2011

Если бы ещё скрипт предусматривал повторы, т.е чтобы не качал повторяющиеся аватары...

SyDr · 13 Фев 2011

А как это вообще возможно?

Мой вариант. 197 аватарок (хотя, чувствую, их больше :smile:

)
[#]

Код:

DirCreate("avatars")
FileChangeDir("avatars")
HttpSetUserAgent("Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533.9 (KHTML, like Gecko) Maxthon/3.0 Safari/533.9")
$sProfilePage = "http://autoit-script.ru/index.php?action=profile;u=%s" ; 1 - 3603
$sPatternAva = '\s<img\ssrc="(.*?)"\s.*?alt=""\sclass="avatar"\sborder="0"\s/>'
$iMaxUsers = 3603



For $iCurrentUser = 1 To $iMaxUsers
	$sPageData = BinaryToString(InetRead(StringFormat($sProfilePage, $iCurrentUser), 16))
	$aAvaURL = StringRegExp($sPageData, $sPatternAva, 3)
	If @error Then ContinueLoop
	$bAva = InetRead($aAvaURL[0], 16)
	If $bAva Then FileWrite($iCurrentUser & "." & GetType(BinaryMid($bAva, 1, 3)), $bAva)
Next

Func GetType($bData)
	Local $sData = String($bData)
	Switch $sData
		Case "0x89504E"
			Return "png"
		Case "0x474946"
			Return "gif"
		Case "0xFFD8FF"
			Return "jpg"
		Case Else
;~ 			O_O
	EndSwitch
EndFunc

Он же в сокращённом виде:

Код:

DirCreate("avatars")
FileChangeDir("avatars")
For $iCurrentUser = 1 To 3603
	$aAvaURL = StringRegExp(BinaryToString(InetRead(StringFormat("http://autoit-script.ru/index.php?action=profile;u=%s", $iCurrentUser), 16)), '\s<img\ssrc="(.*?)"\s.*?alt=""\sclass="avatar"\sborder="0"\s/>', 3)
	If @error Then ContinueLoop
	$bAva = InetRead($aAvaURL[0], 16)
	If $bAva Then FileWrite($iCurrentUser & "." & GetType(BinaryMid($bAva, 1, 3)), $bAva)
Next

Func GetType($bData)
	Switch String($bData)
		Case "0x89504E"
			Return "png"
		Case "0x474946"
			Return "gif"
		Case "0xFFD8FF"
			Return "jpg"
	EndSwitch
EndFunc

[/#]

`p r o x y · 13 Фев 2011

CreatoR [?]

Если бы ещё скрипт предусматривал повторы, т.е чтобы не качал повторяющиеся аватары...

Ну это уже сааааавсем элементарно, открываем папку с аватарками, сортируем по размеру и выбираем повторные.
Делов, максимум, на 1-2 мин. В любом случае, проверку по размеру файла написать же элементарно.

SyDr
Жеесть! Хммм, ни когда не работа с такой задачей в бинарном виде....
197 аватарок - необходимо проверить, некоторые авы могут быть пустые, т.е. файла нет по ссылке.

Кстати, логичный ход:

Код:

For $iCurrentUser = 1 To 3603

User ID по любому по порядку будут идти. Конечно, если есть удаления, то не прокатит (будут сдвиги).

SyDr · 13 Фев 2011

CreatoR [?]

Если бы ещё скрипт предусматривал повторы, т.е чтобы не качал повторяющиеся аватары...

Их не так много. Хотя, сделаю вариант, коотрый не будет качать аватарки с одинаковых адресов.

`p r o x y
Привычка же :smile:

Не первый раз тяну с форумов все профили.
С $iMaxUsers всё прокатывает. 3603 - это был номер последнего пользователя. У удалённых пользователей нет аватарок :smile:

Garrett · 13 Фев 2011

Поправил свой код.

Теперь дело обстоит так:
Всего avatar 196 шт.
В действительности их больше, просто некоторые не доступны по своему адресу.

`p r o x y сказал(а):
Это:

Код:

$aResult = StringRegExp($sSource, '(?s)<div class="content">.*?<img.*?"(http://.*?)".*?class="avatar".*?>.*?</div>', 3)

можно еще оптимезировать. Просто _IETagNameGetCollection в <div class="content">. Соответсвенно и URL на файл можно будет получить через IE COM. А то ж рег. выражения не слишком шустрые...

Да, но в этом случае нужно будет перейти на страницу профиля пользователя, а это лишняя перезагрузка страницы.

SyDr [?]

Мне кажется, или на проекте нет НИ ОДНОЙ .jpg аватарки?

Нет, вы абсолютно правы, они есть! :smile:

В своём варианте я решил использовать IE, для сбора ссылок на профили пользователей, что бы в дальнейшем обратится к ним через InetGet.

Кстати на странице "профиль пользователя" имеются две одинаковые ссылки, одна на ваш (как авторизированного пользователя) avatar, другая на пользователя, профиль которого мы смотрим.
Так что нужно искать avatar, которая находится между:

Код:

<div class="content"> … </div>

.

SyDr, я сегодня под утро пришёл к аналогичному выводу, нужно искать тип файла по его сигнатуре, потому как попадаются ссылки такого вида:

Код:

http://autoit-script.ru/index.php?action=dlattach;attach=34;type=avatar

Но вы опередили. Так что, если вы не против, воспользовался, вашей функцией! :beer:

madmasles · 13 Фев 2011

SyDr [?]

Мне кажется, или на проекте нет НИ ОДНОЙ .jpg аватарки?

У меня .jpg, только что загрузил. :smile:

`p r o x y · 13 Фев 2011

SyDr [?]

С $iMaxUsers всё прокатывает

Я про то, что просто можут быть пропуск в ID профилей, соответсвенно, лишняя трата времени на проверки.
Но с учетом, что нет поиска ссылок на профили, по любому будет быстрее.

SyDr сказал(а):
BinaryMid

+Типы файлов еще могут быть: bmp, tif

Garrett [?]

Да, но в этом случае нужно будет перейти на страницу профиля пользователя, а это лишняя перезагрузка страницы.

Да, да, верно. Недоосмыслил комбинацию работы с IE и чтение InetRead.

Всего avatar 196 шт.

хммм, а все не пустые?

Автор темы	Похожие темы	Форум	Ответы	Дата
	Окна, Диалоги Получение всех окон различными способами не приводит к идентичному результату	Общие вопросы по AutoIt	0	2 Апр 2023
M	Криптография Получение срока действия лицензии КриптоПро CSP	Общие вопросы по AutoIt	0	28 Фев 2023
B	Формирование графика в формулу и получение точки в переменную	Общие вопросы по AutoIt	2	29 Окт 2022
	Получение информации о файле	Общие вопросы по AutoIt	4	20 Окт 2022
C	[Сеть, интернет] Получение аватаров всех участников форума	Стол заказов	1	23 Фев 2011

Получение аватаров всех участников форума

Must AutoIt!

Модератор

Must AutoIt!

Must AutoIt!

Модератор

Must AutoIt!

«Улыбайтесь, господа!»

Модератор

«Улыбайтесь, господа!»

«Улыбайтесь, господа!»

Модератор

Must AutoIt!

Сидра

Must AutoIt!

Сидра

«Улыбайтесь, господа!»

Сидра

Модератор

Модератор

«Улыбайтесь, господа!»