Получение аватаров всех участников форума

[CreatoR]

Хочу сделать мозаику сообщества, используя аватары всех участников. Как сделать мозаику я нашёл (программа Mozaika), но вот никак не могу придумать как с форума вытащить все аватары.

Они конечно есть в базе, но они там вроде как зашифрованы, копаться в этом нет ни сил, ни времени. Конечно сохранять каждую аватарку тоже не вариант, пробовал автоматизировать через _IE* и через Inet*/TCP*, ничего толкого не вышло (тоже видимо лень с этим разбираться).

Нужен совет :whistle:

 

[Yashied]

Попросить участников форума.

 

[CreatoR]

Пробовал примерно так:

Код удалён, чтобы предотвратить лишнюю нагрузку на сервер.
[

Вы должны ответить на это, чтобы увидеть это содержание.

 

[CreatoR]

Yashied [?]

Попросить участников форума.

Чтобы сделали что, залили куда нибудь свою аватарку? Но ведь всё равно придётся выдёргивать их по отдельности :laugh:

 

[Yashied]

У форума есть FTP? На обменник!

 

[CreatoR]

Yashied [?]

На обменник!

А смысл? как я их потом все достану? :'(

 

[`p r o x y]

Аватарки сохраняются по шаблону:

<user name> (<user profile id>).<file type>

[

Вы должны ответить на это, чтобы увидеть это содержание.

 

[Garrett]

[

Вы должны ответить на это, чтобы увидеть это содержание.

]
Вот мой вариант.
Смешанная технология IE.au3 + InetGet
[

Вы должны ответить на это, чтобы увидеть это содержание.

 

[`p r o x y]

Garrett
хммм, почемуж не совпадает размер Мб.....
у меня 193 файла 3,45 МБ (3 624 960 байт)

 

[`p r o x y]

Это:

$aResult = StringRegExp($sSource, '(?s)<div class="content">.*?<img.*?"(http://.*?)".*?class="avatar".*?>.*?</div>', 3)

можно еще оптимезировать. Просто _IETagNameGetCollection в <div class="content">. Соответсвенно и URL на файл можно будет получить через IE COM. А то ж рег. выражения не слишком шустрые...

 

[Garrett]

`p r o x y [?]

хммм, почемуж не совпадает размер Мб.....

`p r o x y вы правы :(
Я, уже нашёл у себя ошибки :whistle:

 

[CreatoR]

`p r o x y [?]

у тебя есть доступ к БД форума? Из БД вытащить вообще элементарно.

Есть, я весь внимания как это сделать :-\

Хмм, да и саму прогу мазаики написать на AutoIt не сложно...если без эффектов всяких.

Моё внимание ещё больше обострилось, тут и потом тут я про это мыслил вслух.

 

[SyDr]

`p r o x y, здесь не 193 аватарки. Их вроде 209 или 210

Мне кажется, или на проекте нет НИ ОДНОЙ .jpg аватарки?

 

[CreatoR]

Если бы ещё скрипт предусматривал повторы, т.е чтобы не качал повторяющиеся аватары...

 

[SyDr]

А как это вообще возможно?

Мой вариант. 197 аватарок (хотя, чувствую, их больше )
[#]

DirCreate("avatars")
FileChangeDir("avatars")
HttpSetUserAgent("Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533.9 (KHTML, like Gecko) Maxthon/3.0 Safari/533.9")
$sProfilePage = "http://autoit-script.ru/index.php?action=profile;u=%s" ; 1 - 3603
$sPatternAva = '\s<img\ssrc="(.*?)"\s.*?alt=""\sclass="avatar"\sborder="0"\s/>'
$iMaxUsers = 3603



For $iCurrentUser = 1 To $iMaxUsers
	$sPageData = BinaryToString(InetRead(StringFormat($sProfilePage, $iCurrentUser), 16))
	$aAvaURL = StringRegExp($sPageData, $sPatternAva, 3)
	If @error Then ContinueLoop
	$bAva = InetRead($aAvaURL[0], 16)
	If $bAva Then FileWrite($iCurrentUser & "." & GetType(BinaryMid($bAva, 1, 3)), $bAva)
Next

Func GetType($bData)
	Local $sData = String($bData)
	Switch $sData
		Case "0x89504E"
			Return "png"
		Case "0x474946"
			Return "gif"
		Case "0xFFD8FF"
			Return "jpg"
		Case Else
;~ 			O_O
	EndSwitch
EndFunc

Он же в сокращённом виде:

DirCreate("avatars")
FileChangeDir("avatars")
For $iCurrentUser = 1 To 3603
	$aAvaURL = StringRegExp(BinaryToString(InetRead(StringFormat("http://autoit-script.ru/index.php?action=profile;u=%s", $iCurrentUser), 16)), '\s<img\ssrc="(.*?)"\s.*?alt=""\sclass="avatar"\sborder="0"\s/>', 3)
	If @error Then ContinueLoop
	$bAva = InetRead($aAvaURL[0], 16)
	If $bAva Then FileWrite($iCurrentUser & "." & GetType(BinaryMid($bAva, 1, 3)), $bAva)
Next

Func GetType($bData)
	Switch String($bData)
		Case "0x89504E"
			Return "png"
		Case "0x474946"
			Return "gif"
		Case "0xFFD8FF"
			Return "jpg"
	EndSwitch
EndFunc

[/#]

 

[`p r o x y]

CreatoR [?]

Если бы ещё скрипт предусматривал повторы, т.е чтобы не качал повторяющиеся аватары...

Ну это уже сааааавсем элементарно, открываем папку с аватарками, сортируем по размеру и выбираем повторные.
Делов, максимум, на 1-2 мин. В любом случае, проверку по размеру файла написать же элементарно.

SyDr
Жеесть! Хммм, ни когда не работа с такой задачей в бинарном виде....
197 аватарок - необходимо проверить, некоторые авы могут быть пустые, т.е. файла нет по ссылке.

Кстати, логичный ход:

For $iCurrentUser = 1 To 3603

User ID по любому по порядку будут идти. Конечно, если есть удаления, то не прокатит (будут сдвиги).

 

[SyDr]

CreatoR [?]

Если бы ещё скрипт предусматривал повторы, т.е чтобы не качал повторяющиеся аватары...

Их не так много. Хотя, сделаю вариант, коотрый не будет качать аватарки с одинаковых адресов.

`p r o x y
Привычка же Не первый раз тяну с форумов все профили.
С $iMaxUsers всё прокатывает. 3603 - это был номер последнего пользователя. У удалённых пользователей нет аватарок

 

[Garrett]

Поправил свой код.

Теперь дело обстоит так:
Всего avatar 196 шт.
В действительности их больше, просто некоторые не доступны по своему адресу.

Это:

$aResult = StringRegExp($sSource, '(?s)<div class="content">.*?<img.*?"(http://.*?)".*?class="avatar".*?>.*?</div>', 3)

можно еще оптимезировать. Просто _IETagNameGetCollection в <div class="content">. Соответсвенно и URL на файл можно будет получить через IE COM. А то ж рег. выражения не слишком шустрые...

Да, но в этом случае нужно будет перейти на страницу профиля пользователя, а это лишняя перезагрузка страницы.

SyDr [?]

Мне кажется, или на проекте нет НИ ОДНОЙ .jpg аватарки?

Нет, вы абсолютно правы, они есть!

В своём варианте я решил использовать IE, для сбора ссылок на профили пользователей, что бы в дальнейшем обратится к ним через InetGet.

Кстати на странице "профиль пользователя" имеются две одинаковые ссылки, одна на ваш (как авторизированного пользователя) avatar, другая на пользователя, профиль которого мы смотрим.
Так что нужно искать avatar, которая находится между:

<div class="content"> … </div>

.

SyDr, я сегодня под утро пришёл к аналогичному выводу, нужно искать тип файла по его сигнатуре, потому как попадаются ссылки такого вида:

http://autoit-script.ru/index.php?action=dlattach;attach=34;type=avatar

Но вы опередили. Так что, если вы не против, воспользовался, вашей функцией! :beer:

 

[madmasles]

SyDr [?]

Мне кажется, или на проекте нет НИ ОДНОЙ .jpg аватарки?

У меня .jpg, только что загрузил.

 

[`p r o x y]

SyDr [?]

С $iMaxUsers всё прокатывает

Я про то, что просто можут быть пропуск в ID профилей, соответсвенно, лишняя трата времени на проверки.
Но с учетом, что нет поиска ссылок на профили, по любому будет быстрее.

BinaryMid

+Типы файлов еще могут быть: bmp, tif

Garrett [?]

Да, но в этом случае нужно будет перейти на страницу профиля пользователя, а это лишняя перезагрузка страницы.

Да, да, верно. Недоосмыслил комбинацию работы с IE и чтение InetRead.

Всего avatar 196 шт.

хммм, а все не пустые?