YoungPirate
Новичок
- Сообщения
- 1
- Репутация
- 0
Здравствуйте! Помогите пожалуйста, реализовать вот такую задачу.
Нужно создать программу, которая будет регулярно ( каждый день ) и без ошибок парсить, "вытягивать" данные с сайта, потому что информация часто обновляются и перемешивается, что делает крайне невыгодным ручной труд.
Минимальный вариант – каждый отдельный параметр в отдельный текстовый документ.
Хороший вариант – в ексель таблицу.
Прекрасный вариант – в гугл таблицу. Пример таблицы -
. То есть, все разные данные - записать в разные колонки.
По-своему опыту я вижу два варианта:
Вариант с эмуляцией человеческий действий
Особенности:
Вариант с "программным" парсингом
Скачанная страница с гугла ( там нет нужной информации, но возможно исходный код что-то вам “скажет”. https://drive.google.com/file/d/17mo5xL0NHqpixlu4j5Mx4ZmfpWxJnZOl/view?usp=sharing
Скриншот инструмента исследования Google Chrome -
Большое спасибо.
UPD
Я могу открыть вам доступ к виртуалке или дать аккаунт для разработки, как вам удобнее.
UPD 2
Я готов заплатить за выполнение заказа, присылайте свои предложения
Нужно создать программу, которая будет регулярно ( каждый день ) и без ошибок парсить, "вытягивать" данные с сайта, потому что информация часто обновляются и перемешивается, что делает крайне невыгодным ручной труд.
Минимальный вариант – каждый отдельный параметр в отдельный текстовый документ.
Хороший вариант – в ексель таблицу.
Прекрасный вариант – в гугл таблицу. Пример таблицы -
x.jpg
drive.google.com
По-своему опыту я вижу два варианта:
Вариант с эмуляцией человеческий действий
- Авторизуемся и попадаем на главный экран -
Без названия.png
drive.google.com - Нажимаем “Моя сеть” и попадаем на целевую страницу. Нужно собрать данные рефералов.
Без названия (1).png
drive.google.com - В панели каждого реферала есть целевая информация, под каждым есть кнопка “подробно”, нажимаем на неё
Без названия (2).png
drive.google.comБез названия (4).png
drive.google.com - Копируем / парсим нужную информацию, нажимаем закрыть, переходим к следующему.
- После того как собрали всю нужную информацию на страницу, переходим к следующей, их может быть более 100.
- В конце завершаем работу, т.е. чтобы цикл не был бесконечным.
- Где-то в таблице, указываем дату и время обработки.
Особенности:
- Данные содержат разное количество символов, например может быть как русский, так и украинский номер телефона.
- После каждого шага делаем тест на правильную загрузку страницы, корректное отображение и тд, по цвету например или более надежным методом. Это важно, потому что каждый сектор информации является важным, то есть потеря любого сегмента – критическая, а сайт периодически "глючит".
Вариант с "программным" парсингом
Скачанная страница с гугла ( там нет нужной информации, но возможно исходный код что-то вам “скажет”. https://drive.google.com/file/d/17mo5xL0NHqpixlu4j5Mx4ZmfpWxJnZOl/view?usp=sharing
Скриншот инструмента исследования Google Chrome -
Без названия (5).png
drive.google.com
Большое спасибо.
Сообщение автоматически объединено:
UPD
Я могу открыть вам доступ к виртуалке или дать аккаунт для разработки, как вам удобнее.
Сообщение автоматически объединено:
UPD 2
Я готов заплатить за выполнение заказа, присылайте свои предложения
Последнее редактирование: