Парсинг любого сайта с товарами (дошки обьявлений, интернет магазина и так далее)

Парсинг сайта (дошки обьявлений, интернет магазина и так далее)
Структура шаблона
Файлы
1)price_mini_max (Цены для парсинга)
2)price_mini_max — копия (Цены для парсинга резерв, елси первую ссылку пройшло берет другую и и копируют от сюда цены)
3)url_page (сохраняет сюда результат парсинга)
4)url_podckategoria (1 ссылка с которой сейчас работают потоки)
5)general_url_podckategoria (база всех ссылок которые нужно спарсить, берет от сюда ссылку 1 если список url_podckategoria пуст

Сам шаблон состоит из 4 блоков
1) Блокк проверяет есть ли в списке url_podckategoria ссылка для парсинга если нет то берет из списка general_url_podckategoria
2)Блок берет цену (если цены закончились, ждет все потоки) и делает get запрос
3)Проверяет если ответ с запроса если нет меняет прокси
4)Парсит все товары с страницы

Что нужно настроить
1)Добавить все страницы парсинга (это или все города елси нужно спарсить весь сайт, или просто первую страницу нужной категории) в general_url_podckategoria
2)Проверить что б все файлы были на месте
3)Поменя в проекте регулярки
3.1 Парсинг страниц на которой сейчас находимся — (это либо 1 регулярка либо 2) нужно спарсить номер страницы на которой сейчас идет парсинг (логика в проекте такая что если на сайте 50 страниц, а внутришний цыкл шаблона переходит на 51 то сайт возвращает его на 50 либо ошибку это сигнал что все страницы спаршены.
3.2 Регулярка для парсинга всех обьявлений -Парсинг всех обьявлений или id в список
3.3 Нужно в конце протестировать как выходит проект по последней странице, сайты разные и ответы у них разные

Скачать архив с программой: скачать

 

Сервисы смс активации приема смс

Список сервисов для активации телефона в интернете

Сервисы для получения личного номера и приема смс

1. Twilio.com

2. Textnow.com

3. Countrycode.org (сервис для ознакомления с кодами телефонов в разных странах)

Читать далее «Сервисы смс активации приема смс»

Как запустить 2 usb устройства с одинаковыми id Virtualbox

Начало…

Были приобретены 2 usb модема ZTE MF622+ и нужно было настроить что б они работали на 2 виртуальных машинах одновременно.
При запуске один модем ни как не хотел работать, все му было виной одинаковые id и название модема виртуальная машина подключала первый попавшийся, а второго отправила в ожидания.

Читать далее «Как запустить 2 usb устройства с одинаковыми id Virtualbox»

Как включить автоматическую перезагрузку windows при ошибке

Врямя от времени на серверах windows происходят ошибки. Как зделать так чтоб при ошибке виндовс перезагружался?

Чтобы включить автоматическую перезагрузку нужно перейти

В Пуск — Панель Управление — Система

2_Вкладка дополнительно — Параметры

Читать далее «Как включить автоматическую перезагрузку windows при ошибке»

Как увеличить обьяем диска C (интересный трюк)

Рано или позно все место на диске будет занято. И придет время что то с эти сделать. Если рядовые программы можно просто перенести то как и что делать с системными не понятно. Но есть один вариант!

Перенос папки Диска С на другой диск с помощью символьной ссылки.

Читать далее «Как увеличить обьяем диска C (интересный трюк)»

Как настроить 3g мобильные прокси на microtik

Настройка 3g модемов и маршрутизации на mikrotik ПРОКСИ

(краткая инструкция) Комп с проксями:

  1. Два айпи в подсетях 192.168.210.2, 192.168.208.2, 192.168.209.2 (207.2, 206.2)
  2. Один маршрут по умолчанию на компе с проксями. 210.1
  3. Две прокси на разных айпи и разных портах 192.168.208.2:3128 и 192.168.209.2:3128

Один как служба, второй просто автозапуск.

Читать далее «Как настроить 3g мобильные прокси на microtik»