Парсинг любого сайта с товарами (дошки обьявлений, интернет магазина и так далее)

Парсинг сайта (дошки обьявлений, интернет магазина и так далее)
Структура шаблона
Файлы
1)price_mini_max (Цены для парсинга)
2)price_mini_max — копия (Цены для парсинга резерв, елси первую ссылку пройшло берет другую и и копируют от сюда цены)
3)url_page (сохраняет сюда результат парсинга)
4)url_podckategoria (1 ссылка с которой сейчас работают потоки)
5)general_url_podckategoria (база всех ссылок которые нужно спарсить, берет от сюда ссылку 1 если список url_podckategoria пуст

Сам шаблон состоит из 4 блоков
1) Блокк проверяет есть ли в списке url_podckategoria ссылка для парсинга если нет то берет из списка general_url_podckategoria
2)Блок берет цену (если цены закончились, ждет все потоки) и делает get запрос
3)Проверяет если ответ с запроса если нет меняет прокси
4)Парсит все товары с страницы

Что нужно настроить
1)Добавить все страницы парсинга (это или все города елси нужно спарсить весь сайт, или просто первую страницу нужной категории) в general_url_podckategoria
2)Проверить что б все файлы были на месте
3)Поменя в проекте регулярки
3.1 Парсинг страниц на которой сейчас находимся — (это либо 1 регулярка либо 2) нужно спарсить номер страницы на которой сейчас идет парсинг (логика в проекте такая что если на сайте 50 страниц, а внутришний цыкл шаблона переходит на 51 то сайт возвращает его на 50 либо ошибку это сигнал что все страницы спаршены.
3.2 Регулярка для парсинга всех обьявлений -Парсинг всех обьявлений или id в список
3.3 Нужно в конце протестировать как выходит проект по последней странице, сайты разные и ответы у них разные

Скачать архив с программой: скачать