Парсер Вопросов и Ответов Otvet.mail.ru Zennoposter Шаблон

Парсинг текста вопросов с ответами.

Шаблон заходит на сайт, получает из файла запрос, вводит его на сайте и собирает все ссылки на созданные вопросы. По каждому запросу, ссылки сохраняются в отдельные файлы.

После того, как будут собраны ссылки по всем запросам, шаблон приступит к сбору самих текстов. При этом он получает случайный файл из папки Temp, берёт из этого файла ссылку и собирает с неё тексты вопросов с ответами. Результаты сохраняются в папку Result. Каждый ответ сохраняется в отдельный файл с именем темы, в папку по имени ключа, с которым этот вопрос был собран.

После окончания шаблона, т.е. обработки сначала всех ключей, а потом и собранных ссылок, шаблон начнёт выдавать сообщение «Парсинг otvet.mail.ru выполнен».

Порядок Запуска:

Количество выполнений:-1

Максимальное число потоков: Неограниченно

Входные Данные:

query.txt

Файл со списком ключей-вопросов.

Записывается в виде: одна строка - один ключ-вопрос.

Берется случайная строка с удалением.

Выходные Данные:

Папка temp.

Промежуточная папка, в которую записываются ссылки на собранные темы.

В дальнейшем из этой папки берутся ссылки для обработки.

В конце выполнения шаблона данная папка должна быть пустой.

Папка result.

Внутри папки создаются папки с именами ключей, по которым были собраны вопросы. В них записываются файлы с результатами парсинга.

Файл имеет название спарсенного вопроса. Результат в файле записывается в виде:

Вопрос

Ответ

В случае, если работа шаблона прекращается по ошибке (вследствие неверно заполненных данных или же  изменений на сайте), он автоматически создаёт отчётные файлы в папке error. Для того, чтобы вернуться к работе в кратчайшие сроки, вам нужно предпринять следующие шаги:
Если вы сталкиваетесь с проблемой впервые, запустите шаблон в один поток без прокси, и посмотрите, на каком месте происходит сбой. Опишите этот момент своими словами, и  пришлите описание на support@zennoscript.com вместе с архивом папки файлом «error».
Если вы ранее уже обращались в техподдержку, то перед тем, как запускать шаблон, удалите все файлы в папке «error». Выполнение перечисленных пунктов значительно ускорит решение вашей проблемы!

Входные настройки шаблона:
1. Директория проекта.

2. Выбор файла, из которого будут использоваться прокси (в случае, если прокси будут использоваться из проксичекера, или не будут использоваться вообще, переменную оставить пустой).
3. Глубина поиска вопросов.