Парсер

Парсер - программа, которая по расписанию читает чужие страницы или ответы сервиса и складывает данные в вашу базу в удобном виде: не «страница с объявлением», а строка с адресом, площадью, ценой и датой. Человек то же самое делает руками: открывает, читает, переносит в таблицу. Парсер делает это без рук и не устаёт.

У меня парсер живёт на сервере и каждые три часа отправляет в CRM свежий срез рынка: новые объявления, снятые с рынка, снижения цен. В базе больше двух с половиной тысяч помещений двух городов вместе с историей ушедших. Я в этом цикле не участвую вовсе, лента обновляется сама. Разбор системы целиком - в статье CRM под свой бизнес.

Практическое следствие для бизнеса: парсер закрывает работу, которую иначе делает человек часами, и делает её полнее. Человек отсматривает десятки объявлений и запоминает последнее, парсер держит историю: когда объект появился, сколько раз дешевел, когда пропал. По истории видно рынок, а не витрину.

У парсера есть обязательная дисциплина, и она важнее скорости. Сайт-источник не обязан вас терпеть: частые запросы выглядят как нагрузка, и доступ закрывают. Поэтому у моего парсера расписание и паузы между запросами, и под это был отдельный заход с планом работ. Вторая часть дисциплины - журнал: каждый проход записывает, что снял и что изменилось, иначе через месяц вы не отличите «на рынке пусто» от «парсер сломался».

Что делать. Начинать с одного источника и одного вопроса к нему: что именно должно появляться в таблице. Поставить расписание с уважением к источнику, завести журнал проходов, а обработку собранного отдать нейросотруднику: парсер приносит сырьё, а решения по нему принимает человек по цифрам.