Кейс: как с помощью парсинга Авито и ЦИАН увеличить эффективность отдела развития крупной ритейл компании на ~27%
Привет! В этом кейсе хочу описать процесс взаимодействие заказчика с поиском новых объявлений по определенным адресам (координатам) по всей России.
Суть: необходимо мониторить объявления объектов коммерческой недвижимости (аренда) на Авито и ЦИАН по заданным критериям. Необычность задачи — поиск объявлений в определенном радиусе от изначальной точки координаты.
Заказчик: крупнейшая сеть аптек (ввиду коммерческой тайны, раскрыть названия не могу), насчитывающая более 1000 оффлайн-точек по всей России.
Для расширения своего присутствия на российском рынке в формате «на каждом шагу», заказчиком было принято решение занимать данный рынок через поиск объявлений об аренде коммерческой недвижимости.
Сложность: на 4 менеджеров по развитию внутри компании — приходилось отслеживать более 7000 определенных адресов по всей РФ на наличие новых объектов аренды недвижимости в определенном радиусе (и это только на одном ресурсе). На подобный поиск новых объявлений могло уходить от 2х недель до 3х месяцев. Выходило трудозатратно и неудобно (ну, а помимо этого, есть же еще и другие бизнес-процессы). При этом, очень крутые, вкусные объявления, улетали за считанные дни, которые даже могли не попасть в обозрение заказчиком.
Скриншот от заказчика, поиск объявлений от перекрестка. За чуть больше чем неделю, на определенном перекрестке было выложено 17 новых объявлений, которые еще не успели просмотреть менеджеры по развитию
Их такой подход не устраивал, и они обратились к нам, с просьбой получать такую информацию качественно, структурировано и в нужных объемах «на каждый день».
Реализация проекта
Входные данные: Предоставление информации о координатах от заказчика. Формат координат — классическая долгота и широта в градусах (например, 37.552291, 55.684824), по которым надо искать объявления в определенном радиусе
Реализация. Ранее с Авито и ЦИАНом мы работали, знаем их подводные камни и каким образом их обрабатывать, (а учитывая как они защищаются от парсинга, это не так просто, но мы в этом профи). Вопрос заключался в том, как реализовать поиск именно новых объявлений.
Потыкав палкой Изучив доски объявлений, нашли закономерность: на обоих сайтах используется решение от Яндекс.Карты, тем самым совпадает много параметров: отрисовка области поиска, вывод координат, отображение объявлений. Используем подход «убиваем нескольких зайцев»
Технические этапы:
Берем изначальный список координат и проходимся по сайтам с поиском всех объявлений на карте
Собираем список всех объявлений и сравниваем его с уже ранее обработанным. Фильтруем те объявления, которые уже просматривал заказчик и берем новые
Парсим новые объявления и всю ту информацию, которая необходима
На выходе, мы получаем Excel-таблицу, в которую попадают только новые объявления
Пример вывода Excel-таблицы для заказчика
Какие потребности решили:
Если смотреть со стороны технической:
Освободили заказчика и его менеджеров от рутинного поиска новых объявлений;
Ускорили поиск, сбор и выдачу новых объявлений с 3 месяцев ручного подбора — до 1 дня с помощью парсинга;
Автоматизировали данный процесс почти до идеала (идеальным же ничего не может быть, верно?)
Если смотреть со стороны заказчика:
Вся информация приходит примерно в одно и то же время, когда начинается рабочий день. Тем самым, появившись в офисе сотрудники — уже пользуются готовыми, самыми свежими данными;
Менеджеры успевают просмотреть все новые объявления (каждый день в среднем приходит 150–450 объявлений) и обработать их, пропуская дальше «по воронке бизнес-процессов»;
Благодаря данным, исключили ошибки в повторных прозвонах уже обработанных ранее объявлений;
После внедрения системы мониторинга, заказчик сделал замер эффективности менеджеров по развитию. На протяжении 2 месяцев, удалось увеличить «эффективность дня» сотрудников на ~27%, масштабировав «одно из ключевых звений в цепочке рутинных событий».
Дальнейшее видение на расширение проекта
Тут имеем 2 видимых варианта развития:
Логический. Расширяться и дополнительно мониторить другие площадки недвижимости (Яндекс.Недвижимость, N1, ДомКлик и т.д.)
Интересный. Так как мы имеем координаты (как изначальные от заказчика, так и от досок объявлений), можно было бы их вывести визуально, например через конструктор Яндекс.Карты, отмечать новые объявления и то, где они расположены.
Так, мы более детализируем видение на карте (выводя только новые объявления каждый день), тем самым мы расширяем визуальную геолокацию работы каждого менеджера на карте (например, один менеджер работает объявлениями из Центральной Россией, второй — с Уралом, третий — с Сибирью, четвёртый — с Дальним востоком и т.д). Ну и неочевидные на первый взгляд факты — на карте сразу видно, с какой стороны вход, удобен ли подход к помещению, будет ли там нужная проходимость и т.д.
Оба варианта развития имеют место быть. Время покажет, возможно из идеи и видений появится что-то еще.
Вместо вывода
Проект получился одновременно нестандартным и крутым. Нестандартным, потому как запрос и реализация — немного отходят от классических решений. И крутым, потому что такие большие объемы информации сложных сайтов — обрабатывать (в плане парсинга) может не каждый специалист или компания.
На связи был Егор Кадышев, основатель RUFAGO.
Habrahabr.ru прочитано 7997 раз
