Сбор данных
Платформа парсеров — автомобили
О проекте
Платформа для сбора объявлений автомобильной тематики по всем регионам.
Задача
Обеспечить бизнес актуальными ценами на автомобили, обновляя данные ежедневно.
Решение
Платформа с параллельным запуском парсеров по нескольким сайтам, ClickHouse для статистики и мониторинга, PostgreSQL для хранения, Redis для кэша, React-админкой и уведомлениями в Telegram. Три метода сбора данных и обход CloudFlare через имитацию TLS-fingerprint.
Результат
Актуальная база объявлений по регионам
ПарсингPythonSelenium
Использованные услуги
Подходит для отраслей
Похожие кейсы
Есть похожая задача?
Расскажите о ней — покажем, как подойдём к решению, и оценим этапы и бюджет.