Программисты — удалённая работа в Москве

Data Science. Разработка с нуля, тестирование, настройка, доработка существующего продукта. Нужен специалист по парсингу сайтов, способный комплексно закрыть все задачи по сбору и актуализации данных. Предстоит работать с сайта крупных интернет-магазинов и локальных поставщиков строительных материалов в нескольких регионах. Это **проектная** (part-time) позиция, требующая периодического вовлечения: от нескольких часов в неделю в спокойном режиме до более интенсивной занятости в пиковые периоды. ### **Задачи 1. **Парсинг новых товаров с сайтов поставщиков** - Организация регулярного мониторинга сайтов нескольких поставщиков (5–7 на регион, 2 региона, в перспективе — расширение географии). - Сбор данных о новых товарах и их свойств. - Настройка автоматизированного процесса, позволяющего быстро добавлять новые сайты и форматы данных. 2. **Регулярный парсинг для получения актуальных цен и остатков** - Настройка стабильного решения для регулярного сбора данных об актуальных ценах и наличии товаров. - Поддержка и оптимизация существующих скриптов и инфраструктуры. - Обеспечение устойчивости к возможным блокировкам и различным уровням защиты сайтов (CAPTCHA, запреты парсинга и т.д.). 3. **Оптимизация и аудит текущего процесса** - В команде уже используются прокси и есть действующая система обхода защит. Необходимо оценить её эффективность и предложить доработки при необходимости. - Анализ и улучшение использования нейросетевых сервисов (например, ChatGPT API) для автоматической обработки, классификации или извлечения дополнительных сведений о товарах. 4. **Взаимодействие с командой** - Сотрудничество с бэкенд-разработчиком и разработчиком 1C для интеграции результатов парсинга в общий мастер-справочник (внутренний каталог). - Взаимодействие со специалистом по 1С при настройке обмена данными (интеграцию ведёт отдельный специалист). - Тесная работа с менеджером по ассортименту: помощь в анализе данных, контроле полноты каталога и качества информации о товарах. ### **Навыки/Опыт** - Уверенные знания **Python** и стандартных библиотек для парсинга (requests, BeautifulSoup, Scrapy, Selenium и др.). - Понимание принципов обхода блокировок (прокси, ротация IP, решения по CAPTCHA и т.д.). - Опыт интеграции с нейросетевыми API (OpenAI, ChatGPT и т.п.) или высокий интерес к быстрым экспериментам и внедрению подобных решений. - Знание основ работы с базами данных (SQL/NoSQL) — на уровне интеграции и базовых операций. - Способность самостоятельно выстраивать процесс парсинга: от анализа структуры сайта до вывода готовых данных в нужном формате. - Умение работать без детального менеджмента: брать на себя ответственность за всю зону парсинга. - Навык коммуникации с другими членами команды (бэкенд-разработчики, специалист 1С, менеджер по ассортименту) для решения смежных задач. - Готовность к гибкому графику и быстрой реакции на приоритетные задачи. ### **Что ещё важно** - Подтверждённый опыт в проектах с похожими задачами: регулярный парсинг, аналитика цен и ассортимента, нейросетевые алгоритмы. - Понимание архитектуры 1С или опыт интеграции с внешними системами учёта — как плюс. - Готовность к расширению зоны ответственности (анализ данных, контроль качества и полноты информации в каталоге).