Data scientist — удалённая работа в Москве

Доработка существующего продукта, настройка, тестирование. Обязанности: • Создание, настройка и поддержка ETL и ELT — процессов. • Мониторинг работы аналитического контура ГИС ЖКХ. • Контроль качества данных, очистка данных. • Организация пайплайнов потоков данных. • Разработка и поддержка ВЕБ-сервисов, API и CLI для работы с данными. • Написание SQL запросов к БД. • Написание кода на Python в ETL - инструментах (например, DAG Apache Airflow и пр). • Участие в создании, описании, оптимизации и доработке структур хранения данных. • Участие в администрировании и оптимизации работы используемых СУБД. • Подготовка аналитических материалов в части работы ETL — процессов. • Подготовка предложений по оптимизации и совершенствованию существующих процессов управления данными. Требования: • Глубокие знания и опыт использования таких инструментов инструментов: Apache Kafka, Apache Airflow, Apache Nifi, Debezium • Знание основ построения баз данных (опыт работы с СУБД PostgreSQL, ClickHouse, Greenplum) • Знание основ построения аналитических хранилищ (Data Warehouse) • Уверенные знания SQL • Уверенные знания Python. Опыт работы с библиотеками Pandas, NumPy, SciPy и др. • Опыт работы с ОС Windows и Linux. • Умение работать с любыми источниками данных, в том числе не формализованными, загружать информацию с ВЕБ сайтов, FTP серверов, парсить HTML, XML, загружать данные из MS Excel и пр. • Аналитическое мышление, умение работать с большими объемами данных Будет плюсом: • Опыт работы Pentaho Data Integration, • Опыт работы со Spark, Livi, • Опыт работы с BI - системами. • Опыт работы в компании МегаФон.