Data scientist — удалённая работа в Москве

Data Science. Доработка существующего продукта, настройка, тестирование.

Разработка с нуля. О проекте Для реализации проекта требуется специалист по разработке аналитических систем, интеграции и обработке данных. Проект предусматривает создание интерактивной аналитической BI-системы обработки и предоставления данных в сфере внешнеэкономической деятельности (ВЭД). Система должна обеспечивать сбор, очистку, преобразование и объединение данных из существующих источников, формирование централизованного хранилища и аналитических витрин, а также предоставление пользователям интерактивных дашбордов и отчетов. Важное условие: система разворачивается исключительно в закрытой инфраструктуре заказчика. Использование облачных сервисов не допускается. Предпочтение отдаётся специалистам с опытом разработки корпоративных аналитических систем и работы с большими объёмами данных. Основные задачи 1. Разработка ETL-процессов Разработка и настройка процессов извлечения, преобразования и загрузки данных с использованием Apache Airflow, Python и SQL. Интеграция данных из существующих баз данных, файловых источников и REST API. Реализация полной и инкрементальной загрузки, обработки ошибок, повторных запусков и журналирования. Очистка, дедупликация, нормализация и обогащение данных. Разработка механизмов сопоставления данных с нормативно-справочной информацией и классификаторами. 2. Разработка и настройка хранилища данных Проектирование и реализация многослойной архитектуры хранилища: STAGE, ODS, DDS и DATAMARTS. Разработка таблиц, представлений, связей, индексов и аналитических витрин на базе PostgreSQL / Greengage. Интеграция данных из существующих структур закрытого контура без избыточного дублирования. Организация хранения истории изменений и контроля качества данных. Оптимизация запросов и обеспечение производительности аналитической системы. 3. Интеграция источников данных Работа с существующими таблицами и представлениями корпоративных баз данных. Подключение REST API для получения мастер-данных организаций. Реализация загрузки справочников и классификаторов из файлов Excel. Сопоставление сведений о компаниях, внешнеторговых операциях, товарах, странах и регионах. Подготовка совместимых представлений данных для BI-подсистемы. 4. Разработка BI-системы Настройка Apache Superset и подключение аналитических витрин. Разработка интерактивных дашбордов, графиков, таблиц и карточек ключевых показателей. Реализация сквозных фильтров по периоду, товарам, странам, регионам, компаниям и направлениям торговли. Настройка выгрузок данных в XLS/CSV и формирование отчетов в Word по согласованным шаблонам. Реализация ролевой модели доступа к данным и компонентам системы. 5. Реализация предметных областей Необходимо обеспечить техническую реализацию четырёх аналитических направлений: Итоги внешней торговли участников ВЭД России — анализ экспорта и импорта, товарных групп, компаний, стран и регионов. Мировая торговля и место России — сравнение показателей стран, рейтинги, динамика и доля России в мировой торговле. Экспортный потенциал — подготовка данных для расчётной модели определения компаний с потенциальными экспортными возможностями и сохранение результатов её работы. Торговля услугами — подготовка архитектуры интеграции и аналитических представлений для последующего подключения официальных данных. Требования к специалисту Практический опыт разработки ETL/ELT-процессов и интеграции разнородных источников данных. Уверенное владение Python и SQL. Опыт работы с Apache Airflow. Опыт проектирования и разработки хранилищ данных (DWH), витрин данных и аналитических представлений. Практический опыт работы с PostgreSQL; знание Greenplum или Greengage будет преимуществом. Опыт работы с Apache Superset или аналогичными BI-платформами. Понимание принципов многослойной архитектуры данных, моделирования фактов и измерений, построения аналитических витрин. Навыки оптимизации SQL-запросов и работы с большими объёмами данных. Опыт интеграции REST API, обработки JSON и реализации механизмов авторизации. Понимание принципов разграничения доступа, журналирования и контроля качества данных. Готовность работать по подробному техническому заданию и взаимодействовать с представителями заказчика. Будет преимуществом Опыт разработки BI-решений для крупных компаний, государственных организаций или финансовых институтов. Опыт работы в закрытых информационных контурах с ограничениями на внешние подключения. Опыт интеграции данных из нескольких корпоративных систем без дублирования первичных массивов. Опыт построения аналитических моделей, рейтингов и расчётных показателей. Опыт работы с классификаторами, мастер-данными и историческими срезами данных. Опыт подготовки технической документации, программ и методик испытаний. Ожидаемый результат По итогам работ необходимо обеспечить: Работоспособные ETL-процессы загрузки и преобразования данных. Настроенное хранилище данных с необходимыми слоями и витринами. Интеграцию с согласованными источниками данных и нормативно-справочной информацией. Четыре аналитические предметные области в Apache Superset. Интерактивные дашборды, фильтры и таблицы. Выгрузку отдельных блоков в XLS/CSV и формирование отчетов в Word. Ролевое разграничение доступа. Техническую документацию и материалы, необходимые для тестирования и передачи системы заказчику. Разработка ведётся поэтапно. Состав работ по отдельным модулям уточняется при согласовании технического решения и исходных данных.

Data Science. Разработка с нуля, тестирование, настройка. • Помочь создать аккаунт в Selectel и запустить 3 виртуальные машины на Windows Server (RDS). • Выделить каждой машине свой IP-адрес для разделения сетевого трафика. • Настроить индивидуальный доступ к учетным базам • Настроить корректный проброс физических USB-токенов (ЭЦП Рутокен) ПК на соответствующие серверы. • Подключить автоматические бэкапы. Ищем специалиста с опытом администрирования Windows Server и настройки криптографии. Подробное ТЗ отправлю в чат.

Data Science. Доработка существующего продукта. Пожелания и особенности: Ищем BI backend-разработчика с опытом работы с Apache Superset. Требования: • Коммерческий опыт разработки от 3 лет. • Практический опыт работы с Apache Superset. Условия: • Удалённая работа, график по московскому времени. • Гражданство и локация — РФ. • Проект до конца 2026 года, возможно продление.

Доработка существующего продукта, Ревью работы.

Разработка с нуля.

Data Science. Разработка с нуля, настройка. Развернуть и настроить Windows Server (2019/2022) на физическом сервере как: - контроллер домена (DC) + - терминальный сервер (RDS) для 15 пользователей в режиме RDP. Среда: Active Directory (домен), единая учётная запись пользователя для входа на рабочие станции и в терминальную сессию. Целевая нагрузка: Яндекс Браузер для организаций, 1С (тонкий клиент), MS Office, Foxit PDF. Дополнительные требования: КриптоПро, проброс ЭЦП и принтеров, общая сетевая папка, ежедневное резервное копирование с хранением 3 копий (Количество копий: хранить 3 последние копии (сегодня, вчера, позавчера). Старые удаляются автоматически.). - Яндекс Браузер для организаций — централизованная установка, политики через GPO. - 1С тонкий клиент — установка, проверка доступа к базе и к общей папке. - MS Office — установка, активация, проверка работы. - Foxit PDF — установка, проверка открытия файлов из общей папки.