Разработка на Python — удалённая работа в Москве

Веб-разработка. Разработка с нуля, настройка. Цель: Создать автоматизированный сервис, который собирает, анализирует, обрабатывает и структурирует информацию из открытых источников (веб-сайты и социальные сети). Собранную информацию сервис формирует в материалы для медиа проектов, аналитиков и редакций. Основные задачи: 1. Сбор информации Парсер для сбора данных с различных веб-сайтов и социальных сетей (Telegram приоритет, в планах: VK и Twitter/X) Возможность парсить медиа (изображения, видео), документы и ссылки Всё собирается в отдельные материалы по источникам без изменений и со всеми вложенными файлами, документами и ссылками 2. База данных Всю собранную информацию храним в исходном виде Отдельно хранение опубликованных материалов Храним только текст и ссылки к материалу Желательно делать связи по дубликатам (и контексту) Переводить всю БД в векторный вид Индексация и маркировка материала для быстрого поиска (тип, id и т.п.) Категоризация материалов (по типу) 3. Работа с информацией Определять все дубликаты информации из разных источников Объединять всё в единый материал без дублирования информации Собирать все источники, ссылки и медиа из материалов (без дублей) Переводить, если источник на иностранном языке Обрабатывать весь текст по запросу (настраивать) Проверка свежих материалов, что информация не была опубликована ранее по каналам (если публиковалась ранее - помечать) 4. Работа с документами Скачивает и загружает большие документы (pdf и др.) Анализ и обработка документов по запросу (настраивается, например, сделать сводку из отчёта, вытащить все графики и т.п.) При необходимости дробить документы на части для поэтапного анализа 5. Проверка корректности в каждом этапе Текст: верно ли собран итоговый материал из дублей (исходников), не нарушена ли логика и соответствие фактам из источников Документы: Если была работа с документом (отчёт или исследование), проверка итогового материала на соответствие с исходной информацией Итого - если есть упущенные детали, нарушена логика или остались дубли, отправлять на доработку до логической завершенности материала 6. Все собранные материалы можно вывести в тг или на веб-странице (автопубликация).