Веб-разработка. Разработка с нуля. Добрый день. Необходимо структурировать несколько файлов в эксель в один итоговый файл по аналогии со сводными таблицами. КРАТКОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ Система обработки каталога автозапчастей --- 1. ЦЕЛЬ РАЗРАБОТКИ Создать систему для автоматической обработки 10+ млн записей автозапчастей с объединением данных из 4 источников и интеллектуальным экспортом. --- 2. ОСНОВНОЙ ФУНКЦИОНАЛ 2.1. Загрузка данных (4 типа файлов) · Основные данные: OE номера, бренды, наименования, применимость · Штрих-коды: штрих-коды, кратность товаров · Весогабариты: длина, ширина, высота, вес · Изображения: ссылки на фото товаров 2.2. Автоматическая обработка · Объединение данных по OE номерам · Определение категорий по названию товара · Создание описаний по шаблону · Обработка дубликатов 2.3. Умный экспорт · Excel с авто-разбиением (по 1 млн записей) · CSV (рекомендуемый формат) · Parquet (для аналитики) · Структура: 15 колонок по утвержденному формату --- 3. ТЕХНИЧЕСКИЕ ТРЕБОВАНИЯ 3.1. Производительность · ✅ 10 млн записей за 5-10 минут · ✅ Чанковая обработка по 500к записей · ✅ Параллельная обработка 4 файлов · ✅ Потребление памяти ≤ 70% от доступной 3.2. Технологии · Backend: Python, Polars, DuckDB, Dask · Интерфейс: Streamlit (веб-интерфейс) · База данных: DuckDB (колоночная) · Экспорт: Excel, CSV, Parquet 3.3. Надежность · Автораспознавание колонок по словарю · Валидация данных при загрузке · Постоянное хранение в локальной БД · Обработка ошибок с понятными сообщениями --- 4. ИНТЕРФЕЙС ПОЛЬЗОВАТЕЛЯ 4.1. Основные разделы · Загрузка данных - загрузка 4 файлов · Умный экспорт - выбор формата выгрузки · Статистика - аналитика по данным · Управление данными - очистка, удаление дубликатов 4.2. Особенности · Веб-интерфейс в браузере (localhost:8501) · Прогресс-бары обработки · Автоматические уведомления · Скачивание результатов --- 5. КРИТЕРИИ ГОТОВНОСТИ 5.1. Функциональные · Корректная загрузка всех 4 типов файлов · Объединение данных по OE номерам · Автоматическое определение категорий · Экспорт во все заявленные форматы · Обработка 1+ млн записей за < 2 минут 5.2. Производительность · 10 млн записей обрабатываются за ≤ 10 минут · Потребление памяти в установленных лимитах · Стабильная работа интерфейса 5.3. Надежность · Валидация входных данных · Обработка ошибок с пояснениями · Сохранение данных между сеансами --- 6. РЕЗУЛЬТАТ РАЗРАБОТКИ Готовое приложение с веб-интерфейсом, позволяющее: 1. Загружать данные из 4 Excel файлов 2. Автоматически объединять их в единый каталог 3. Определять категории товаров 4. Экспортировать результат в нужном формате 5. Работать с 10+ млн записей за 5-10 минут Формат поставки: Python скрипт с полной документацией.