Программисты — удалённая работа в Санкт-Петербурге

1. Необходимо самостоятельно найти 2 независимых набора данных (датасеты). Тематика – любая на ваш выбор, кроме примеров, рассмотренных на встречах («Титаник», «Вина мира»). Ты 1. Необходимо самостоятельно найти 2 независимых набора данных (датасеты). Тематика – любая на ваш выбор, кроме примеров, рассмотренных на встречах («Титаник», «Вина мира») 1. Необходимо самостоятельно найти 2 независимых набора данных (датасеты). Тематика – любая на ваш выбор, кроме примеров, рассмотренных на встречах («Титаник», «Вина мира»). Данные могут быть в формате Excel таблицы, CSV, текстового файла, а также могут браться с помощью выгрузки из интернета форматов JSON, XML. Хорошие данные можно найти на Kaggle Минимальные требования к данным: наличие 5 значимых атрибутов (столбцов) и более, от 500 строк в таблице, возможность работать с файлом в предложенных и рассмотренных инструментах, адекватность значений (кодировка, целостность файла и др.), наличие данных как строкового, так и численного типа. 2. Проведите предварительный визуальный анализ данных: описание назначения датасета, полей (атрибутов), значений (диапазон, наполненность и др.), типов данных (строковые, численные, логические, дата-время). 3. Найденные данные необходимо импортировать в базу данных SQLite. Чтобы упростить создание БД с нуля к заданию прилагается заготовка базы – «homework.db». Для двух наборов должно быть две разные таблицы в БД. На языке SQL необходимо выполнить команды: CREATE TABLE и INSERT. В данном шаге самым простым будет использование SQLite Studio для формирования таблиц и переноса данных 4. В таблице No1 необходимо в произвольном столбце обновить значения (UPDATE) в зависимости от самостоятельно придуманного условия. Например, если речь о клиентах банка, то изменяем доход на 0, если он меньше 1000. Или изменяем возраст на значение 20, если клиент не брал кредит. Хорошо подойдет библиотека sqlite3 (Python) или KNIME для заданий, связанных с обработкой и преобразованием таблиц. 5. В таблице No1 удалить часть данных (DELETE) по выбранному критерию. Например, для данных о международных перелетах удаляем записи, которые соответствуют 2020 году или для данных о новостройках удаляем записи по домам с этажностью меньше 5. 6. Сохранить данные таблицы No1, полученные после преобразований, в новый файл. Формат для записи произвольный, единственное, он должен быть читаемым для проверки результатов. 7. В таблице No2 по любым выбранным столбцам (числовым) найти: среднее значение, сумму значений (по столбцу), минимальное и максимальное значение в столбце. 8. В таблице No2 сделать выборку данных (SELECT) по произвольным условиям. Например, выбрать всех сотрудников организации старше 30 лет и определенного пола. 9. Сохранить данные таблицы No2 в файл (как в п. 6). 10. Построить графическое отображение данных для полученных результатов. Для каждой таблицы по 1 графику (классическая кривая, гистограмма, круговая диаграмма, столбчатая и др.). АНАЛИТИЧЕСКАЯ ЧАСТЬ 1. Выберите один набор данных из используемых в технической части. 2. Сформулируйте бизнес-проблему и несколько гипотез для ее решения с помощью данных. Например, бизнес проблема: повышение прибыльности компании. Имея набор данных по международным авиаперелетам, в т.ч по расходам топлива – можно сформулировать гипотезу об оптимизации маршрутной сетки, с учетом минимизации расходов топлив Экономим топливо – меньшие транспортные издержки – большая прибыль – большая капитализация компании и-или большие дивиден ы; Соответственно, решая задачу анализа данных, мы в итоге, решаем задачу повышения прибыльности компании. 3. Проанализируйте любыми удобными средствами ваши данные, обработайте их, чтобы проверить сформулированные гипотезы. 4. Для подтверждения или опровержения гипотезы испольуйте графическое отображение рассматриваемых данных, если это возможно с вашей постановкой вопроса. Например, если рассматривать международные перелеты, то можно сделать простые предположения: чем дольше рейс, тем дороже билет или тем больше требуется топлива для перелета. Решение можно получить, взяв соответствующие значения из набора данных и построив график зависимости стоимости билета от времени перелета. По графику визуально можно сделать вывод о том корректно ли утверждение или нет. Сложным предположением будет являться случай, который зависит от нескольких критериев. Например, задаём вопрос как выгоднее летать? Выдвигаем своё утверждение и затем его проверяем. В ходе решения могут появится дополнительные критерии, которые не учитывались в предположении. Анализируем стоимость перелета, смотрим в какие регионы дешевле, какими авиакомпаниями, условия посадки в самолете (питание, багаж, класс) проверяем взаимосвязь между сезоном, праздничными днями, выходными и стоимостью. Дополнительно можно проверить зависимость между стоимостью билета и датой вылета (чем раньше купить билет, тем дешевле) или наличием бонусных п.