IT-аутсорсинг — удалённая работа в Москве

EDA и регрессионная модель. Подготовить отчет с результатами обучения регрессионной модели. Для подготовки такого отчета от вас потребуется применить все знания и навыки, полученные за время прохождения блока. Данные: Для подготовки отчета мы предлагаем вам выбрать любой датасет, который: позволит обучить регрессионную модель методом МНК с непрерывной зависимой переменной; будет содержать наблюдения с возможностью сегментации на 3 и более групп по какому-то/каким-то из признаков. В рамках тестирования гипотез и анализа распределений вам потребуется сравнивать между собой различные когорты пользователей/наблюдений; позволит протестировать ряд продуктовых/социальных гипотез, актуальных для текущих рыночных реалий. Ограничения по индустрии и описываемым процессам нет, это может быть датасет как из области телекома, банкинга, так и медицины, соц. опросов, какой-либо платформы и пр. За совпадение датасетов не предвидится никаких штрафов, но мы ожидаем, что у вас получится нас удивить и подобрать не самые популярные семплы данных; Размер датасета: от 200 наблюдений, от 5 регрессоров в модели. Задачи: Перед выполнением задач ознакомьтесь с текстом всего экзамена, чтобы была возможность заранее продумать содержание отчета и согласованность между отдельными его блоками. Теория вероятностей и мат. статистика Провести анализ датасета на предмет распределений признаков и составить общую картину различия/сходства распределений по факторам между группами. Можно ограничиться простыми плотностями и PSI / KS. Сформулировать и протестировать несколько гипотез касательно разницы сегментов (к примеру, пользователей) по нескольким показателям. Сделать заключение о наличии или отсутствии статистически значимой разницы. К каждой оценке разницы между группами построить точечную и интервальную оценку. Интервальную можно построить методом бутстрэпа. Если какая-то группа хуже другой, то сформировать ряд продуктовых гипотез, почему такое могло произойти и предложить идеи, какие эксперименты можно было провести на отстающей группе для повышения показателей. Регрессионный анализ Оценить модель линейной регрессии методом МНК, подготовить репорт модели и проинтерпретировать оценки коэффициентов. Провести тесты на гетероскедастичность, мультиколлинеарность (как визуальные, так и численные), дать комментарии по произведенным тестам. В случае нарушения предпосылок Гаусса-Маркова – принять соответствующие корректирующие модель действия, после чего повторить пункт 1. В ходе анализа протестируйте как минимум 2 спецификации моделей. Финальная спецификация модели может включать не все факторы и не все наблюдения из исходной выборки. Продемонстрируйте на примере финальной и одной из промежуточных моделей, по каким критериям и метрикам был произведен выбор в пользу финальной спецификации. Дайте трактовку значениям этих критериев и метрик. Визуализация При оценке качества отчета будет учитываться не только его содержание, корректность применяемых методов, но и аккуратность, а также общая стилистика оформления. Мы предлагаем вам: на каждый пункт экзамена иметь как минимум 1 график, построенный любой из библиотек; для наиболее важных/наглядных выводов использовать интерактивные графики вида plotly, чтобы донести читателю все особенности данных; к графикам необходимо добавлять описание, позволяющее раскрыть их контент (от одного предложения). Формат В качестве результата работы мы ожидаем получить архив в формате zip/rar, в котором будут находиться следующие документы: рабочая тетрадка в формате ipynb, которая будет без ошибок прогоняться по кнопке run all; отчет о работе над задачами экзамена в формате Markdown/HTML, который формируется предоставленной тетрадкой. Соответственно, чем аккуратнее оформлена ipynb тетрадка, тем аккуратнее будет выглядеть формируемый отчет, тем больше баллов за него можно будет получить; датасет, используемый в модели, если требуется. Если датасет будет подгружаться в ipynb по ссылке, то в архив его добавлять не требуется. Критерии оценки: 1. Корректность применения методов, тестов, моделей (15 баллов) - аккуратно формулируйте гипотезы, которые хотите проверить - обращайте внимание на особенности в данных при выборе тестов/методов/моделей, помогающих подтвердить или опровергнуть гипотезу 2. Корректность сделанных выводов, общая связность, логичность и полнота текста (5 баллов) - отчет содержит логику разбиения на блоки - для каждого блока должны быть подготовлены выводы - отчет содержит как Intro/Введение блок с описанием целей исследования, так и Conclusion/Заключение блок с общим описанием достигнутых результатов; 3. Удобство предоставленной визуализации (5 баллов) - для каждого графика представлены краткие выводы (минимум 1 предложение о том, что мы видим на графике и какие логические заключения/гипотезы из этого следуют); - каждый график должен соответствовать критериям хороших графиков, которые мы обсуждали ранее на лекциях (подписи осей, заголовок, описание, легенда, нет наслоений, корректный масштаб, и пр.); - графики выбраны в соответствии с рекомендациями удобной визуализации информации (не перепутаны hist и line, heatmap и scatter, и пр.).