Разработка на Python — удалённая работа в Москве

анализ данных. Разработка с нуля. Шаг 1. Соберите датасет, который Вам было бы интересно поисследовать. За парсинг датасета из любого источника на Ваш вкус – 40 балл в 40 баллов – в случае парсинга обычных сайтов, проход по нескольким страницам сайтов (не менее 3-4 сайтов, сделать отдельный столбец в будущей таблице с названием издания) и проход по страницам каждого объекта на странице (для которого будет отдельная строчка в будущей таблице); парсинг включает широкий сбор различной информации; в итоговой таблице собрано значительное число строк (ориентируйтесь на диапазон 300-400 объектов) в случае парсинга соцсетей (вк/instagram) – проход по нескольким открытым корпоративным пабликам/аккаунтам (не менее 3-4 пабликов/аккаунтов), сбор фичей у постов (лайки, просмотры, дата и т.п.) и информации по ссылкам, аналогично проходу по странице объекта на сайте парсинг включает широкий сбор различной информации; в итоговой таблице собрано значительное число строк (ориентируйтесь на диапазон 300-400 объектов). Шаг 2. Предварительная обработка, создание новых признаков. Проанализируйте столбцы. Что в них содержится? Если вы скачивали из Инстаграма/ВК данные, то наверняка у вас будут такие фичи, как кол-во лайков, просмотров, дата поста. Иногда на основании имеющихся признаков можно создать новые. Например, упоминается ли персона/компания в данной статье/посте, есть ли негативные коннотации с ней (“аннексия”, “допинг”, “фальсиф кация” и т.п.) Или, например, обработав столбец с датой, можно выяснить: является ли день рабочим, является ли месяц концом квартала, является ли день национальным праздником и т.д. Также можно воспользоваться регулярными выражениями для обработки текста и извлечения новых фичей. Шаг 3. Работа с pandas Применяя методы с семинаров (например, groupby/фильтры по какому-нибудь условию/describe) получите больше информации о данных. Шаг 4. Визуализация Ваша задача – построить красивые и интересные визуализации, на основе которых можно выдвинуть гипотезы. можно использов.