Для работы Хочу научиться работать со Spark и Kafka. Есть задачи которые нужно решить и хотелось бы разобрать работу со Spark на их примере. Задачи: Разбор данных в Airflow через Spark (нужно читать историю топика Kafka за день). Разбор данных в Airflow через Spark (нужно читать данные из MSSQL Сервера). Обработка данных из Kafka в Spark По Kafka: нужно реализовать получение одинаковых данных разными слушателями из одного топика. Так как у разных скриптов будет различная логика обработки одних и тех же данных. Как это можно сделать? Можно ли здесь использовать Spark?