Н.А. Бутаков и др. | Обработка больших данных с Apache Spark (2019) [PDF, DJVU]
Автор: Н.А. Бутаков, М.В. Петров, Д. Насонов
Издательство: СПб: Университет ИТМО
Жанр: Программирование
Формат: PDF, DJVU
Качество: PDF-Изначально электронное (ebook)/DJVU-Хороший скан
Иллюстрации: Цветные
Описание:Учебно-методическое пособие содержит теоретический материал и примеры выполнения задач для курса «Введение в технологии обработки больших данных». Пособие составлено с учётом проведения лабораторных работ с помощью фреймворка Apache Spark. Содержание дисциплины охватывает круг вопросов, связанных с организацией построения ETL-конвейеров на основе Spark SQL и DataFrame API для распределенного выполнения на кластерных вычислительных системах, включая использование итеративных вычислений, важных для машинного обучения, рассмотрения shuffle механизмов и принципов организации управлением памятью в Spark. В результате освоения дисциплины студенты приобретают способности разработки программ и построения конвейеров обработки различных данных, навыки по работе с распределенными кластерными системами, а также способности к применению машинного обучения на распределенных наборах данных.
Введение
Архитектура распределенного приложения Spark
Основные концепции Spark
RDD и граф преобразований
Основные этапы обработки данных
Загрузка данных из внешнего хранилища
Изменение размещения данных и количества партиций
Как происходит вычисление над данными в Spark
Ветвление и итеративные вычисления
Shuffle механизм
Управление памятью в Apache Spark
DataFrame API и Spark SQL
Датафреймы
Начало работы с DataFrame API: SparkSession
Использование пользовательских функций (UDF)
Пользовательские функции агрегации
Создание, настройка и запуск Spark проекта
Настройка окружения
Создание нового проекта
Запуск Scala проекта в Intellij Idea
Первое Spark приложение
Заключение
Список литературы
Скриншоты:
Время раздачи: Пн-Пт с 18:00 до 22:00, Сб-Вс с 18:00 до 23:30 (до появления первых 3-5 скачавших) 
(Голосов: 
