Jules S. Damji and others | Learning Spark: Lightning-Fast Data Analytics / Обучение Spark: Быстрая аналитика данных [2-е издание] (2020) [PDF] [EN]
Автор: Jules S. Damji, Brooke Wenig, Tathagata Das, Denny Lee
Издательство: O’Reilly Media
ISBN: 978-1-492-05004-9
Жанр: Программирование
Язык: Английский
Формат: PDF
Качество: Изначально электронное (ebook)
Иллюстрации: Цветные и черно-белые
Описание:Spark — высокопроизводительная универсальная распределенная система вычислений, самая активная часть проекта с открытым исходным кодом Apache, обеспечивающая возможность обработки больших массивов данных, помимо тех, что могут уместиться на одной машине, с помощью высокоуровневого, относительно простого в использовании API. Spark — одна из самых быстрых систем среди аналогов, его архитектура и интерфейс уникальны. Это единственная система, которая позволяет описывать логику преобразований данных и алгоритмов машинного обучения так, чтобы не зависеть от системы, но сохранить возможность параллельного выполнения. Поэтому данный фреймворк зачастую используют для написания вычислений, которые будут работать быстро в распределенных системах хранения различных видов и размеров.
• Изучить API высокого уровня Python, SQL, Scala или Java: фреймы данных и наборы данных;
• Заглянуть внутрь механизма Spark SQL, чтобы понять преобразования и производительность Spark;
• Проверять, настраивать и отлаживать операции Spark с помощью конфигураций Spark и пользовательского интерфейса Spark;
• Подключаться к источникам данных: JSON, Parquet, CSV, Avro, ORC, Hive, S3 или Kafka;
• Выполнять аналитику для пакетных и потоковых данных с использованием структурированной потоковой передачи;
• Создавать надежные конвейеры данных с открытым исходным кодом Delta Lake и Spark;
• Разработать конвейеры машинного обучения с MLlib и производство моделей с использованием MLflow;
• Использовать открытый код Pandas Framework Koalas и Spark для преобразования данных и разработки функций.
Data is getting bigger, arriving faster, and coming in varied formats—and it all needs to be processed at scale for analytics or machine learning. How can you process such varied data workloads efficiently? Enter Apache Spark.
Updated to emphasize new features in Spark 2.x., this second edition shows data engineers and scientists why structure and unification in Spark matters. Specifically, this book explains how to perform simple and complex data analytics and employ machine-learning algorithms. Through discourse, code snippets, and notebooks, you’ll be able to:
• Learn Python, SQL, Scala, or Java high-level APIs: DataFrames and Datasets
• Peek under the hood of the Spark SQL engine to understand Spark transformations and performance
• Inspect, tune, and debug your Spark operations with Spark configurations and Spark UI
• Connect to data sources: JSON, Parquet, CSV, Avro, ORC, Hive, S3, or Kafka
• Perform analytics on batch and streaming data using Structured Streaming
• Build reliable data pipelines with open source Delta Lake and Spark
• Develop machine learning pipelines with MLlib and productionize models using MLflow
• Use open source Pandas framework Koalas and Spark for data transformation and feature engineering
Скриншоты:
Время раздачи: с 9:00 до 00:00 (до появления первых 3-5 скачавших) 
(Голосов: 
