Себастьян Рашкa | Строим LLM с нуля [2 книги] (2025) [PDF] [RU, EN]

Вот что автор пишет о своей книге:

Книга призвана помочь вам с нуля создавать собственные большие языковые модели, подобные GPT. В начале книги основное внимание уделяется основам работы с текстовыми данными и программированию механизмов внимания, а затем описываются способы создания модели GPT с нуля. Далее рассматривается механизм предварительного обучения, а также тонкая настройка для конкретных задач, таких как классификация текста и выполнение инструкций. Прочитав книгу, вы будете хорошо понимать, как работают LLM, и научитесь создавать собственные. Ваши модели будут меньше по размеру, чем обычные LLM, но будут использовать те же концепции и служить мощными образовательными инструментами, которые помогут понять основные механизмы и методы, используемые при создании современных больших языковых моделей.

В этой книге:

План создания с нуля LLM, сравнимой с GPT-2.
Загрузка предварительно обученных весов.
Создание полного конвейера обучения.
Тонкая настройка LLM для классификации текста.
Разработка LLM, которая следует инструкциям человека.
Читателям понадобятся базовые знания Python и понимание основ машинного обучения. Созданная вами LLM будет работать на любом современном ноутбуке и при необходимости может использовать графические процессоры.

Кому следует прочитать эту книгу

Книга предназначена для приверженцев машинного обучения, инженеров, исследователей, студентов и практиков, которые хотят получить глубокое представление о том, как работают LLM, и научиться создавать собственные модели с нуля. Как новички, так и опытные разработчики, применяя уже имеющиеся навыки и знания, смогут понять концепции и методы, используемые при создании LLM.
Отличие этой книги от других состоит в том, что в ней подробно описан весь процесс создания большой языковой модели: от работы с наборами данных до реализации архитектуры модели, предварительного обучения на неразмеченных данных и тонкой настройки для конкретных задач. На момент написания книги ни один другой ресурс не предлагает такого полного и практического подхода к созданию LLM с нуля.
Чтобы понять примеры кода в данной книге, вы должны хорошо разбираться в программировании на Python. Знакомство с машинным обучением, глубоким обучением и искусственным интеллектом (ИИ) может быть полезным, однако обширные знания в этих областях не требуются. Большие языковые модели — уникальное подмножество ИИ, поэтому, даже если вы новичок в области LLM, вы сумеете разобраться в материале этой книги.
Если у вас есть опыт работы с глубокими нейронными сетями, то некоторые концепции могут показаться вам более знакомыми, поскольку LLM основаны на этих моделях. Однако знание PyTorch не является обязательным. В приложении A представлено краткое введение в PyTorch, которое поможет вам освоить навыки, необходимые для понимания примеров кода в книге.
Понимание математики на уровне средней школы, особенно работа с векторами и матрицами, может быть полезным при изучении внутреннего устройства LLM. Тем не менее ключевые концепции и идеи, представленные в этой книге, не требуют глубоких математических знаний.
Самое важное — наличие опыта программирования на Python. Обладая им, вы будете хорошо подготовлены к изучению больших языковых моделей и сможете понять концепции и примеры кода, представленные в книге.
«По-настоящему вдохновляет и мотивирует вас применять свои новые навыки на практике».
— Бенджамин Мускалла, старший инженер, GitHub
«Самое понятное и исчерпывающее объяснение языковых моделей на данный момент!»
— Кэмерон Вульф, старший научный сотрудник Netflix
«Себастьян сочетает глубокие знания с практическими инженерными навыками и умением простым языком объяснять сложные вещи. Это именно то руководство, которое вам нужно!»
— Чип Хьюен, автор книги AI Engineering
«Определенно актуальная книга. Настоятельно рекомендую!»
— Доктор Вахид Мирджалили, старший аналитик, FM Global

Об авторе
Себастьян Рашкa
PhD, более десяти лет работает в области машинного обучения и искусственного интеллекта. Известен своими бестселлерами, посвященными машинному обучению на Python, и вкладом в открытый исходный код.
Себастьян — штатный инженер-исследователь в Lightning AI, специализирующийся на обучении и внедрении больших языковых моделей. До работы в этой компании был доцентом кафедры статистики в Университете Висконсин-Мэдисон, где занимался исследованиями в области глубокого обучения.

Краткое содержание

Предисловие
Глава 1..Знакомство.с.большими.языковыми.моделями
Глава 2..Работа.с.текстовыми.данными
Глава 3..Программирование.механизмов.внимания
Глава 4..Создание.GPT-подобной.модели.для.генерации.текста.с.нуля
Глава 5..Предварительное.обучение.на.неразмеченных.данных
Глава 6..Тонкая.настройка.по.классификации
Глава 7..Тонкая.настройка.по.инструкциям
Приложение А. Введение в PyTorch
Приложение Б. Ссылки и дополнительные источники
Приложение В. Решения упражнений
Приложение Г. Добавление новых возможностей в процесс обучения
Приложение Д. Эффективная настройка параметров с.помощью LoRA

В оригинале
S. Raschka. Build a Large Language Model

Learn how to create, train, and tweak large language models (LLMs) by building one from the ground up!
In Build a Large Language Model (from Scratch) bestselling author Sebastian Raschka guides you step by step through creating your own LLM. Each stage is explained with clear text, diagrams, and examples. You’ll go from the initial design and creation, to pretraining on a general corpus, and on to fine-tuning for specific tasks.
Build a Large Language Model (from Scratch) teaches you how to:
Plan and code all the parts of an LLM
Prepare a dataset suitable for LLM training
Fine-tune LLMs for text classification and with your own data
Use human feedback to ensure your LLM follows instructions
Load pretrained weights into an LLM
Build a Large Language Model (from Scratch) takes you inside the AI black box to tinker with the internal systems that power generative AI. As you work through each key stage of LLM creation, you’ll develop an in-depth understanding of how LLMs work, their limitations, and their customization methods. Your LLM can be developed on an ordinary laptop, and used as your own personal assistant.