ДМК Пресс (изд.) | DeepSeek в действии (2025) [PDF]

От издательства
Предисловие

Часть I. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ И АРХИТЕКТУРА ГЕНЕРАТИВНОГО ИИ

Глава 1. Архитектура Transformer и механизм внимания
1.1. Базовая архитектура Transformer
1.1.1. Структура кодировщик–декодировщик
1.1.2. Механизмы внутреннего и многоголового внимания
1.1.3. Остаточная связь и нормализация слоев
1.2. Основные принципы работы механизма внимания
1.2.1. Сравнение механизмов скалярного и аддитивного внимания
1.2.2. Нормализация Softmax
1.2.3. Разреженность матрицы внимания и оптимизация ускорения
1.3. Расширение и оптимизация архитектуры Transformer
1.3.1. Применение динамического внимания
1.3.2. Дальнее и разреженное внимание
1.3.3. Диверсифицированное позиционное кодирование
1.4. Контекстное окно
1.4.1. Увеличение контекстного окна
1.4.2. Компромисс между памятью и вычислительной сложностью
1.4.3. Оптимизация контекстного окна в DeepSeek-V3
1.5. Баланс между стоимостью обучения и вычислительной эффективностью
1.5.1. Тенденция роста числа параметров и вычислительных требований
1.5.2. Вычисления на GPU в архитектуре Transformer
1.5.3. Как DeepSeek-V3 снижает затраты на обучение
1.6. Краткое содержание главы

Глава 2. Детальный анализ архитектуры ядра DeepSeek-V3 и ее технологии обучения
2.1. Архитектура MoE и ее основные концепции
2.1.1. Знакомство с архитектурой MoE
2.1.2. Механизм сигмоидной маршрутизации
2.1.3. Архитектура DeepSeek-V3 на основе MoE
2.2. Преимущества обучения со смешанной точностью FP8
2.2.1. Основные принципы вычислений со смешанной точностью
2.2.2. Применение FP8 в обучении моделей
2.2.3. Стратегия улучшения производительности DeepSeek-V3 с помощью FP8
2.3. Алгоритм DualPipe и оптимизация связи
2.3.1. Алгоритм DualPipe
2.3.2. Механизм межузловой связи All-to-All
2.3.3. Оптимизация пропускной способности Infiniband и NVLink
2.4. Распределенное обучение больших моделей
2.4.1. Баланс между параллелизмом данных и параллелизмом моделей
2.4.2. Распределенная архитектура обучения DeepSeek-V3
2.4.3. Устройство и оптимизация динамического планировщика скорости обучения
2.4.4. Стратегия балансировки нагрузки без вспомогательных потерь
2.4.5. Обучение многотокенному прогнозированию
2.5. Механизм кеширования и управление токенами
2.5.1. Что такое попадания и промахи кеша
2.5.2. Определение и процесс кодирования токена
2.5.3. Продвинутый механизм кеширования DeepSeek-V3
2.6. Модели серии DeepSeek
2.6.1. DeepSeek LLM
2.6.2. DeepSeek Coder
2.6.3. DeepSeek Math
2.6.4. DeepSeek VL
2.6.5. DeepSeek-V2
2.6.6. DeepSeek Coder V2
2.6.7. DeepSeek-V3
2.7. Краткое содержание главы

Глава 3. Введение в разработку больших моделей на основе DeepSeek-V3
3.1. Сценарии применения больших моделей
3.1.1. Генерация и резюмирование текста
3.1.2. Вопросно-ответная система и генерация диалогов
3.1.3. Многоязычное программирование и генерация кода
3.2. Преимущества и направления применения DeepSeek-V3
3.2.1. Фактическая производительность в различных областях
3.2.2. Возможности многоязычного программирования (на основе оценки Aider)
3.2.3. Анализ применения модели для разработки кода и решения математических задач
3.3. Теория и практика законов масштабирования
3.3.1. Связь между масштабом и производительностью модели
3.3.2. Эксперимент по применению законов масштабирования к малым моделям
3.4. Развертывание и интеграция модели
3.4.1. Вызов API и генерация в реальном времени
3.4.2. Локализованное развертывание
3.4.3. Стратегии оптимизации производительности
3.5. Распространенные проблемы и решения в разработке
3.5.1. Конструирование входных данных и управление генерацией
3.5.2. Проблемы предвзятости и надежности модели
3.5.3. Советы по решению конкретных проблем DeepSeek-V3
3.6. Краткое содержание главы

Часть II. РАЗРАБОТКА И ПРИМЕНЕНИЕ ПРИЛОЖЕНИЙ ГЕНЕРАТИВНОГО ИИ

Глава 4. Первый опыт работы с моделью DeepSeek-V3
4.1. Ведение диалогов и семантический анализ
4.1.1. Однораундовый и многораундовый диалоги
4.1.2. Контекстное взаимодействие
4.2. Способность к математическому мышлению
4.2.1. Ответы на типичные вопросы в области математики
4.2.2. Понимание и обоснование сложных проблем
4.3. Применение для вспомогательного программирования
4.3.1. Вспомогательная разработка алгоритмов
4.3.2. Разработка программного обеспечения
4.4. Краткое содержание главы

Глава 5. Открытая платформа DeepSeek и использование API
5.1. Знакомство с открытой платформой DeepSeek
5.1.1. Обзор основных модулей и сервисов платформы
5.1.2. Ключевые роли и сотрудничество в открытой экосистеме
5.2. Основные функции и примеры использования API DeepSeek
5.2.1 Механизм аутентификации и структура вызовов API
5.2.2. Часто применяемые интерфейсы и их назначение
5.3. Оптимизация производительности API и стратегия безопасности
5.3.1. Методы оптимизации производительности для уменьшения задержек
5.3.2. Защита данных и управление правами доступа
5.4. Краткое содержание главы

Глава 6. Диалоги, завершение текста и разработка специальных моделей
6.1. Основные принципы и методы генерации диалогов
6.1.1. Строение входных и выходных данных модели в задачах ведения диалога
6.1.2. Управление контекстом при взаимодействии на естественном языке
6.2. Принцип реализации и оптимизация автодополнения кода
6.2.1. Стратегия адаптации модели к языку программирования
6.2.2. Оптимизация функции глубокого завершения
6.3. Разработка индивидуальной модели на основе DeepSeek
6.3.1. Тонкая настройка модели и методы, ориентированные на конкретные задачи
6.3.2. Примеры использования персонализированных моделей для диалога и автодополнения
6.3.3. Более сложный случай: генерация кода и специализация на основе большой модели DeepSeek-V3
6.4. Краткое содержание главы

Глава 7. Продолжение диалога, формирование выходных данных FIM и JSON
7.1. Технические принципы и применение продолжения префикса диалога
7.1.1. Логика проектирования и реализация префиксного моделирования
7.1.2. Способы управления стилем продолжения
7.2. Анализ и применение технологии FIM
7.2.1. Пояснение к разным определениям задачи FIM
7.2.2. Способы оптимизации DeepSeek для задач FIM
7.3. Генерация выходных данных в формате JSON
7.3.1. Реализация модели для генерации структурированных данных
7.3.2. Применение вывода JSON на практике
7.3.3. Более сложный случай: многораундовый диалог и генерация структурированных данных
7.4. Краткое содержание главы

Глава 8. Функции обратного вызова и кеширование контекста на диске
8.1. Механизм обратного вызова и сценарии его применения
8.1.1. Функция обратного вызова и принципы ее реализации
8.1.2. Методы оптимизации обратного вызова на платформе DeepSeek
8.2. Основные принципы кеширования контекста на диске
8.2.1. Анализ влияния попаданий и промахов кеша
8.2.2. Реализация кеширования на жестком диске
8.3. Сочетание функций обратного вызова и механизма кеширования
8.3.1. Контекстно-ориентированное проектирование вызовов кеша
8.3.2. Пример повышения производительности за счет эффективного кеширования и комбинации обратного вызова
8.3.3. Сложный случай: применение DeepSeek и оптимизация интеллектуальной системы управления электростанцией
8.4. Краткое содержание главы

Глава 9. Библиотека промптов DeepSeek и ее дополнительные возможности
9.1. Применение промптов при разработке кода
9.1.1. Доработка кода
9.1.2. Аннотирование кода
9.1.3. Генерация кода
9.2. Генерация и классификация контента
9.2.1. Классификация контента
9.2.2. Структурированный вывод
9.3. Ролевая игра
9.3.1. Ролевая игра (создание персонажа)
9.3.2. Ролевая игра (продолжение сценария)
9.4. Литературное творчество
9.4.1. Написание прозы
9.4.2. Написание стихов
9.5. Копирайтинг и продвижение
9.5.1. Создание плана копирайтинга
9.5.2. Генерация слоганов
9.6. Модель в роли эксперта-переводчика
9.6.1. Генерация промптов
9.6.2. Перевод в языковых парах
9.14. Краткое содержание главы

Часть III. ПРАКТИЧЕСКИЕ ПРОЕКТЫ И ИНТЕГРАЦИЯ ИИ В ПРИЛОЖЕНИЯ

Глава 10. Примеры интеграции, часть 1: разработка чат-клиента на основе LLM
10.1. Обзор чат-клиентов и их ключевые функции
10.1.1. Основная концепция дизайна чата
10.1.2. Анализ распространенных сценариев применения
10.2. Настройка и интеграция API DeepSeek
10.2.1. Получение и настройка ключа API
10.2.2. Вызовы стандартных интерфейсов
10.2.3. Интеграция API чат-клиента в приложение
10.3. Поддержка нескольких моделей и переключение между ними
10.3.1. Архитектура системы с переключаемыми моделями
10.3.2. Стратегии выбора модели в зависимости от задачи
10.3.3. Тестирование полного кода системы
10.4. Краткое содержание главы

Глава 11. Примеры интеграции, часть 2: разработка интеллектуального помощника на основе ИИ
11.1. Начало эпохи ИИ-помощников и знакомство с технологией
11.1.1. Основные функции интеллектуального помощника на основе ИИ
11.1.2 Тенденции коммерческого применения ИИ-помощников
11.2. Конфигурация и применение API DeepSeek в ИИ-помощниках
11.2.1. Применение API DeepSeek в работе ИИ-помощника
11.2.2. Комбинация функций распознавания речи и обработки естественного языка
11.3. Внедрение и оптимизация функции интеллектуального помощника
11.3.1. Стратегии оптимизации для повышения точности вопросов и ответов
11.3.2. Технология непрерывного обучения и улучшения понимания контекста
11.4. Краткое содержание главы

Глава 12. Примеры интеграции, часть 3: разработка вспомогательных плагинов на основе VS Code
12.1. Обзор и основные функции вспомогательных плагинов
12.1.1. Функциональное позиционирование вспомогательного плагина
12.1.2. Анализ полезных функций для разработчиков
12.2. Шаги по интеграции API DeepSeek в VS Code
12.2.1. Процесс вызова API в плагине
12.2.2. Оптимальное управление кешем вызовов API
12.3. Реализация автодополнения кода и рекомендаций по исправлению
12.3.1. Механизм автодополнения кода, основанный на глубоком семантическом понимании
12.3.2. Персонализированные рекомендации и гибкая настройка режимов разработки
12.4. Советы по использованию плагинов для повышения эффективности разработки
12.4.1. Применение инструментов для быстрого обнаружения и устранения ошибок
12.4.2. Автоматическая генерация кода
12.4.3. Быстрое создание комментариев и документации для крупных проектов
12.4.4. Управление проектами с помощью DeepSeek
12.4.5. Поддержка кодовой базы большого проекта
12.4.6. Генерация кода с поддержкой нескольких языков
12.4.7. Инструменты отладки, глубоко интегрированные в среду разработки
12.4.8. Оценка качества кода и генерация рекомендаций по оптимизации
12.5. Краткое содержание главы

Предметный указатель