В.С. Манохин | Современное прогнозирование временных рядов (2026) [PDF]

Оглавление
От издательства.......................................................................................................16
Глава 1. Развитие и основные принципы прогнозирования
временны́х рядов......................................................................................................17
1.1. Введение...........................................................................................................17
1.2. Подробная история развития прогнозирования в древних
цивилизациях (до 1800 г. н. э.)..................................................................................18
1.2.1. Месопотамия (практические методы в Вавилоне и Ассирии)................................18
1.2.2. Древний Египет...............................................................................................19
1.2.3. Древний Китай................................................................................................21
1.2.4. Древняя Индия................................................................................................23
1.2.5. Мезоамериканские цивилизации (майя и ацтеки)...............................................25
1.2.6. Древняя Греция и греко-римская цивилизация..................................................28
1.2.7. Золотой век ислама.........................................................................................30
1.2.8. Средневековая Европа и Европа раннего Нового времени.........................33
1.3. Первоначальный научный вклад в прогнозирование временны́х рядов..........36
1.3.1. Уильям Стенли Джевонс (William Stanley Jevons) (1835–1882)....................37
1.3.2. Артур Шустер (Arthur Schuster) (1851–1934).................................................37
1.3.3. Андрей Андреевич Марков (1856–1922).......................................................38
1.3.4. Джордж Удни Юл (George Udny Yule) (1871–1951)........................................40
1.3.5. Евгений Слуцкий (1880–1948)........................................................................42
1.4. Расцвет эконометрического моделирования: Фриш и Тинберген.....................43
1.4.1. Рагнар Фриш (Ragnar Frisch) (1895–1973).....................................................44
1.4.2. Ян Тинберген (Jan Tinbergen) (1903–1994)....................................................45
1.5. Выделение тренда и статистическая декомпозиция: Маколей и Волд..............46
1.5.1. Фредерик Робертсон Маколей (Frederick Robertson Macaulay)
(1882–1970)...............................................................................................................46
1.5.2. Херман Оле Андреас Волд (Herman Ole Andreas Wold) (1908–1992)............47
1.6. Винер и Колмогоров: основы современной теории прогнозирования.............48
1.6.1. Норберт Винер (Norbert Wiener) (1894–1964)...............................................48
1.6.2. Андрей Колмогоров (1903–1987)...................................................................50
1.7. Ирвинг Фишер и Роджер Бэбсон: ранние эмпирические исследования
экономических колебаний...........................................................................................51
1.7.1. Ирвинг Фишер (Irving Fisher) (1867–1947).....................................................51
1.7.2. Роджер Бэбсон (Roger Babson) (1875–1967)...................................................52
1.8. Состояние науки о прогнозировании с 1950 до 1980 г. :
основополагающие модели и статистические инновации........................................53
1.9. Прогнозирование с 1980 по 2000 г. : институционализация, истоки
машинного обучения и рост значимости глобальных данных.................................54
1.9.1. Роберт Ф. Энгл (р. 1942 г.)...............................................................................54
1.9.2. Клайв У. Дж. Грейнджер (1934–2009).............................................................54
1.10. Прогнозирование с 2000 г. до настоящего времени : большие данные
глубокое обучение и прогнозирование в эпоху нестабильности..............................56
1.11. Благодарности......................................................................................................58
Глава 2. Прогнозируемость временны́х рядов: анализ
ограничений..............................................................................................................59
2.1. Сущность прогнозирования..................................................................................60
2.1.1. Когда задача становится задачей прогнозирования (а когда нет)..............64
2.1.2. Сравнение прогнозирования и других методик прогностического
моделирования.........................................................................................................73
2.1.3. Сравнение прогнозирования и обнаружения аномалий.............................76
2.1.4. Сравнение прогнозирования и регрессии (обобщенное
прогностическое моделирование)..........................................................................78
2.1.5. Определение и критерии...............................................................................80
2.1.6. Сравнение прогнозирования с другими методиками.................................81
2.1.7. Где прогнозирование работает превосходно................................................81
2.1.8. Воздействие точности прогнозирования на бизнес....................................83
2.2. Почему так важна прогнозируемость...................................................................84
2.3. Определение прогнозируемости в различных областях деятельности.............86
2.4. Основные метрики прогнозируемости................................................................90
2.4.1. Коэффициент вариации (CV) и фреймворк ADI-CV.....................................92
2.4.2. Отношение дисперсий и теоретические пределы предсказуемости............93
2.4.3. Функция автокорреляции (ACF): измерение линейной
предсказуемости......................................................................................................95
2.4.4. Частичная автокорреляция и экономность модели.....................................96
2.4.5. Отношение дисперсий как метрика прогнозируемости.............................96
2.4.6. Информационно-теоретические метрики (энтропия
и предсказуемость)..................................................................................................98
2.4.7. Выборочная энтропия (SampEn)..................................................................106
2.4.8. Энтропия перестановок (PE)........................................................................111
2.4.9. Многомасштабная энтропия (MSE): концепция и интерпретация...........117
2.4.10. Спектральная энтропия: сложность частотной области..........................124
2.4.11. SVD-энтропия: сложность размерности вложенных рядов.....................131
2.4.12. Анализ прогнозируемых компонентов (ForeCA)......................................135
2.4.13. Плоскость причинно-следственной связи сложность–энтропия...........140
2.4.14. Метрики энтропии и прогнозируемость...................................................146
2.4.15. Метод разложения сигнала на эмпирические моды (EMD):
сложность адаптивных сигналов..........................................................................148
2.4.16. Разложение по вариационным модам (VMD)...........................................150
2.4.17. Ограничения горизонта прогнозирования с помощью экспоненты
Ляпунова.................................................................................................................152
2.5. Области практического применения и рекомендации.....................................156
2.5.1. Финансы и экономика..................................................................................156
2.5.2. Прогнозирование спроса (цепочка поставок)............................................157
2.5.3. Энергетическая нагрузка и генерация электроэнергии............................157
2.5.4. Биомедицинские сигналы............................................................................157
2.5.5. Климат и погода............................................................................................158
2.5.6. Итоговый обзор метрик прогнозируемости и соответствующих
формул....................................................................................................................158
2.6. Резюме..................................................................................................................160
Глава 3. Метрики прогнозирования................................................................161
3.1. Метрики точности точечных прогнозов (детерминированные прогнозы).....162
3.1.1. Метрика смещения в оценке точечного прогноза.....................................163
3.1.2. Метрики относительных ошибок в процентах и проблемы MAPE...........164
3.1.3. Независимые от масштаба метрики ошибок (MASE, RMSSE)....................170
3.2. Прогнозируемая добавленная стоимость (FVA): количественная оценка
воздействия модели...................................................................................................172
3.3. Метрики вероятностных прогнозов (неопределенность
и распределенная точность)......................................................................................173
3.3.1. Квантильные и интервальные метрики......................................................174
3.3.2. Распределительные оценки (CRPS и расширения)....................................175
3.4. Временной паттерн и метрики формы..............................................................180
3.5. Иерархические и групповые метрики прогнозов.............................................184
3.6. Использование прогнозируемости для информационных метрик
и моделей....................................................................................................................186
3.7. Агрегация метрик по горизонтам прогнозов и временны́м рядам.................189
3.7.1. Агрегация по горизонтам.............................................................................189
3.7.2. Агрегация по нескольким рядам..................................................................189
3.7.3. Агрегация вероятностных прогнозов..........................................................190
3.7.4. Резюме...........................................................................................................191
3.8. Фреймворк для выбора метрик на практике.....................................................191
3.8.1. StatsForecast от группы разработчиков Nixtla............................................194
3.9. Расширенные и новые метрики..........................................................................196
3.10. Справочная информация по характеристикам метрик: выбор метрик
по свойствам...............................................................................................................200
3.11. Краткое руководство по выбору метрик..........................................................201
3.12. Резюме по главе.................................................................................................202
Глава 4. Моделирование ARIMA: теория, практика
и расширенные методики..................................................................................205
4.1. Введение...............................................................................................................206
4.2. Модели ARIMA и методология Бокса–Дженкинса.............................................208
4.2.1. Компоненты авторегрессии (AR) и скользящего среднего (MA)...............209
4.2.2. Дифференцирование и интегрированный (I) компонент.........................210
4.2.3. Понимание сущности моделей ARIMA(p, d, q)............................................211
4.2.4. Часто используемые конфигурации ARIMA и их интерпретации............214
4.2.5. Методика Бокса–Дженкинса........................................................................215
4.2.6. Примеры реализации на языке Python.......................................................218
4.2.7. Использование ACF/PACF в методологии Бокса–Дженкинса.....................219
4.2.8. Дополнительные условия.............................................................................219
4.2.9. Определение, формула и предпосылки для модели ARIMA......................224
4.2.10. Сезонная модель ARIMA (SARIMA)............................................................231
4.2.11. Обзор преобразования Бокса–Кокса.........................................................237
4.2.12. ARIMAX и другие расширения...................................................................243
4.3. AutoARIMA............................................................................................................244
4.4. Сравнение реализаций AutoARIMA на Python, R и Julia...................................258
4.4.1. Реализации на Python...................................................................................259
4.4.2. Реализации в среде R....................................................................................263
4.4.3. Реализации ARIMA на языке Julia................................................................267
4.4.4. Реализации ARIMA на основе языка Rust...................................................268
4.5. Сравнительные оценки эффективности и точности.........................................269
4.6. Интуитивное понимание и исторические заметки о модели ARIMA..............271
4.7. Сравнение моделей: AutoARIMA и вручную определяемая SARIMA...............273
4.7.1. Общие итоги теста Диболда–Мариано (Diebold–Mariano Test).................275
4.8. Сравнение моделей – автоматической и выбранной вручную SARIMA
(StatsForecast и Statsmodels)......................................................................................277
4.8.1. Таблица подробного сравнения моделей...................................................277
4.8.2. Интерпретация результатов........................................................................278
4.8.3. Общий вывод и рекомендации....................................................................281
4.8.4. Компромиссы: статистическое соответствие и интерпретируемость......282
4.9. Практическое руководство по выбору модели ARIMA......................................284
4.9.1. Рабочий процесс итеративного выбора модели ARIMA............................284
4.9.2. Типовые характеристики ARIMA и варианты использования..................286
4.10. Резюме и выводы по содержанию главы..........................................................287
Глава 5. Прогнозирование с использованием экспоненциального
сглаживания – от основ к моделям пространства состояний...............288
5.1. Введение и обоснование.....................................................................................290
5.1.1. Почему именно экспоненциальное сглаживание?.....................................290
5.1.2. Варианты использования из реальной практики......................................291
5.1.3. Когда следует использовать экспоненциальное сглаживание..................291
5.1.4. Механизмы экспоненциально убывающих весов......................................291
5.1.5. История развития: от Брауна до Винтерса..................................................294
5.1.6. От эвристики к статистической основе.......................................................302
5.1.7. Самые последние инновации: не только классические формы................308
5.2. Основные модели экспоненциального сглаживания: механизмы
и обоснование.............................................................................................................312
5.2.1. Простое экспоненциальное сглаживание (SES)..........................................313
5.2.2. Метод линейного тренда Холта (двойное экспоненциальное
сглаживание)..........................................................................................................315
5.2.3. Метод Холта–Винтерса (тройное экспоненциальное сглаживание)........319
5.2.4. Метод Холта–Винтерса с мультипликативной сезонностью.....................321
5.2.5. Модификации с демпфированным трендом..............................................323
5.2.6. Неопределенность прогноза и интервалы прогнозирования...................328
5.2.7. Практические рекомендации по использованию основных моделей......330
5.3. Что в действительности делают современные библиотеки поддержки
прогнозирования........................................................................................................333
5.4. Прогнозирование с использованием подогнанных ETS-моделей...................338
5.5. Взаимосвязи и сравнение с моделями ARIMA...................................................340
5.5.1. Области пересечения и различающиеся теоретические
основополагающие принципы..............................................................................340
5.5.2. Схожесть ETS-моделей с моделями ARIMA (линейная связь)...................341
5.5.3. ETS-модели, не имеющие эквивалентов ARIMA: нелинейная
и комплексная связь..............................................................................................342
5.5.4. Выводы по эффективности прогнозирования...........................................343
5.5.5. Вывод эквивалентов ARIMA из линейных ETS-моделей...........................345
5.5.7. Замечания об условиях равнозначности.....................................................345
5.5.8. Основы: стационарность во временны́х рядах...........................................346
5.5.9. Модели ARIMA: обеспечение стационарности с помощью
вычисления разностей...........................................................................................346
5.5.10. Сравнение обработки нестационарности в ETS и ARIMA........................351
5.5.11. Когда следует использовать ETS, а когда ARIMA: практические
рекомендации........................................................................................................352
5.6. Исторический и теоретический контекст разработки......................................354
5.7. Сравнительный анализ библиотек поддержки экспоненциального
сглаживания на языках Python, R, Julia и Rust..........................................................356
5.7.1. Реализации метода экспоненциального сглаживания на языке Python....356
5.8. Сравнение моделей и оценок прогноза: ETS и ARIMA......................................388
5.8.1. Общий обзор результатов............................................................................391
5.8.2. Модель SARIMA, определенная вручную....................................................392
5.8.3. Эффективность AutoETS...............................................................................394
5.8.4. Эффективность модели AutoARIMA............................................................395
5.8.5. Визуальное сравнение прогнозов...............................................................395
5.8.6. Выводы..........................................................................................................396
5.9. Резюме..................................................................................................................397
Глава 6. Современная оценка эффективности прогнозирования
временны́х рядов..................................................................................................399
6.1. Введение: необходимость надежной оценки прогнозирования......................400
6.2. Основные концепции надежного прогнозирования.........................................401
6.2.1. Принципы строгой оценки: научный подход к анализу прогнозов...........403
6.2.2. Качество данных: стратегии обработки выбросов, отсутствующих
значений и шума....................................................................................................405
6.2.3. Устойчивые функции потерь для оценки прогноза...................................409
6.3. Стабильность прогноза при прогнозировании временны́х рядов :
модели, метрики и промышленные перспективы...................................................411
6.3.1. Промышленные перспективы в отношении стабильности прогнозов....412
6.3.2. Характеристики стабильности различных моделей прогнозирования...417
6.3.3. Измерение и мониторинг стабильности прогнозов..................................422
6.3.4. Улучшение стабильности прогнозов: наилучшие практические
методики.................................................................................................................425
6.3.5. Оперативные последствия нестабильности прогнозов и меры
по ее снижению......................................................................................................428
6.4. Выявление дрейфа в прогнозировании: освоение динамичной среды..........430
6.4.1. Обнаружение ковариантного дрейфа (входных данных)..........................430
6.4.2. Обнаружение концептуального дрейфа по остаткам................................436
6.4.3. Ответная реакция на дрейф: стратегии адаптации модели......................445
6.4.4. Сравнение моделей при временнóй агрегации (устойчивость
к гранулярности)....................................................................................................449
6.5. Перекрестная проверка со скользящей исходной точкой (пошаговая
проверка).....................................................................................................................452
6.6. Блочная перекрестная проверка.........................................................................453
6.7. Продвинутые методики для зависимых данных: очистка и наложение
запрета........................................................................................................................454
6.7.1. Сравнительный анализ методов перекрестной проверки на основе
времени...................................................................................................................456
6.7.2. Компромисс смещение–дисперсия в схемах перекрестной проверки.....456
6.8. Расширенное сравнение моделей и методик выбора.......................................458
6.8.1. Статистические тесты для сравнения прогнозов.......................................459
6.9. Резюме и выводы по содержанию главы............................................................471
Глава 7. Инженерия признаков для прогнозирования
временны́х рядов..................................................................................................473
7.1. Введение в инженерию признаков для временны́х рядов................................473
7.1.1. Почему инженерия признаков является основой для
прогнозирования временны́х рядов.....................................................................474
7.1.2. Что мы будем изучать в этой главе..............................................................474
7.2. Статистические признаки и признаки распределений.....................................476
7.2.1. Глобальная сводная статистика....................................................................477
7.2.2. Скользящие признаки и признаки на основе окон....................................478
7.2.3. Признаки распределений и связанные с хвостами признаки...................480
7.2.4. Надежные статистические дескрипторы и моменты высшего порядка.....481
7.2.5. Приложения и стратегическое использование...........................................482
7.3. Временные и автокорреляционные признаки...................................................483
7.3.1. Лаговые признаки.........................................................................................484
7.3.2. Разностные признаки...................................................................................486
7.3.3. Признаки на основе автокорреляции..........................................................489
7.4. Признаки диапазона частот и спектральные признаки....................................492
7.4.1. Преобразование Фурье и коэффициенты БПФ...........................................492
7.4.2. Вейвлет-преобразования..............................................................................497
7.4.3. Приложения и стратегическое использование...........................................498
7.4.4. Наилучшие практические методики для спектральной инженерии
признаков...............................................................................................................499
7.4.5. Оценка спектральной плотности и пиков периодограмм.........................499
7.5. Признаки на основе формы и паттернов...........................................................503
7.5.1. Динамическая трансформация времени.....................................................503
7.5.2. Расстояние, инвариантное относительно сложности.................................506
7.5.3. Обнаружение повторяющихся фрагментов с использованием
профиля разреженной матрицы...........................................................................509
7.5.4. Шейплеты и символьные представления....................................................512
7.5.5. Символьные представления (SAX)...............................................................514
7.5.6. Распознавание режимов и кластеризация
подпоследовательностей.......................................................................................516
7.5.7. Использование энтропии для конструирования признаков
для прогнозирования.............................................................................................517
7.5.8. Показатель Хёрста и фрактальные индикаторы.........................................520
7.5.9. Показатели Ляпунова и хаотические системы............................................522
7.5.10. Резюме: энтропия, память и сложность в прогнозировании..................524
7.6. Признаки на основе декомпозиции....................................................................525
7.6.1. Обзор методов декомпозиции.....................................................................525
7.6.2. STL: декомпозиция сезонность–тренд, использующая LOESS..................526
7.6.3. Сингулярный спектральный анализ SSA: подробно о теоретическом
обосновании, источниках и полезности для прогнозирования.........................529
7.6.4. Метод разложения сигнала на эмпирические моды EMD..........................537
7.6.5. Преобразование Фурье, вейвлет-преобразование и EMD:
предпосылки и различия.......................................................................................542
7.6.6. Декомпозиция по вариационным модам VMD...........................................543
7.6.7. Замечания по реализации............................................................................545
7.6.8. Сравнительный обзор методов декомпозиции..........................................545
7.7. Вложенные признаки и признаки представления.............................................546
7.7.1. Вложения с задержкой по времени (теорема Такенса)...............................547
7.7.2. Представления на основе изображений......................................................551
7.7.3. Поле перехода Маркова MTF.........................................................................553
7.7.4. Позиционное кодирование для трансформеров.........................................555
7.7.5. Резюме............................................................................................................558
7.8. Обучение представлениям данных временны́х рядов: TS2Vec и TS-TCC........558
7.9. Многомерные и причинно-следственные признаки.........................................561
7.9.1. Признаки взаимной корреляции (кросс-корреляции)...............................561
7.9.2. Взаимная информация.................................................................................562
7.9.3. Коинтеграция................................................................................................562
7.9.4. Причинность по Грейнджеру........................................................................562
7.9.5. Энтропия переноса.......................................................................................563
7.9.6. Резюме...........................................................................................................565
7.10. Календари событий, праздничных и выходных дней.....................................565
7.10.1. Пометка событий скользящего окна с использованием библиотеки
pandas........................................................................................................................566
7.11. Признаки устойчивости и признаки на основе шума.....................................568
7.12. Хаотические и нелинейно динамические признаки.......................................569
7.12.1. Рекуррентный количественный анализ RQA............................................569
7.12.2. Наибольший показатель Ляпунова LLE.....................................................570
7.12.3. Метрики бифуркации.................................................................................570
7.12.4. Практическое применение.........................................................................570
7.13. Стратегии определения горизонта прогноза и инженерия признаков..........571
7.14. Неконтролируемые и основанные на автокодировании признаки...............572
7.15. Наборы признаков, специфических для предметной области.......................573
7.16. Экосистема инструментальных средств и проектирование конвейера.........575
7.17. Наилучшие практические методики для реализации.....................................577
7.18. Методы определения целей прогнозирования................................................579
7.19. Резюме и перспективные направления............................................................579
7.20. Ссылки на реализации и библиотеки...............................................................581
Глава 8. Расширенное машинное обучение
для прогнозирования временны́х рядов.....................................................582
8.1. Ограничения классических методов..................................................................584
8.2. Современное конструирование признаков для временны́х рядов..................588
8.2.1. Теоретические основы..................................................................................588
8.2.2. Информационно-теоретический лаг и выбор признаков.........................601
8.3. Расширенная инженерия признаков для прогнозирования временны́х
рядов : методики, наилучшие практические методы и практические
приложения.................................................................................................................603
8.3.1. Чрезвычайно важная роль конструирования признаков
в прогнозировании временны́х рядов..................................................................603
8.3.2. Основные временны́е признаки: лаги и окна............................................605
8.3.3. Кодирование времени: календарные и сезонные признаки.....................615
8.3.4. Учет многомасштабной динамики..............................................................622
8.3.5. Вейвлет-признаки и сверточные признаки для обработки
многомасштабной временнóй динамики............................................................627
8.3.6. Включение категориальной и статической информации.........................630
8.3.7. Робастность и надежность: обработка аномалий в данных.......................636
8.3.8. Безусловная необходимость проверки с учетом временны́х
факторов и предотвращения утечек.....................................................................640
8.3.9. Резюме: высокая эффективность хорошо информированного
конструирования признаков.................................................................................644
8.4. Обнаружение тренда и моделирование для временны́х рядов........................646
8.4.1. Статистические методы для обнаружения тренда.....................................646
8.4.2. Деревья решений с градиентным бустингом для обработки
трендовых данных.................................................................................................649
8.4.3. Предварительная обработка трендов и восстановление после
прогнозирования...................................................................................................652
8.4.4. Практические рекомендации по бустингу для временных рядов:
прогнозирование на основе декомпозиции........................................................655
8.4.5. Подкрепление на основе более широкой практики
прогнозирования: стационарность, декомпозиция и проектирование
моделей...................................................................................................................658
8.5. Сезонность во временны́х рядах: обнаружение, проверка и обработка
с использованием моделей машинного обучения...................................................661
8.5.1. Обнаружение и проверка сезонности.........................................................662
8.5.2. Учет сезонности в моделях машинного обучения......................................664
8.5.3. Обнаружение гибридной и ансамблевой сезонности................................665
8.5.4. Резюме...........................................................................................................665
8.6. Кластеризация в прогнозировании временны́х рядов.....................................666
8.7. Градиентный бустинг для прогнозирования временны́х рядов.......................670
8.7.1. Основы: процесс итеративной коррекции..................................................670
8.8. Ограничения деревьев решений с градиентным бустингом и стратегии
их устранения для прогнозирования временны́х рядов.........................................674
8.9. Глобальные модели машинного обучения.........................................................679
8.10. Методы реализации...........................................................................................681
8.10.1. Слияние данных: от широкого формата к длинному...............................681
8.11. Режимы отказов в деревьях решений с градиентным бустингом (GBDT).....685
8.11.1. Введение......................................................................................................685
8.11.2. Почему GBDT испытывают трудности с долгосрочными
временны́ми зависимостями................................................................................685
8.11.3. Теоретическое обоснование: отсутствие памяти или
последовательного моделирования......................................................................686
8.11.4. Практическое подтверждение отказов, связанных
с долгосрочными зависимостями.........................................................................689
8.11.5. Другие режимы отказов GBDT-моделей в различных вариантах
использования........................................................................................................690
8.12. Резюме................................................................................................................696
Глава 9. Глубокое обучение для прогнозирования временны́х
рядов.........................................................................................................................698
9.1. Введение: от классического до глубокого прогнозирования временны́х
рядов............................................................................................................................699
9.1.1. Основы прогнозирования: от ARIMA до нейронных сетей.......................699
9.1.2. Начало применения методов глубокого обучения в прогнозировании....700
9.1.3. Почему в этой главе не рассматриваются трансформеры.........................700
9.1.4. Промышленные эталонные тесты и возврат к простоте...........................701
9.1.5. Индуктивное смещение и его взаимосвязь со статистической
теорией обучения...................................................................................................702
9.1.6. Как организована эта глава..........................................................................706
9.2. Рекуррентные нейронные сети: LSTM, GRU, DeepAR и DeepState....................707
9.2.1. История развития и эмпирическая оценка рекуррентных
нейронных сетей, используемых для прогнозирования временны́х рядов......707
9.2.2. Практическая эффективность моделей прогнозирования на основе
RNN..........................................................................................................................709
9.2.3. Почему именно рекуррентность? Память, состояние
и последовательные зависимости.........................................................................711
9.2.4. Архитектура LSTM и формулы обновления................................................711
9.2.5. Управляемые рекуррентные блоки с вентилями GRU...............................712
9.2.6. DeepAR...........................................................................................................713
9.2.7. DeepState: гибрид RNN + пространство состояний.....................................715
9.2.8. Компромиссы рекуррентных архитектур...................................................716
9.2.9. Разбор кода: простая модель прогнозирования LSTM...............................716
9.3. Сверточные нейронные сети для прогнозирования временны́х рядов :
историческое развитие..............................................................................................717
9.3.1. Первые шаги в применении одномерной свертки к временны́м
данным (1980–2000 гг.)..........................................................................................717
9.3.2. Архитектурные нововведения: TCN, LSTNet и гибридные модели
(2017–2019 гг.).........................................................................................................719
9.3.3. Современные достижения и внедрение в промышленность
(2020-е гг.)...............................................................................................................720
9.3.4. Сравнение практической эффективности CNN и RNN: оценки Бая
и др. (2018 г.)...........................................................................................................721
9.3.5. Резюме...........................................................................................................721
9.4. Многослойные перцептроны для прогнозирования временны́х рядов :
N-Beats, N-HiTS, DLinear, TSMixer..............................................................................722
9.4.1. N-Beats: базисное разложение для прогнозирования...............................722
9.4.2. N-HiTS: иерархическая интерполяция для временнóго масштаба...........724
9.4.3. NLinear: упрощенная линейная базовая модель........................................726
9.4.4. DLinear: минималистичная декомпозиция и проекция............................728
9.4.5. TSMixer: смешивание MLP для временны́х рядов......................................730
9.4.6. TimesNet: временны́е сверточные нейронные сети, учитывающие
частоту ....................................................................................................................732
9.4.7. TiDE: кодировщик уплотнения временны́х рядов......................................734
9.4.8. SOFTS: слияние рядов в общее ядро для многомерного
прогнозирования...................................................................................................736
9.4.9. Сводная таблица: где каждая модель превосходит остальные..................738
9.4.10. MLPMultivariate: полносвязное прогнозирование для групп
(панелей).................................................................................................................739
9.4.11. StemGNN: структурированное прогнозирование с использованием
графовых нейронных сетей...................................................................................741
9.4.12. TimeMixer: многомасштабное смешивание с возможностью
декомпозиции для прогнозирования временны́х рядов....................................743
9.5. Гибридные и модульные архитектуры: классические + нейронные
методы.........................................................................................................................745
9.5.1. ES-RNN: экспоненциальное сглаживание + рекуррентная нейросеть......745
9.5.2. DeepState: прогнозирование с использованием пространства
состояний и обучаемой динамики........................................................................747
9.5.3. NeuralProphet: интерпретируемое прогнозирование временны́х
рядов.......................................................................................................................748
9.5.4. AR-Net: обучающие авторегрессионные модели с использованием
MLP..........................................................................................................................750
9.5.5. Варианты использования.............................................................................751
9.6. Новейшие архитектуры без механизмов внимания:
Mamba и диффузионные модели...............................................................................752
9.6.1. Mamba: моделирование последовательности с использованием
пространства состояний........................................................................................752
9.6.2. Диффузионные модели для прогнозирования временны́х рядов............753
9.7. Анализ эффективности по категориям моделей...............................................754
9.7.1. Сравнение моделей глубокого обучения с обычными
статистическими моделями..................................................................................754
9.7.2. Сравнение моделей глубокого обучения с обычными моделями
машинного обучения.............................................................................................755
9.7.3. Теорема «бесплатных обедов не бывает» в прогнозировании..................756
9.8. Роль гибридных моделей в прогнозировании...................................................757
9.8.1. Репрезентативные гибридные архитектуры..............................................757
9.8.2. Почему гибридные модели так важны........................................................758
9.8.3. Варианты использования для конкретных предметных областей...........758
9.8.4. Резюме...........................................................................................................758
Глава 10. Трансформеры для прогнозирования временны́х рядов.....760
10.1. Введение.............................................................................................................762
10.2. Основы и важные разработки...........................................................................764
10.2.1. Модели на основе трансформеров для прогнозирования
временны́х рядов...................................................................................................764
10.2.2. Упрощенные модели и классические базовые модели............................766
10.3. Критический анализ опубликованных результатов........................................768
10.3.1. Отсутствие сильных базовых моделей......................................................769
10.3.2. Предвзято выбранные наборы данных и метрики...................................770
10.3.3. Сравнение метабенчмарков.......................................................................773
10.3.4. Компромиссы по масштабированию, сложности и эффективности.......775
10.4. Обсуждение........................................................................................................777
10.4.1. Почему трансформеры испытывают трудности при обработке
временны́х рядов...................................................................................................777
10.4.2. Новые альтернативные решения для использования
трансформеров в прогнозировании временны́х рядов......................................779
10.5. Самые современные архитектуры трансформеров для
прогнозирования временны́х рядов.........................................................................782
10.5.1. Трансформеры, занявшие высокие места в таблице результатов
эталонных тестов...................................................................................................782
10.5.2. PatchTST: независимый от канала патчинг в трансформерах................784
10.5.3. TimeXer: усиленные трансформеры для прогнозирования
временны́х рядов с внешними переменными.....................................................787
10.5.4. Crossformer: механизм внимания по измерениям для
многомерного прогнозирования..........................................................................789
10.5.5. TFT: трансформер временнóго слияния для интерпретируемого
прогнозирования с несколькими горизонтами...................................................791
10.5.6. Scaleformer: итеративное многомасштабное улучшение для
прогнозирования с длинным горизонтом...........................................................794
Глава 11. Базовые и большие языковые модели
для прогнозирования временны́х рядов.....................................................797
11.1. Что такое базовые модели для временны́х рядов............................................798
11.2. Самые значимые базовые модели для временны́х рядов...............................800
11.2.1. Лучшие базовые модели из таблицы GIFT-Eval........................................800
11.2.2. Chronos: обучение языку временны́х рядов.............................................801
11.2.3. Sundial: генеративные базовые модели для временны́х рядов...............803
11.2.4. Moirai-MoE: разреженная маршрутизация «смеси экспертов»
для эффективного прогнозирования....................................................................805
11.2.5. Toto: оптимизированный трансформер временны́х рядов
для обеспечения наблюдаемости..........................................................................807
11.2.6. TimeGPT: коммерческое прогнозирование с использованием
предварительно обученного API...........................................................................809
Список литературы...............................................................................................812
Предметный указатель........................................................................................826