Информатика и искусственный интеллект: учебник для 10–11 классов

Q-learning учится на отдельных переходах, не зная таблицу вероятностей среды. Actor–critic решает другую задачу разделением труда: actor меняет поведение, critic оценивает, оказалось ли действие лучше ожидания.

Один переход вместо полной модели

В марковском процессе решений итерация ценности использовала сумму по всем $s'$ с известными $P(s'\mid s,a)$ . Робот в настоящем коридоре такой таблицы не имеет. Он видит один опыт:

(s_t,a_t,r_{t+1},s_{t+1}).

Q-learning строит оценку оптимальной ценности действия. Беллмановская цель для наблюдаемого перехода

y_t=r_{t+1}+\gamma\max_{a'}Q(s_{t+1},a').

Ошибка временной разности

\delta_t=y_t-Q(s_t,a_t)

обновляет ячейку:

Q(s_t,a_t)\leftarrow Q(s_t,a_t)+\alpha_t\delta_t.

Если переход оказался лучше текущего ожидания, $\delta_t>0$ и ценность растёт. Если хуже — падает. Мы подставляем одну случайную реализацию вместо математического ожидания, поэтому обновления шумны, но в среднем направлены к уравнению Беллмана.

Цепочка состояний с наградами и последовательными обновлениями ценности — Рис. 71.1. TD-ошибка переносит новость назад
Цель впервые достигнута справа. В первом эпизоде положительная TD-ошибка возникает у последнего перехода; в следующих эпизодах сигнал распространяется к более ранним состояниям. Толщина стрелок соответствует $Q(s,a)$ , цвет — знаку последнего обновления.

Off-policy: действуем одним правилом, учим другое

Поведение может быть $\varepsilon$ -жадным, но цель содержит $\max_{a'}Q(s',a')$ . Поэтому Q-learning оценивает жадную target-policy, хотя данные собраны исследующей behavior-policy. Это называется off-policy.

SARSA использует реально выбранное следующее действие:

Q(s_t,a_t)\leftarrow Q(s_t,a_t)+ \alpha\left[ r_{t+1}+\gamma Q(s_{t+1},a_{t+1})-Q(s_t,a_t) \right].

В опасной сетке разница видима. Q-learning оценивает идеальное жадное продолжение и может выбрать путь рядом с обрывом. SARSA учитывает, что $\varepsilon$ -исследование иногда сделает случайный шаг, поэтому предпочитает запас безопасности.

Исследование нельзя выключить слишком рано

Жадная policy

\pi(s)=\arg\max_a Q(s,a)

использует текущие знания, но не исправляет неизвестные ячейки. $\varepsilon$ -greedy случайно исследует действия. Для теоретической сходимости табличного Q-learning нужны убывающие шаги и бесконечные посещения всех пар $(s,a)$ :

\sum_t\alpha_t(s,a)=\infty,\qquad \sum_t\alpha_t^2(s,a)<\infty.

В конечном опыте это превращается в инженерный компромисс. Быстрое уменьшение $\varepsilon$ фиксирует ранние ошибки; постоянное $\varepsilon$ не даёт policy успокоиться. Можно отдельно оценивать поведение без исследования.

Лаборатория Q и critic

В табличном режиме следите, как положительная награда распространяется назад. Поменяйте $\alpha$ : слишком малая делает обучение медленным, слишком большая заставляет таблицу повторять последний шумный опыт.

В режиме actor–critic зафиксируйте одну траекторию и сравните знак advantage с изменением вероятности действия. Затем увеличьте шум critic. Actor начинает усиливать случайные действия, потому что принимает ошибку оценки за свидетельство.

От таблицы к функции

Для изображения или непрерывного состояния таблица невозможна. Заменим её нейросетью $Q_\theta(s,a)$ и минимизируем

\mathcal L(\theta)= \mathbb E\left[ \bigl(r+\gamma\max_{a'}Q_{\bar\theta}(s',a') -Q_\theta(s,a)\bigr)^2 \right].

Target-сеть с параметрами $\bar\theta$ обновляется медленнее основной, а replay buffer перемешивает прошлые переходы. Без этих приёмов цель менялась бы одновременно с предсказанием, а соседние наблюдения были бы сильно коррелированы.

Однако комбинация аппроксимации функции, bootstrap-цели и off-policy данных может расходиться. Её называют deadly triad. Нейросеть не превращает уравнение в автоматически устойчивый алгоритм.

Поток перехода через replay buffer, Q-сеть и target-сеть — Рис. 71.2. Почему DQN разделяет текущую и целевую сети
Переход из среды попадает в буфер. Текущая сеть вычисляет $Q_\theta(s,a)$ , замороженная target-сеть — bootstrap-часть цели. Пунктирная стрелка показывает периодическое копирование параметров; отсутствие прямого градиента через target подчёркнуто знаком остановки.

Actor–critic: оценка помогает действию

Пусть actor задаёт дифференцируемую стратегию $\pi_\phi(a\mid s)$ , а critic оценивает $V_\psi(s)$ . TD-ошибка

\delta_t=r_{t+1}+\gamma V_\psi(s_{t+1})-V_\psi(s_t)

служит приближением advantage: насколько действие оказалось лучше обычного результата из $s_t$ . Обновление actor имеет направление

\phi\leftarrow\phi+ \eta\,\delta_t\nabla_\phi\log\pi_\phi(a_t\mid s_t).

При положительной $\delta_t$ вероятность выбранного действия растёт; при отрицательной — падает. Critic обучается уменьшать квадрат TD-ошибки. Baseline $V(s)$ не меняет ожидаемый policy gradient, но уменьшает дисперсию.

Для дискретных действий actor часто выдаёт softmax. Энтропийный бонус

\mathcal H(\pi(\cdot\mid s)) =-\sum_a\pi(a\mid s)\log\pi(a\mid s)

не даёт распределению слишком рано схлопнуться. Позже идеи ограничения обновления появятся в PPO.

A2C по шагам

Один цикл advantage actor–critic:

сэмплировать действие $a_t\sim\pi_\phi(\cdot\mid s_t)$ ;
получить $r_{t+1},s_{t+1}$ ;
вычислить $\delta_t$ ;
обновить critic по $\delta_t^2$ ;
обновить actor по $\delta_t\log\pi_\phi(a_t\mid s_t)$ ;
добавить энтропийный бонус и повторить.

На практике используют несколько параллельных сред и $n$ -шаговые возвраты:

G_t^{(n)}= \sum_{k=0}^{n-1}\gamma^kr_{t+k+1} +\gamma^nV(s_{t+n}).

Малое $n$ даёт больше bias от critic и меньше дисперсию; большое приближается к Monte Carlo и сильнее шумит. Это знакомый компромисс смещения и дисперсии.

Offline-ловушка

Предположим, есть журнал старой policy, а взаимодействовать со средой нельзя. Q-learning берёт максимум по действиям, даже если некоторые почти отсутствуют в данных. Аппроксиматор способен назначить им случайно высокие значения; bootstrap затем усиливает ошибку. Это extrapolation error.

Безопасные offline RL-методы штрафуют действия вне поддержки данных или требуют консервативных оценок. Но сначала стоит спросить, нужен ли RL: если каждое решение независимо, достаточно контекстного бандита; если есть хорошие метки результата для фиксированного действия, возможно, хватит supervised learning.

Реальный кейс: батарея здания

В CityLearn агент управляет накопителем. Состояние включает заряд, час, текущую нагрузку и погодный прогноз. Награда может штрафовать стоимость электричества и пиковую мощность. Для actor–critic действие удобно сделать непрерывным: доля максимальной мощности заряда от $-1$ до $1$ .

Проверка должна включать несколько погодных лет и baseline из урока о MDP. Отчёт содержит не только reward, но и:

стоимость и пик нагрузки;
число нарушений физических ограничений;
деградацию при ошибке прогноза;
разброс по seed;
кривые обучения и качество окончательной policy без exploration noise.

Траектории заряда батареи, истинный и оценённый advantage, изменение policy — Рис. 71.3. Critic ошибается — actor расплачивается
Вверху показаны тариф и заряд, в центре — истинный по симулятору advantage и оценка critic, внизу — вероятность разряда. В выделенном интервале critic меняет знак преимущества, actor усиливает неверное действие, что позже создаёт дорогой пик.

Мини-исследование: увидеть переоценку максимума

Даже если все оценки $Q(s',a')$ несмещённы, максимум шумных чисел обычно завышен:

\mathbb E\max_a\widehat Q_a \ge \max_a\mathbb E\widehat Q_a.

Проверьте это на одном состоянии с десятью действиями, истинная ценность каждого равна нулю, а оценка содержит независимый шум $\mathcal N(0,\sigma^2)$ . Для $\sigma=0{,}1,0{,}5,1$ сгенерируйте сто тысяч наборов и найдите средний максимум. Чем больше действий, тем сильнее эффект.

В Q-learning этот завышенный максимум входит в bootstrap target и может переноситься назад. Double Q-learning разделяет выбор и оценку:

y=r+\gamma Q_{\bar\theta}\left( s', \arg\max_aQ_\theta(s',a) \right).

Одна сеть выбирает действие, другая оценивает его, поэтому один и тот же положительный шум реже используется дважды.

Сравните обычный и double вариант в маленьком MDP с шумными наградами. Помимо среднего возврата покажите калибровку $Q$ против Monte Carlo returns. Этот опыт связывает RL с ensemble и неопределённостью: высокая оценка действия может быть следствием операции максимума, а не реального преимущества.

Добавьте distributional срез. В двух действиях одинаковое среднее, но первое почти всегда даёт ноль и редко $+10$ , второе стабильно даёт $+1$ . Обычный $Q$ различает только ожидание. Если задача штрафует риск, состояние должно включать ограничение или objective должен учитывать quantile/CVaR.

Постройте empirical return distributions и покажите, почему фраза «ценность равна единице» скрывает форму исходов. В управлении батареей редкое нарушение может быть важнее малой средней экономии.

Проведите ablation replay buffer. Обучите DQN на последовательных переходах и на случайных mini-batches из того же журнала. Сравните корреляцию соседних targets, oscillation loss и final return. Затем уменьшите buffer настолько, чтобы он почти не разрушал зависимость, и увеличьте до режима, где старые данные задерживают адаптацию.

Buffer одновременно стабилизирует обучение и меняет распределение опыта. При non-stationary среде слишком длинная память становится liability. Поэтому размер связывают с временным масштабом изменения, а не выбирают как магическое число.

От перехода к устойчивой политике

Q-learning переносит уравнение Беллмана в поток наблюдаемых переходов. Actor–critic отделяет выбор действия от оценки продолжения. Оба метода учатся из собственных данных, поэтому исследование, поддержка действий и честная оценка важнее красивой финальной кривой. Стабильность нейросетевого RL достигается архитектурой эксперимента, а не одной формулой.

Задачи

3баллов

Для одного нетерминального перехода $(s,a,r,s')$ известны $Q(s,a)=2{,}5$ , $\max_bQ(s',b)=4$ , $Q(s',a')=1$ , $r=-1$ , $\gamma=0{,}95$ , $\alpha=0{,}1$ . По обновлению $Q\leftarrow Q+\alpha[y-Q]$ вычислите цель $y$ , TD-ошибку и новое $Q$ : для Q-learning положите $y=r+\gamma\max_bQ(s',b)$ , для SARSA $y=r+\gamma Q(s',a')$ . Случайности и единиц измерения нет; нужны все шесть чисел с точностью $10^{-3}$ .

4баллов

Цепочка состоит из нетерминальных состояний $s_1\to s_2\to s_3\to s_4$ и терминала $G$ . Единственное действие R детерминировано, награда равна 0, кроме перехода $s_4\to G$ с наградой $+1$ . Инициализируйте все $Q(s_i,R)=0$ и выполните три эпизода с $\gamma=1$ , $\alpha=0{,}5$ , обновляя сохранённые переходы в обратном порядке по формуле $Q\leftarrow Q+\alpha[r+\gamma\max Q(s')-Q]$ . Случайности нет; зачёт требует четыре значения после каждого эпизода и объяснение распространения сигнала.

5баллов

Сетка имеет 5 строк сверху вниз и 8 столбцов слева направо; старт $S=(5,1)$ , цель $G=(5,8)$ , обрыв состоит ровно из клеток $(5,2),\ldots,(5,7)$ . Действия U,R,D,L детерминированы, выход за границу оставляет на месте, обычный переход даёт $-1$ , вход в обрыв даёт $-100$ и переносит в $S$ без завершения, вход в $G$ даёт $-1$ и завершает эпизод. Сравните Q-learning и SARSA при $Q_0=0$ , $\alpha=0{,}5$ , $\gamma=1$ , постоянном $\varepsilon=0{,}1$ ; случайное действие равномерно, жадные ничьи разрешаются порядком U,R,D,L. Для каждого алгоритма выполните 500 запусков по 500 эпизодов, максимум 1 000 шагов на эпизод, PCG64 seeds $713000+j$ и общие потоки случайных чисел. Зачёт требует средний возврат с 95%-интервалом по запускам и жадный маршрут после обучения.

6баллов

Для softmax-policy $\pi_i=\exp(z_i)/\sum_j\exp(z_j)$ заданы логиты $z=(0{,}2,-0{,}1,0{,}7)$ . Выбрано действие 2, advantage $A=-1{,}5$ , шаг gradient ascent $\eta=0{,}1$ . Вычислите $\pi$ , $\nabla_z\log\pi_2=e_2-\pi$ , градиент $A(e_2-\pi)$ и новые логиты $z'=z+\eta A(e_2-\pi)$ . Случайности и единиц измерения нет; вероятности должны суммироваться в 1 с ошибкой менее $10^{-6}$ , затем объясните изменение всех трёх координат.

7баллов

Эпизод содержит 48 получасов $t=0,\ldots,47$ . Тариф $c_t=4$ руб/кВт·ч при $t<12$ , $12$ при $34\le t<44$ и $7$ иначе; нагрузка $L_t=0{,}8+0{,}4\mathbf1_{14\le t<20} +1{,}0\mathbf1_{34\le t<44}$ кВт·ч. Заряд $q_t\in\{0,\ldots,10\}$ кВт·ч, $q_0=q_{48}=5$ ; действие $a_t=q_{t+1}-q_t\in\{-1,0,1\}$ кВт·ч. При $\eta=0{,}9$ $g_t=L_t+a_t/\eta$ для $a_t\ge0$ и $g_t=L_t+\eta a_t$ для $a_t<0$ ; действие допустимо, если $q_{t+1}\in[0,10]$ , $g_t\ge0$ и $|q_{t+1}-5|\le47-t$ , что гарантирует достижимость $q_{48}=5$ . Награда равна $r_t=-c_tg_t$ ; недопустимые действия маскируются во всех трёх методах. Найдите optimum обратным DP. Q-learning: $Q_0=0$ , $\alpha=0{,}2$ , $\gamma=1$ , $\varepsilon$ линейно падает от 0,2 до 0,01 за 20 000 эпизодов. Табличный actor–critic начинает с нулевых логитов и $V=0$ , использует softmax, $\alpha_\pi=0{,}05$ , $\alpha_V=0{,}1$ , $\gamma=1$ : при $\delta=r+V(s')-V(s)$ обновляйте $V(s)\leftarrow V(s)+\alpha_V\delta$ и $\theta(s)\leftarrow\theta(s)+\alpha_\pi\delta\nabla_\theta\log\pi(a|s)$ в течение 20 000 эпизодов. Для 30 запусков PCG64 seeds 7150–7179 отчитайте рублёвый regret жадной policy относительно DP, эпизод достижения regret не более 1 рубля и недопустимые попытки. Повторите оценку без дообучения после переноса пика тарифа с 34–43 на 26–35.

Q-learning, actor и critic