ИИ и математическая модель: в чём различие

Пять отметок высоты лежат на столе рядом с секундомером. По ним можно восстановить ускорение падения с точностью до сотых. Можно также провести через точки полином с восемью коэффициентами и получить почти нулевую ошибку. Первая формула говорит о силе тяжести, вторая хорошо запоминает опыт. Какая из них лучше? Ответ зависит от вопроса, который мы собираемся задать миру.

Опыт, который помещается в пяти строках

Сразу обозначим происхождение чисел: ниже синтетическая учебная серия, а не протокол реального падения. Она нужна, чтобы весь расчёт МНК можно было проверить карандашом. Время задано сеткой $t_i=(0;0{,}5;1;1{,}5;2)$ с, а высота сгенерирована по правилу

$$h_i=\operatorname{round}_{0{,}01\,\mathrm m} \left( 20-4{,}905t_i^2+0{,}04t_i^3+\varepsilon_i \right),$$

где зафиксированная реализация ошибки при seed 2026 равна

$$(\varepsilon_1,\ldots,\varepsilon_5) =(0;\ 0;\ -0{,}015;\ 0{,}02125;\ 0)\ \mathrm m.$$

Округление до ближайшего сантиметра выполнено после сложения всех членов. Вектор ошибки приведён явно, поэтому таблица воспроизводится без догадок о версии генератора случайных чисел.

номер кадра $i$	1	2	3	4	5
время $t_i$, с	0,00	0,50	1,00	1,50	2,00
высота $h_i$, м	20,00	18,78	15,12	9,12	0,70

В таблице нет слов «тяжесть», «ускорение» и «сопротивление воздуха». Это след опыта, а не объяснение. Из пяти пар чисел можно построить много правил:

$$\widehat h_1(t)=20-4{,}9t^2,$$ $$\widehat h_2(t)=a_0+a_1t+a_2t^2+\dots+a_7t^7,$$ $$\widehat h_3(t)=h_{\mathrm{mechanics}}(t)+r_\theta(t).$$

Первая запись вносит сильную гипотезу о движении. Во второй почти вся форма выбирается по наблюдениям. Третья соединяет понятный механизм с обучаемой поправкой. На измеренном отрезке три кривые могут идти рядом, но отвечают они на разные вопросы.

Если нужно лишь восстановить пропущенный кадр между $t=1$ и $t=1{,}5$ секунды, гибкое правило вполне удобно. Если нужно оценить ускорение свободного падения, коэффициенты полинома почти бесполезны. Если шар заменят парашютом и спросят, что произойдёт после удвоения площади купола, одной близости к прежним точкам недостаточно: модель должна знать, как площадь входит в силу сопротивления.

В первом уроке мы различали фиксированное правило и правило, параметры которого найдены по примерам. Теперь разберём источник самой формы правила. Часть формы может прийти из механики, геометрии или закона сохранения; часть можно подобрать по таблице. Наличие оптимизации само по себе не проводит границу между физикой и машинным обучением.

Между миром и формулой стоят приборы

Высоту шара никто не кладёт в CSV рукой природы. Камера превращает свет в пиксели; алгоритм находит центр шара; калибровочная шкала переводит пиксели в метры; часы камеры приписывают момент; программа округляет число и сохраняет строку. Каждая стрелка в этой цепочке содержит допущение.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Пусть часы камеры отстают на 2%. Тогда записанное время равно $t_{\mathrm{cam}}=0{,}98t_{\mathrm{true}}$. Если подставить его в формулу $h=20-gt^2/2$, оценка ускорения вырастет примерно в $1/0{,}98^2\approx1{,}041$ раза. Ошибка прибора превратится в правдоподобный физический параметр. По одной таблице трудно понять, что именно испорчено: закон, число $g$ или часы.

Другой пример: начало координат высоты сдвинуто на $b$ метров. Если $h_0$ известно независимо, постоянный сдвиг заметен во всех остатках. Если $h_0$ тоже подбирают, два числа начинают компенсировать друг друга. Чем больше свободных параметров, тем легче модели спрятать дефект измерения.

В следующем уроке мы подробно исследуем, как мир становится таблицей. Здесь достаточно зафиксировать правило: модель начинается раньше формулы. Её границы проходят через прибор, протокол опыта, единицы и способ отбора строк.

Короткая формула хранит длинный рассказ

Пренебрежём сопротивлением воздуха и направим ось высоты вверх. Ускорение постоянно и направлено вниз. За промежуток $\Delta t$ скорость меняется на $-g\Delta t$. Поэтому через время $t$

$$v(t)=v_0-gt.$$

График скорости от времени представляет прямую. Перемещение равно площади под этим графиком: прямоугольнику $v_0t$ минус треугольнику с основанием $t$ и высотой $gt$. Отсюда

$$h(t)-h_0=v_0t-\frac{gt^2}{2},$$

или

$$h(t)=h_0+v_0t-\frac{gt^2}{2}.$$

За тремя слагаемыми спрятан рассказ. $h_0$ задаёт выбор начала опыта. Член $v_0t$ сохраняет начальную скорость. Квадратичный член возникает из постоянного ускорения. Мы заранее считаем тело точкой, поле тяжести однородным, а сопротивление воздуха малым. Формула ценна не тем, что коротка, а тем, что каждая часть допускает отдельную проверку.

Размерности выполняют первую проверку:

$$[h_0]=\mathrm m,\qquad [v_0t]=\frac{\mathrm m}{\mathrm s}\,\mathrm s=\mathrm m,\qquad \left[\frac{gt^2}{2}\right] =\frac{\mathrm m}{\mathrm s^2}\,\mathrm s^2=\mathrm m.$$

Складывать метры с секундами нельзя. Если число 500 миллисекунд принять за 500 секунд, квадратичный член вырастет в миллион раз. Проверка размерности не докажет истинность закона, но быстро отбросит множество бессмысленных записей.

Механистическая модель не обязана быть точной или сложной. Формула свободного падения заведомо неполна. Она полезна, пока отброшенные эффекты малы на интересующем масштабе. Идеализация становится опасной не из-за неполноты, а из-за забытой границы применимости.

Один параметр из пяти измерений

В нашем опыте $h_0=20$ м и $v_0=0$. Неизвестным оставим $g$. Перепишем формулу так, чтобы неизвестное входило линейно. Введём

$$z_i=\frac{t_i^2}{2},\qquad d_i=h_0-h_i.$$

Тогда модель говорит $d_i\approx gz_i$. Для пяти строк получаем:

$i$	$t_i$	$z_i=t_i^2/2$	$d_i=20-h_i$
1	0,00	0,000	0,00
2	0,50	0,125	1,22
3	1,00	0,500	4,88
4	1,50	1,125	10,88
5	2,00	2,000	19,30

Ни одно значение $g$ не обязано пройти через все строки: измерения округлены, воздух не исчез, камера шумит. Выберем число, при котором мала сумма квадратов расхождений:

$$Q(g)=\sum_{i=1}^{5}(d_i-gz_i)^2.$$

Раскроем скобки и соберём степени $g$:

$$Q(g)= \sum_i d_i^2 -2g\sum_i z_id_i +g^2\sum_i z_i^2.$$

Это парабола по переменной $g$. Её можно привести к полному квадрату:

$$Q(g)= \left(\sum_i z_i^2\right) \left( g-\frac{\sum_i z_id_i}{\sum_i z_i^2} \right)^2 +\sum_i d_i^2 -\frac{\left(\sum_i z_id_i\right)^2}{\sum_i z_i^2}.$$

Последние два слагаемых от $g$ не зависят. Коэффициент перед квадратом положителен, если хотя бы одно $t_i\ne0$. Минимум достигается при

$$\widehat g= \frac{\sum_i z_id_i}{\sum_i z_i^2}.$$

Подставим числа:

$$\sum_i z_id_i=53{,}4325,\qquad \sum_i z_i^2=5{,}53125,$$ $$\widehat g= \frac{53{,}4325}{5{,}53125} \approx9{,}6601\ \mathrm{m\,s^{-2}}.$$

Мы получили формулу оценки без программного оптимизатора. Данные выбрали число $\widehat g$, но квадратичная зависимость от времени, знак и размерность были заданы до вычисления. Это калибровка физической модели через данные.

Почему именно квадрат

Абсолютные отклонения, квадраты и максимальная ошибка отвечают разным инженерным предпочтениям. Квадрат удобен здесь по трём причинам. Он не даёт положительным и отрицательным остаткам взаимно уничтожиться, сильнее штрафует большие отклонения и приводит к явной формуле для $\widehat g$.

У квадрата есть цена. Один грубый сбой камеры может перевесить десятки точных кадров. Если последняя высота по ошибке записана как 7,0 м вместо 0,70 м, её остаток станет огромным, а оценка $g$ заметно сдвинется. Поэтому выбор потерь связан с представлением об ошибках измерения.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Для найденного $\widehat g$ прогнозы и остатки $r_i=h_i-\widehat h_i$ равны:

$t_i$, с	$h_i$, м	$\widehat h_i$, м	$r_i$, м
0,00	20,000	20,000	0,0000
0,50	18,780	18,792	−0,0125
1,00	15,120	15,170	−0,0499
1,50	9,120	9,132	−0,0124
2,00	0,700	0,680	+0,0202

Сумма квадратов равна примерно $0{,}00321\ \mathrm{m^2}$, а среднеквадратичная ошибка по пяти строкам

$$\operatorname{RMSE} =\sqrt{\frac{1}{5}\sum_i r_i^2} \approx0{,}0253\ \mathrm m.$$

Число 2,5 сантиметра выглядит убедительно, но не говорит, что механизм верен. Оно описывает близость пяти измерений в одном опыте. Ускорение получилось ниже табличного значения около поверхности Земли; причиной может быть воздух, округление, неточная шкала или выбранный фрагмент движения.

Насколько точно найдено ускорение

Оценка $9{,}6601$ записана четырьмя знаками после запятой, но число знаков не равно числу достоверных знаков. Чтобы говорить о точности параметра, нужна модель самого измерительного шума.

Предположим, что камера добавляет к каждой высоте случайную ошибку $\varepsilon_i$:

$$h_i=h_0-gz_i+\varepsilon_i, \qquad \mathbb E\varepsilon_i=0, \qquad \operatorname{Var}(\varepsilon_i)=\sigma^2.$$

Ошибки считаются независимыми и одинаково разбросанными. Тогда $d_i=h_0-h_i=gz_i-\varepsilon_i$, а оценку можно переписать:

$$\widehat g =\frac{\sum_i z_i(gz_i-\varepsilon_i)}{\sum_i z_i^2} =g-\frac{\sum_i z_i\varepsilon_i}{\sum_i z_i^2}.$$

При повторении опыта случайные ошибки в среднем взаимно компенсируются, поэтому $\mathbb E\widehat g=g$. Разброс оценки равен

$$\operatorname{Var}(\widehat g) =\frac{\sigma^2}{\sum_i z_i^2},$$

а её стандартное отклонение

$$\operatorname{SE}(\widehat g) =\frac{\sigma}{\sqrt{\sum_i z_i^2}}.$$

Формула объясняет устройство хорошего опыта. Чем точнее камера, то есть чем меньше $\sigma$, тем устойчивее оценка. Чем больше значения $z_i=t_i^2/2$, тем больше знаменатель. Поздний кадр обычно сообщает об ускорении больше, чем очень ранний: влияние $g$ успевает накопиться.

Но нельзя бесконечно отодвигать камеру во времени. Тело достигнет пола; сопротивление воздуха накопит заметный эффект; поле или форма движения могут измениться. Поздняя точка информативна только внутри области, где наша механическая форма ещё защищена. Экспериментальный дизайн балансирует чувствительность к параметру и правдоподобие модели.

На практике $\sigma$ неизвестно. Его оценивают по остаткам, но на пяти строках такая оценка очень груба. Кроме того, остатки связаны подбором параметра: нормальное уравнение уже заставило одно направление исчезнуть. Для модели с одним найденным параметром используют оценку

$$\widehat\sigma^2 =\frac{\sum_i r_i^2}{n-1}.$$

В знаменателе стоит $n-1$, а не $n$: один независимый фрагмент информации ушёл на выбор $\widehat g$. Для наших чисел $\widehat\sigma\approx0{,}0283$ м и формальная стандартная ошибка ускорения равна примерно

$$\widehat{\operatorname{SE}}(\widehat g) =\frac{0{,}0283}{\sqrt{5{,}53125}} \approx0{,}0120\ \mathrm{m\,s^{-2}}.$$

Разность между $9{,}6601$ и $9{,}81$ намного больше этой величины. Следовательно, модель «независимый шум одинакового масштаба и никакой иной ошибки» плохо объясняет расхождение. Вероятнее систематический эффект: сопротивление, масштаб времени, высота отсчёта или округление не того вида. Формула неопределённости полезна здесь именно потому, что обнажает несогласованность предпосылок, а не потому, что украшает ответ интервалом.

Если точность высоты различается между кадрами, обычный МНК обращается с ними слишком демократично. Пусть стандартное отклонение $i$-го измерения равно $\sigma_i$. Более точной строке дают вес $w_i=1/\sigma_i^2$ и минимизируют

$$Q_w(g)=\sum_i w_i(d_i-gz_i)^2.$$

Повторение вывода с полным квадратом даёт

$$\widehat g_w =\frac{\sum_i w_i z_i d_i}{\sum_i w_i z_i^2}.$$

Это не право назначить удобные веса после просмотра результата. Значения $\sigma_i$ должны происходить из паспорта прибора, повторных кадров или заранее заданной модели шума.

Калибровка не может сама себя проверить

Пять строк уже повлияли на $\widehat g$. Если на них же сообщить RMSE, мы измерим, насколько хорошо выбранный параметр описывает материал, по которому его выбрали. Это полезная диагностическая величина, но не независимая проверка.

Самый простой честный протокол состоит из повторения опыта. По первой серии оценивают $g$, а во второй заранее фиксируют тот же параметр и вычисляют остатки. Ещё сильнее изменить условие, которое модель обещает переносить: другую высоту старта, иной размер шара или другую частоту кадров. Изменение должно быть таким, чтобы основное допущение сохранялось, а случайное совпадение первой таблицы не сохранялось автоматически.

Для гибкой остаточной модели ролей становится больше:

1. обучающие строки выбирают коэффициенты $\theta$;
2. настроечные строки помогают выбрать степень, штраф или набор признаков;
3. тестовые строки один раз оценивают уже полностью выбранную процедуру;
4. контрольный физический опыт проверяет механизм или вмешательство.

Если после просмотра теста поменять степень полинома, тест превратится в ещё одну настройку. Для новой честной оценки понадобится новый набор строк. В интерактивной лаборатории степень выбирают по validation, а скрытая траектория закрыта до отдельной кнопки фиксации. Открытая траектория служит oracle-разбором одного решения. Она не считается тестом, если читатель затем возвращается к настройке.

Полезно явно разделить случайную ошибку и дефект механизма:

$$h_i =h_{\mathrm{phys}}(t_i;g) +\delta(t_i) +\varepsilon_i.$$

Здесь $\varepsilon_i$ меняется непредсказуемо между повторами, а $\delta(t)$ описывает устойчивое расхождение формы, например сопротивление воздуха. При подгонке только $g$ часть $\delta(t)$ проецируется на $t^2$. Оценка ускорения начинает компенсировать отсутствующую физику:

$$\widehat g-g =-\frac{\sum_i z_i\delta(t_i)}{\sum_i z_i^2} -\frac{\sum_i z_i\varepsilon_i}{\sum_i z_i^2}.$$

Вторая доля в среднем исчезает при повторах. Первая сохраняется. Поэтому узкий формальный интервал вокруг смещённой оценки может быть очень уверенным и очень неверным относительно физического $g$.

Остаток как письмо от опыта

Остаток не следует воспринимать как мусор, который модель обязана уничтожить. Его форма подсказывает, чего не хватает в гипотезе.

Если остатки беспорядочно колеблются около нуля без заметного изменения разброса, простая модель согласуется с наблюдаемым масштабом. Если все остатки положительны, вероятно постоянное смещение. Если сначала они отрицательны, а затем положительны, кривая имеет неверную форму. Если разброс растёт со временем, ошибка может накапливаться или измерение поздних кадров менее точно. Периодический рисунок намекает на пропущенный цикл.

Для МНК-оценки выполняется нормальное уравнение

$$\sum_i z_i r_i=0.$$

Оно означает, что остаток ортогонален выбранному направлению $z$ в пространстве пяти наблюдений. Но отсюда не следует случайность остатка. Кривая может иметь сложный систематический рисунок, который случайно даёт нулевую взвешенную сумму.

В уроке о линейной регрессии нормальные уравнения появятся в матричной форме. Здесь важна геометрическая мысль: подбор параметра удаляет из остатка только те направления, которые модель умеет выражать.

Три семейства одной траектории

Сравним три способа описать падение.

Механистическая модель

$$\widehat h_{\mathrm{phys}}(t) =h_0+v_0t-\frac{\widehat g t^2}{2}$$

имеет жёсткую форму и несколько параметров с единицами. Она может ошибаться, когда сопротивление воздуха заметно, зато её продолжение за пределы опыта диктуется ясным предположением.

Свободная модель по данным

$$\widehat h_{\mathrm{data}}(t) =\beta_0+\beta_1t+\dots+\beta_kt^k$$

выбирает больше формы по наблюдениям. При большом $k$ она легко проходит около каждой точки, но продолжение полинома определяется краевыми коэффициентами, которые плохо закреплены коротким опытом.

Гибридная модель

$$\widehat h_{\mathrm{hybrid}}(t) =\widehat h_{\mathrm{phys}}(t)+r_\theta(t,x)$$

оставляет механику каркасом и учит повторяющийся остаток. Вектор $x$ может включать скорость ветра, давление, ориентацию тела и показания других датчиков. Гибрид полезен, если физическая часть улавливает главное, а пропущенный эффект повторяется в данных.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Гибрид не получает доверие автоматически. Поправка может выучить ошибку датчика, специфичную для одного прибора. Она может компенсировать неверный знак в физическом коде и скрыть его на обучении. Наконец, слишком гибкий остаток превращает физическую часть в декоративную надпись.

Чтобы физика действительно ограничивала решение, контролируют масштаб $r_\theta$, проверяют его на новых режимах и сравнивают с моделью без физического каркаса. Иногда полезно запретить поправке менять известный закон сохранения или заставить её обращаться в ноль в точно известном пределе.

Совпадение на отрезке не определяет продолжение

Рассмотрим две функции:

$$f(t)=t^2,\qquad f_\varepsilon(t)=t^2+\varepsilon t(t-1).$$

В точках $t=0$ и $t=1$ они совпадают. На всём отрезке $[0,1]$

$$|f_\varepsilon(t)-f(t)| =|\varepsilon t(t-1)| \le\frac{|\varepsilon|}{4},$$

поскольку максимум $t(1-t)$ равен $1/4$. При $t=10$ разность уже равна $90\varepsilon$. Даже маленькое $\varepsilon=0{,}01$ даёт расхождение 0,9.

Отсюда не следует, что экстраполяция запрещена. Она возможна, когда мы способны защитить допущение о продолжении. Механика защищает параболу постоянством ускорения в выбранном масштабе. Периодическая модель защищает повторением цикла. Гладкость защищает отсутствие резких скачков. Каждое основание можно обсуждать и проверять.

Как ошибка параметра проходит через формулу

Оценка параметра и ошибка будущего прогноза связаны чувствительностью модели. Если вместо $g$ подставлено $g+\Delta g$, разность двух прогнозов высоты равна

$$\Delta h(t) =-\frac{\Delta g\,t^2}{2}.$$

При $\Delta g=0{,}01$ м/с² ошибка составляет 0,005 м через секунду, 0,02 м через две секунды и 0,125 м через пять секунд. Один и тот же промах в параметре опаснее на большем горизонте. Поэтому фраза «ускорение найдено с ошибкой 0,01» неполна без времени и требуемой точности прогноза.

Для общей функции $y=f(\theta)$ малое изменение параметра можно оценить наклоном:

$$\Delta y\approx \frac{\partial f}{\partial\theta}\Delta\theta.$$

В формуле падения $\partial h/\partial g=-t^2/2$. Коэффициент чувствительности сам меняется со временем. В сложной модели таких направлений много: часть параметров почти не влияет на наблюдение, часть усиливается. Длинная плоская долина функции потерь как раз показывает направление слабой чувствительности.

Удобна и относительная запись. Для терминальной скорости

$$v_\infty= \left(\frac{2mg}{\rho C_dA}\right)^{1/2}$$

малые относительные изменения приближённо связаны равенством

$$\frac{\Delta v_\infty}{v_\infty} \approx\frac12 \left( \frac{\Delta m}{m} -\frac{\Delta\rho}{\rho} -\frac{\Delta C_d}{C_d} -\frac{\Delta A}{A} \right).$$

Знак сразу сообщает направление эффекта. Рост массы увеличивает скорость; рост плотности воздуха, сопротивления или площади уменьшает её. Множитель $1/2$ означает, что 2% относительной ошибки площади дают примерно 1% ошибки скорости, если остальные величины фиксированы.

Но обратное рассуждение слабее. Ошибка скорости 1% не говорит, какой из четырёх параметров ошибочен. Несколько изменений могут компенсироваться. Чувствительность показывает, как известная неопределённость распространяется вперёд; идентифицируемость спрашивает, можно ли по результату восстановить источник назад. Эти вопросы близки, но не совпадают.

Предсказание и вмешательство

Архив полётов может показать: грузы с большими парашютами спускались быстрее. Это не нарушение механики. Возможно, большие купола выдавали более тяжёлым грузам, а масса росла сильнее площади. Предсказательная модель честно запомнит корреляцию «больше купол, выше скорость» внутри архива.

Инженер задаёт другой вопрос: что произойдёт с тем же грузом, если заменить его купол? Это вмешательство. Нельзя просто поменять столбец площади в формуле, которая обучалась на совместно меняющихся массе и площади, если формула не отделила их действие.

Для ответа на вмешательство полезна механическая запись силы сопротивления:

$$F_{\mathrm{drag}} =\frac12\rho C_dAv^2.$$

Она говорит, какие величины надо удержать постоянными и что изменить в опыте. Механизм может быть приблизительным, но он проектирует проверку: взять один груз, несколько куполов, одинаковые условия и измерить скорости.

В уроке об A/B-тестах появится главный инструмент проверки вмешательств — контролируемый эксперимент. Пока достаточно различать две фразы: «что обычно бывает при $A$?» и «что случится, если изменить только $A$?».

Два параметра, которые опыт видит как один

При установившемся спуске скорость почти не меняется, поэтому сила тяжести уравновешивается сопротивлением:

$$mg=\frac12\rho C_dA v_\infty^2.$$

Отсюда

$$v_\infty= \sqrt{\frac{2mg}{\rho C_dA}}.$$

Пусть $m=80$ кг, $\rho=1{,}2$ кг/м³ и измеренная скорость равна 5 м/с. Тогда

$$C_dA= \frac{2mg}{\rho v_\infty^2} =\frac{2\cdot80\cdot9{,}81}{1{,}2\cdot25} =52{,}32\ \mathrm{m^2}.$$

Опыт определил произведение $C_dA$, но не его множители. Пары $(C_d,A)=(0{,}8;65{,}4)$ и $(1{,}6;32{,}7)$ дают ту же скорость.

Неидентифицируемость легко доказать преобразованием. Для любого $\lambda>0$ заменим

$$C_d'=\lambda C_d,\qquad A'=\frac{A}{\lambda}.$$

Произведение сохраняется:

$$C_d'A'=(\lambda C_d)\frac{A}{\lambda}=C_dA,$$

а значит сохраняется и $v_\infty$. Наблюдение одной установившейся скорости не может отличить исходную пару от преобразованной.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Регуляризация выбирает, но не измеряет

Пусть физически правдоподобными считаются $C_d$ около $1{,}2$ и площадь около 40 м². Возьмём масштаб ошибки скорости $\sigma_v=0{,}08\,\mathrm{m/s}$ и запишем безразмерный критерий:

$$J(C_d,A)= \left( \frac{v_\infty(C_d,A)-5\,\mathrm{m/s}} {0{,}08\,\mathrm{m/s}} \right)^2 +\lambda \left[ \left(\frac{C_d-1{,}2}{0{,}3}\right)^2 +\left( \frac{A-40\,\mathrm{m^2}} {10\,\mathrm{m^2}} \right)^2 \right], \qquad \lambda>0.$$

Каждая дробь безразмерна, поэтому $\lambda$ здесь тоже безразмерно. Если не нормировать первый квадрат на $\sigma_v^2$, коэффициент перед штрафом должен иметь единицы $(\mathrm{m/s})^2$. Новая функция обычно имеет отдельный минимум. Но этот минимум появился не из дополнительного полёта. Мы внесли предпочтение: значения вблизи $(1{,}2;40)$ считаются более правдоподобными. Регуляризация полезна, когда предпочтение обосновано конструкцией или прошлыми опытами. Нельзя выдавать её результат за информацию, извлечённую из одной скорости.

Число повторов и количество информации не совпадают. Повтор одного режима уменьшает случайный разброс поперёк долины, но почти не сокращает долину вдоль неё. Новый тип опыта может оказаться ценнее тысячи старых строк.

Та же идея в комнате, а не в полёте

Механистические и гибридные модели нужны не только в механике движения. Рассмотрим температуру класса. Пусть $T(t)$ измеряется в градусах Цельсия, $T_{\mathrm{out}}(t)$ задаёт температуру снаружи, $Q(t)$ означает мощность обогрева, $C$ описывает эффективную теплоёмкость помещения, а $k$ задаёт утечку тепла через стены и окна.

Баланс мощности можно записать:

$$C\frac{dT}{dt} =Q-k(T-T_{\mathrm{out}})-D(t).$$

Член $D(t)$ собирает дополнительные потери, например открытую дверь. Если время измеряется в часах, удобно взять $C$ в кВт·ч/°C, $Q$ в кВт и $k$ в кВт/°C. Тогда обе части уравнения имеют размерность кВт.

Для вычисления по четвертям часа применим шаг Эйлера:

$$T_{j+1} =T_j+\frac{\Delta t}{C} \left[ Q_j-k(T_j-T_{\mathrm{out},j})-D_j \right].$$

Пусть $T_j=20^\circ$C, $T_{\mathrm{out},j}=4^\circ$C, $Q_j=5{,}5$ кВт, $k=0{,}65$ кВт/°C, $C=7{,}5$ кВт·ч/°C и $\Delta t=0{,}25$ ч. Без двери

$$T_{j+1} =20+\frac{0{,}25}{7{,}5} \left[5{,}5-0{,}65(20-4)\right] \approx19{,}837^\circ\mathrm C.$$

Если открытая дверь добавляет $D_j=4$ кВт потерь, следующий прогноз равен примерно $19{,}703^\circ$C. Разность между двумя сценариями за один шаг мала, но повторение эффекта в течение нескольких часов создаёт видимый рисунок остатков.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Обучаемая поправка может оценивать $D_j$ по датчику двери, расписанию и числу людей:

$$\widehat D_j=r_\theta \left( \text{дверь}_j,\ \text{люди}_j,\ \text{время}_j \right).$$

Такой остаток имеет предметный смысл как недостающий поток энергии. Если $r_\theta$ начинает компенсировать ошибку единиц у $Q$, он перестаёт быть моделью двери. Проверка должна включать отдельный опыт: включить обогреватель известной мощности при закрытой двери и сравнить скорость изменения температуры.

Модель проверяют несколькими видами доказательств

Одна итоговая ошибка слишком сильно сжимает историю. Для инженерного чтения полезно держать рядом три слоя.

Первый слой записан до данных: закон, размерности, симметрии, ограничения и границы режима. Второй слой приходит из опыта: параметры, остатки, разброс, корреляции ошибок и чувствительность к отдельным строкам. Третий слой появляется на новом режиме: качество переноса, реакция на вмешательство и последствия промаха.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Утверждение «модель точна на 97%» стоит заменить паспортом:

1. какую величину и какими единицами прогнозировали;
2. какой диапазон участвовал в подборе;
3. какие части формы внесены до наблюдений;
4. какие параметры оценены и насколько устойчиво;
5. как выглядят остатки;
6. на каком новом режиме выполнена проверка;
7. какое действие последует за прогнозом.

Этот паспорт связывает урок с дальнейшим курсом. Выборка и измерение появятся в уроке 03, разделение данных по времени в уроке 32, оптимизация в уроке 21, регуляризация в уроке 51, а проверка вмешательств экспериментом — в уроке 55.

Вычислительный опыт: чему разрешено учиться

В лаборатории скрытая траектория имеет вид

$$h_*(t)=20-4{,}905t^2+\beta t^3.$$

Синяя механическая кривая фиксирована. Красная модель подбирает методом наименьших квадратов полиномиальный остаток

$$r_\theta(t)=\theta_1t+\theta_2t^2+\dots+\theta_kt^k$$

только по заполненным чёрным точкам. Времена не переезжают при движении ползунка: мастер-сетка идёт от 0 до 3 с с шагом 0,1 с, а граница лишь открывает дополнительные строки. Каждая пятая доступная точка отмечена золотым кольцом и отложена для validation. Её значение не входит в нормальные уравнения.

RMSE train считается по шумным чёрным точкам, а не по гладкой скрытой кривой. Степень выбирают по RMSE validation. Показатель $\operatorname{cond}(X^\mathsf TX+10^{-9}I)$ точно называет матрицу, которую решает код: малая добавка $10^{-9}I$ нужна лишь для численной устойчивости и не скрыта от читателя. Шум высоты задан стандартным отклонением $\sigma_h$ в сантиметрах.

Проведите четыре коротких опыта.

Сначала выберите степень 0. Красная поправка исчезнет, останется чистая механика. Запишите train RMSE и validation RMSE. Это базовая линия: более сложный остаток пока разрешено сравнивать с ней только по validation.

Затем поставьте степени 1, 2, 3, 5 и 7 при неизменном seed. Не открывайте новый режим. Степени 5 и 7 могут уменьшить train RMSE, но validation часто замечает их чувствительность к шуму.

После этого увеличьте конец доступного диапазона с 0,7 до 2,2 с. Старые точки останутся на местах, к ним добавятся точки фиксированной сетки. Сравните изменение validation RMSE и числа обусловленности.

Наконец, нажимайте «Новый шум», не меняя остальные настройки. Выберите степень по нескольким validation-сериям и запишите выбор. Лишь после этой записи нажмите «Зафиксировать степень и открыть». Пунктирная траектория и RMSE new/oracle используют известный симулятору ответ вне границы. Если открывать oracle для нескольких степеней, опыт становится наглядной демонстрацией переобучения, но перестаёт быть честной итоговой проверкой.

Наука начинается там, где меняют опыт

Вычислительная лаборатория удобна тем, что скрытая траектория известна коду. В настоящем исследовании такой привилегии нет. Приходится проектировать опыт, который разводит конкурирующие объяснения.

Если механика без воздуха и гибрид одинаково точны первые полторы секунды, увеличивают длительность или меняют форму тела. Если $C_d$ и $A$ слились в произведение, площадь измеряют отдельно или используют купола известной геометрии. Если тепловая модель путает дверь и слабый обогреватель, проводят день с закрытой дверью и известным режимом мощности.

Алгоритм помогает считать, подбирать и сравнивать. Исследователь выбирает, какой вопрос задаёт опыт, какие величины удерживаются постоянными и какое наблюдение различит гипотезы. Чем гибче модель, тем важнее этот выбор: гибкая формула умеет приспособиться и к закономерности, и к дефекту протокола.

Что теперь можно сказать точно

Математическая и обучаемая модели не образуют две непроницаемые коробки. Механистическая формула тоже может иметь параметры, найденные по данным. Обучаемая модель тоже содержит человеческую структуру: признаки, архитектуру, потери и ограничения. Полезнее спрашивать, какая часть знания появилась на каждом шаге.

Для нашего падения картина ясна:

• закон постоянного ускорения дал квадратичную форму;
• пять измерений дали оценку $\widehat g\approx9{,}6601$ м/с²;
• остатки проверили локальное согласие;
• новый диапазон проверяет продолжение;
• изменение формы тела проверяет механизм;
• отдельное измерение площади снимает часть неидентифицируемости;
• регуляризация вносит обоснованное предпочтение, но не заменяет опыт.

Заметьте, что слово «модель» в этом списке относится сразу к нескольким объектам. Есть формула как гипотеза, процедура оценки параметров, программа численного расчёта и полный экспериментальный протокол. Ошибка может жить в любом слое. Неверный коэффициент не требует переписывать закон; неверная единица не лечится новым оптимизатором; новый режим может потребовать иной формулы, даже если код безупречен. Поэтому хороший отчёт хранит версии формулы, калибровки, данных и программы раздельно. Тогда после расхождения можно повторить путь от прибора к выводу, а не только нажать кнопку обучения ещё раз.

Именно эта раздельность позволяет соединять физику и машинное обучение без магии. Физический каркас отвечает за те продолжения, которые мы готовы защищать; обучаемая часть отвечает за повторяющийся остаток; эксперимент проверяет обе ответственности отдельно. Если остаток вырос, мы можем спросить: изменился ли мир, сломался ли датчик или закончилась область применимости.

Главный вывод урока можно записать не формулой, а порядком работы:

$$\text{вопрос} \longrightarrow \text{механизм} \longrightarrow \text{измерение} \longrightarrow \text{подгонка} \longrightarrow \text{остаток} \longrightarrow \text{новый опыт}.$$

Если цепочка обрывается после подгонки, модель умеет повторять таблицу, но мы ещё не знаем, что именно она поняла. Если новый опыт поставлен так, что конкурирующие модели расходятся, даже простая формула становится сильным научным инструментом.

Задачи