Урок 36. Матрицы как преобразования пространства

Матрица выглядит как табличка чисел, но действует как движение: она берёт всё пространство и растягивает, поворачивает, отражает или сплющивает его. Причём чтобы узнать, что она делает со всеми точками сразу, достаточно посмотреть, куда уходят две стрелки — базисные векторы. Их новые положения и записаны в столбцах.

Столбцы — это образы базиса

В двумерной плоскости всё раскладывается по двум опорным векторам:

e_1=\begin{pmatrix}1\\0\end{pmatrix},\qquad e_2=\begin{pmatrix}0\\1\end{pmatrix},\qquad x=x_1e_1+x_2e_2.

Пусть $T$ — линейное преобразование: оно уважает сложение и растяжение. Тогда

T(x)=x_1\,T(e_1)+x_2\,T(e_2).

Значит, $T$ полностью задано двумя векторами $T(e_1)$ и $T(e_2)$ . Запишем их столбцами — получим матрицу $A$ , и формула превращается в $T(x)=Ax$ .

Слева базис e1, e2 и вектор x равный их сумме внутри единичного квадрата. Справа после преобразования: столбец Ae1 равен (2,0), столбец Ae2 равен (1,1), их сумма Ax равна (3,1), а квадратная сетка превратилась в косую — Рис. 36.1. Матрица задана образами двух стрелок
Красная и синяя стрелки — образы базиса, то есть столбцы $A$ . Зелёный вектор $x=e_1+e_2$ переходит в сумму столбцов $Ax=(3,1)$ . Сетка показывает действие сразу на все точки, а не на три примера.

Что делает матрица с квадратом

Матрица

A=\begin{pmatrix}a&b\\c&d\end{pmatrix}

переводит $e_1$ в столбец $(a,c)$ , а $e_2$ в столбец $(b,d)$ . Единичный квадрат, натянутый на $e_1,e_2$ , превращается в параллелограмм, натянутый на эти столбцы. По одному этому параллелограмму видно всё: поворот, растяжение, сдвиг и потерю измерения, если столбцы легли на одну прямую.

Определитель — ориентированная площадь

Насколько параллелограмм больше исходного квадрата, говорит определитель:

\det A=ad-bc.

Его модуль показывает, во сколько раз изменилась площадь, а знак говорит, сохранилась ли ориентация или пространство вывернулось наизнанку (отражение). Если $\det A=0$ , столбцы зависимы, квадрат сплющивается в отрезок, и обратного преобразования нет.

Три панели. Слева матрица с определителем 2 растягивает квадрат в прямоугольник вдвое большей площади, обход вершин против часовой стрелки. В центре определитель минус 1 отражает квадрат, обход вершин по часовой стрелке. Справа определитель 0,02 сплющивает квадрат почти в тонкую линию — Рис. 36.2. Определитель как площадь и ориентация
Стрелки по контуру показывают порядок обхода вершин: против часовой даёт знак плюс, по часовой — минус. Правая панель почти вырождена: площадь стремится к нулю.

Потрогай матрицу

Две стрелки — это столбцы $A$ . Тащите их концы и смотрите, как деформируется настоящая фотография и координатная сетка. Внизу в реальном времени меняются определитель, сингулярные числа и обусловленность. Попробуйте свести столбцы на одну прямую — определитель обратится в ноль, а фотография схлопнется в полосу.

Композиция и умножение матриц

Применим сначала $B$ , потом $A$ :

x\ \longmapsto\ Bx\ \longmapsto\ A(Bx)=(AB)x.

Именно отсюда берётся правило «строка на столбец»: столбец $j$ произведения $AB$ равен $A$ , применённой к столбцу $j$ матрицы $B$ . Умножение матриц — это не случайная выдумка, а запись композиции движений.

Порядок движений почти всегда важен:

AB\ne BA.

Повернуть, а потом растянуть — не то же самое, что растянуть, а потом повернуть.

СмотриПорядок движений

Одна буква F, два порядка одних и тех же движений — RS и SR дают разные фигуры. Правый множитель действует первым, поэтому AB читают справа налево.

В глубокой сети из одних линейных слоёв все матрицы схлопнулись бы в одно произведение — сеть была бы не глубже одного слоя. Спасает нелинейность из урока 17: именно она мешает перемножить слои в одну матрицу.

Поворот и ортогональность

Поворот на угол $\alpha$ задаётся матрицей

R_\alpha=\begin{pmatrix}\cos\alpha&-\sin\alpha\\ \sin\alpha&\cos\alpha\end{pmatrix}.

Её столбцы единичны и перпендикулярны, поэтому $R_\alpha^\top R_\alpha=I$ : поворот сохраняет длины и углы, а его определитель равен $1$ . Такие матрицы называют ортогональными; отражения — тоже ортогональны, но с определителем $-1$ .

::::

УпражнениеВосстановите матрицу

Преобразование отправляет $e_1$ в $(2,1)$ , а $e_2$ в $(-1,3)$ . Выпишите его матрицу и найдите образ вектора $(4,-2)$ без отдельного умножения — через столбцы.

Показать ответ

Столбцы матрицы — это образы базиса, поэтому $A=\left(\begin{smallmatrix}2&-1\\1&3\end{smallmatrix}\right)$ . Вектор $(4,-2)=4e_1-2e_2$ , значит его образ равен $4Ae_1-2Ae_2=4(2,1)-2(-1,3)=(10,-2)$ . Определитель $2\cdot3-(-1)\cdot1=7$ : площади растут в семь раз.

Собственные направления

У некоторых векторов направление при преобразовании не меняется — они лишь растягиваются:

Av=\lambda v.

Число $\lambda$ — собственное значение, вектор $v$ — собственный. На деформированной сетке такие стрелки остаются на своих прямых: их не поворачивает, только удлиняет (а при $\lambda<0$ ещё и разворачивает).

ИдеяПрямые, что не поворачиваются

У матрицы с колонками (2,0) и (1,1) две собственные прямые: вдоль оси x растяжение вдвое (λ=2), вдоль направления (1,−1) длина сохраняется (λ=1).

Не у всякой матрицы есть вещественные собственные направления: поворот на $90^\circ$ не оставляет на месте ни одной прямой. Зато у симметричной матрицы собственные векторы всегда есть и они взаимно перпендикулярны — поэтому у ковариационной матрицы получаются ортогональные главные компоненты в методе главных компонент.

Русская линия здесь прямая. Академик А. Н. Крылов, корабельный инженер и математик, в 1931 году предложил способ вычислять собственные значения больших матриц через повторные умножения матрицы на вектор. Из этой идеи выросли крыловские подпространства — рабочий инструмент всей современной вычислительной линейной алгебры, от расчёта колебаний корпуса корабля до решения огромных систем внутри нейросетей.

Окружность, эллипс и число обусловленности

Определитель говорит про площадь, но молчит про форму. Чтобы увидеть форму, подадим на матрицу единичную окружность: она превратится в эллипс. Полуоси этого эллипса — сингулярные числа $\sigma_1\ge\sigma_2$ , а их отношение

\kappa_2(A)=\frac{\sigma_{\max}}{\sigma_{\min}}

называют числом обусловленности. Оно показывает, насколько эллипс вытянут.

Пунктирная единичная окружность и её образ — вытянутый эллипс. Красная стрелка вдоль большой полуоси длиной сигма 1 равно 2,29, зелёная вдоль малой полуоси сигма 2 равно 0,87; число обусловленности каппа равно 2,62 — Рис. 36.3. Окружность превращается в эллипс
Единичная окружность становится эллипсом. Большая полуось $\sigma_1$ — самое сильное растяжение, малая $\sigma_2$ — самое сильное сжатие; их отношение $\kappa$ измеряет вытянутость.

Число обусловленности важнее определителя для устойчивости. У матриц $\operatorname{diag}(100;\,0{,}01)$ и единичной один и тот же определитель $1$ , но первая превращает круг в иглу с $\kappa=10\,000$ , а вторая ничего не искажает и имеет $\kappa=1$ . При обращении самое сжатое направление усиливается в $1/\sigma_{\min}$ раз — вместе с шумом. «Обратимо» и «устойчиво обратимо» — разные свойства.

Аффинные преобразования и однородные координаты

Одни матрицы не умеют сдвигать начало координат: $A\cdot 0=0$ всегда. Чтобы добавить перенос, берут аффинное преобразование $y=Ax+t$ . При $t\ne0$ оно уже не линейно (ноль уходит в $t$ ), но его снова можно записать одной матрицей, поднявшись в однородные координаты:

\begin{pmatrix}y\\1\end{pmatrix}= \begin{pmatrix}A&t\\0&1\end{pmatrix} \begin{pmatrix}x\\1\end{pmatrix}.

Теперь цепочка «повернуть, масштабировать, сдвинуть» — это одно произведение матриц. Поворот вокруг центра картинки собирают из трёх шагов: перенести центр в ноль, повернуть, вернуть обратно.

Взгляд Клейна ровно про эту главу: геометрия есть набор допустимых движений, а матрицы служат их языком. Жёсткие движения сохраняют длины, аффинные сохраняют прямые и параллельность, проективные — ещё меньше; каждой геометрии отвечает свой класс матриц.

Смена базиса

Иногда объект удобнее описать в других координатах. Если столбцы матрицы $P$ — это новый базис, то координаты вектора в нём равны $z=P^{-1}x$ , а тот же оператор в новом языке записывается как

P^{-1}AP.

Сам оператор не изменился — изменился язык координат. В базисе из собственных векторов матрица становится диагональной, и её степень $A^n$ считается мгновенно. Этот же приём — записать данные в базисе главных направлений — лежит в основе сжатия из автокодировщика и PCA.

Поворот изображения: обратный проход

Повернуть фотографию матрицей $A$ можно двумя способами, и только один из них работает. Наивный «прямой проход» берёт каждый входной пиксель и кидает его в $A\cdot(\text{координата})$ — но после округления часть выходных клеток остаётся пустой, появляются дыры. Правильный «обратный проход» идёт от результата: для каждого выходного пикселя $y$ находят, откуда он пришёл, $x=A^{-1}y$ , и берут яркость оттуда, интерполируя соседей. Дыр не остаётся.

ПрактикаОбратный проход без дыр

Поворот реальной фотографии. Обратный проход (для каждого выхода ищем источник через A обратную) даёт сплошную картинку; прямой проход оставляет дыры. Так работает вся геометрия изображений.

При почти вырожденной $A$ (большое $\kappa$ ) соседние выходные пиксели тянут яркость из далёких входных координат — картинка «размазывается» вдоль сжатой оси. Это тот же эффект усиления шума, только теперь видимый глазом.

УпражнениеСлева или справа

Вектор-столбец сначала отражают матрицей $F$ , затем поворачивают матрицей $R$ . Какая матрица стоит в произведении слева? Проверьте рассуждение на $e_1$ , а не по памяти.

Показать ответ

Сначала действует $F$ , потом $R$ , а правый множитель применяется первым, поэтому итоговая матрица — $RF$ (слева стоит $R$ ). Проверка: $x\mapsto Fx\mapsto R(Fx)=(RF)x$ . На $e_1$ : сперва $Fe_1$ , затем поворот результата — ровно то, что даёт $RF\,e_1$ . Порядок «справа налево» — общее правило для композиции.

::::

УпражнениеОпределителя мало

Матрицы $\operatorname{diag}(100;\,0{,}01)$ и единичная имеют одинаковый определитель $1$ . Почему по определителю нельзя судить об устойчивости обращения? Какая величина отличает эти матрицы?

Показать ответ

Определитель — это произведение сингулярных чисел (площадь), и он не различает «растянули на 100 и сжали в 100 раз» от «ничего не тронули». Устойчивость измеряет число обусловленности $\kappa=\sigma_{\max}/\sigma_{\min}$ : у диагональной матрицы $\kappa=100/0{,}01=10\,000$ , у единичной $\kappa=1$ . Первая при обращении раздувает шум в десять тысяч раз вдоль сжатой оси, вторая — нет.

Что забрать с собой

Матрица — это движение пространства, а её столбцы — это места, куда уходят базисные стрелки. Определитель отвечает за площадь и ориентацию, сингулярные числа — за форму (окружность становится эллипсом), а их отношение $\kappa$ — за устойчивость. Умножение матриц — это композиция движений, и порядок в ней важен. Собственные направления не поворачиваются, и в их базисе матрица диагональна. Из этих же кирпичей сложены и матричный слой полносвязной сети, и сжатие данных в PCA. Дальше мы разберём, во что обходится умножение матриц и почему порядок скобок меняет цену, а не ответ.

Задачи

4баллов

Отображение $y=Ax$ задано матрицей $A=\left(\begin{smallmatrix}2&-1\\1&3\end{smallmatrix}\right)$ , столбцы которой — образы базисных векторов. Найдите $Ae_1$ , $Ae_2$ и $A(4,-2)^\top$ , вычислите определитель со знаком и коэффициент изменения площади. Прямоугольник с вершинами $(0,0),(4,0),(4,2),(0,2)$ имеет площадь $8$ ; выпишите образы всех четырёх вершин и площадь полученного параллелограмма двумя способами — через определитель и через модуль векторного произведения его сторон.

5баллов

Пусть $R=\left(\begin{smallmatrix}0&-1\\1&0\end{smallmatrix}\right)$ — поворот на $90^\circ$ против часовой стрелки, $S=\left(\begin{smallmatrix}2&0\\0&1\end{smallmatrix}\right)$ — растяжение вдвое вдоль оси $x$ . Вычислите $RS$ и $SR$ и примените каждое произведение к векторам $(1,0)$ , $(0,1)$ , $(1,1)$ . Для каждого произведения словами назовите порядок двух физических действий (правый множитель — первым) и подтвердите $RS\ne SR$ хотя бы одним различающимся образом.

6баллов

Для $\varepsilon\in\{1;\,0{,}1;\,0{,}01;\,0{,}001\}$ рассмотрите $A_\varepsilon=\left(\begin{smallmatrix}1&1\\1&1+\varepsilon\end{smallmatrix}\right)$ . Для каждого $\varepsilon$ вычислите определитель, сингулярные числа и $\kappa_2$ . В $20$ повторах с семенами $0,\ldots,19$ сгенерируйте $1000$ точек $x\sim U([-1,1]^2)$ и шум выхода $\delta\sim N(0,10^{-8}I_2)$ ; положите $y=A_\varepsilon x$ , $\hat x=A_\varepsilon^{-1}(y+\delta)$ . По всем $20\,000$ точкам сообщите медиану, $95$ -й процентиль и максимум отношения $\lVert\hat x-x\rVert_2/\lVert\delta\rVert_2$ и сравните его с $\kappa_2$ без округления матрицы перед обращением.

6баллов

Возьмите любую реальную фотографию, переведите в градации серого и в координаты $[-1,1]^2$ с центром в середине кадра. Реализуйте поворот на $30^\circ$ двумя способами: прямой проход (каждый входной пиксель летит в $A\cdot$ координату, с округлением) и обратный проход (для каждого выходного пикселя берём $A^{-1}y$ и билинейно интерполируем). Для обоих сообщите долю незаполненных пикселей и, где возможно, PSNR относительно исходника после пары «повернуть на $30^\circ$ , повернуть обратно». Объясните, почему прямой проход оставляет дыры, а обратный — нет.

Столбцы — это образы базиса

Что делает матрица с квадратом

Определитель — ориентированная площадь

Потрогай матрицу

Перетащите столбцы матрицы

Композиция и умножение матриц

Собственные направления

Окружность, эллипс и число обусловленности

Аффинные преобразования и однородные координаты

Смена базиса

Поворот изображения: обратный проход

Что забрать с собой

Задачи