Урок 40. Итоговый практикум: звук, эмбеддинг и рекомендации

Это итоговый урок модуля: он связывает всё, что мы прошли. Звук, изображение и история оценок выглядят совершенно по-разному, но после выделения признаков каждый объект становится вектором — а с векторами мы уже умеем всё: сравнивать, сжимать через PCA, искать соседей и рекомендовать. Пройдём эту цепочку на звуке, где всё начинается с преобразования Фурье.

Звук как сумма частот

Цифровой звук — это последовательность отсчётов $x_0,\ldots,x_{N-1}$ . Чтобы узнать, из каких частот он сложён, применяют дискретное преобразование Фурье:

X_k=\sum_{n=0}^{N-1}x_n\,e^{-2\pi i kn/N}.

Модуль $|X_k|$ говорит, насколько сильна частота с номером $k$ (ей отвечает $k f_s/N$ герц, где $f_s$ — частота дискретизации), а аргумент — её фазу. По сути это линейное преобразование, только базис — синусоиды.

Сверху волна суммы двух тонов во времени с биениями. Снизу спектр из настоящего ДПФ: два острых пика ровно на 500 и 1250 герц, всё остальное на нуле — Рис. 40.1. Один звук: волна и её спектр
Сумма двух тонов во времени (сверху) и её спектр (снизу), посчитанный настоящим ДПФ. Пики стоят ровно на частотах $500$ и $1250$ Гц — преобразование Фурье вытащило скрытые в волне частоты.

УпражнениеШаг частот

Запись оцифрована с $f_s=16\,000$ Гц, окно ДПФ содержит $N=1024$ отсчёта. Каков шаг между соседними частотными корзинами? Что изменится, если взять $N=2048$ (при достаточно длинном звуке)?

Показать ответ

Шаг корзин $\Delta f=f_s/N=16000/1024=15{,}625$ Гц. При $N=2048$ шаг вдвое меньше, $7{,}8$ Гц: частоты различаются точнее. Но окно теперь вдвое длиннее ( $128$ мс против $64$ ), поэтому быстрое событие внутри него локализуется хуже — это и есть компромисс времени и частоты.

Окно и утечка спектра

Один спектр на всю запись теряет время: если переставить куски записи местами, набор частот почти не изменится. Поэтому спектр считают по коротким окнам. Но у окна есть подвох: если в него не помещается целое число периодов, его концы не совпадают, и ДПФ, считая окно периодическим, размазывает энергию по соседним частотам — это спектральная утечка.

ОсторожноОкно меняет измерение

Один и тот же тон 617 Гц. Прямоугольное окно растекается широкими боковыми лепестками; окно Ханна прижимает их к нулю ценой чуть более широкого главного пика. Параметры окна входят в паспорт признаков.

Умножение сигнала на плавное окно (например, окно Ханна) прижимает концы к нулю и гасит утечку — но расширяет главный пик. Даром ничего не даётся, и выбор окна — это компромисс, а не украшение спектрограммы.

Спектрограмма удерживает время

Короткое преобразование Фурье (STFT) применяет ДПФ к перекрывающимся окнам:

X_{m,k}=\sum_n x_n\,w_{n-mH}\,e^{-2\pi i kn/N},

где $w$ — окно, $H$ — шаг (hop). Получается карта «время × частота» — спектрограмма. И тут возникает фундаментальный компромисс: длинное окно точно различает близкие частоты, но размазывает момент события; короткое окно точно ловит момент, но сливает частоты.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Рис. 40.2. Компромисс времени и частоты

Одна и та же запись (щелчок плюс два близких тона) через настоящую STFT. Короткое окно ловит щелчок, но сливает тоны; длинное разделяет тоны, но размазывает щелчок. Нельзя выиграть и там, и там сразу.

Этот предел — не свойство алгоритма, а закон природы (тот же, что принцип неопределённости в физике). Поэтому окно выбирают под задачу: для щелчка важна ось времени, для настройки ноты — ось частоты.

УпражнениеКакое окно выбрать

Нужно (а) точно отметить момент короткого хлопка в записи и (б) различить две близкие ноты $440$ и $445$ Гц. Для какой задачи брать короткое окно, а для какой — длинное, и почему нельзя решить обе одним окном?

Показать ответ

Для хлопка (а) — короткое окно: оно точно локализует событие во времени, а частота хлопка широкая, её размытие не мешает. Для двух нот (б) — длинное окно: чтобы разделить $440$ и $445$ Гц, нужен шаг корзин меньше $5$ Гц, то есть $N>f_s/5$ . Одно окно не решает обе задачи, потому что предел Габора связывает точность по времени и по частоте обратно: улучшая одну, портим другую.

Потрогай спектрограмму

Соберите сигнал — виджет посчитает настоящее преобразование Фурье прямо в браузере и нарисует реальную спектрограмму. Двигайте ширину окна и увидите компромисс своими глазами: узкое окно точно отмечает щелчок, но размывает близкие тоны; широкое — наоборот.

От карты к вектору

Спектрограмма — картинка, а нам нужен короткий вектор. Из неё извлекают признаки: спектральный центр тяжести (где сосредоточена энергия — «яркость» звука), ширину полосы, точку спада (rolloff), частоту переходов через ноль, коэффициенты MFCC. Каждый из них — одно число на кадр, отвечающее на понятный вопрос о звуке. Усреднённые по времени, они складываются в вектор $x\in\mathbb R^d$ — компактный паспорт звука, с которым дальше работает уже знакомая линейная алгебра.

СхемаКонвейер эмбеддинга

Вся цепочка практикума: волна → спектрограмма → спектральные признаки → сжатие PCA → поиск ближайшего соседа. Над каждой стрелкой стоит вопрос: что она сохранила, а что потеряла.

У усреднения есть цена: оно стирает порядок. Два трека из одних и тех же коротких событий, переставленных во времени, дадут почти одинаковые средние спектры. Если порядок важен, его должен хранить сам признак — или свёрточная сеть по спектрограмме, или автокодировщик, учащий сжатие.

УпражнениеЧто стирает усреднение

Два трека составлены из одних и тех же трёх коротких звуков, но в разном порядке. Признак — среднее по времени спектральных величин. Различит ли он эти треки? Какой признак смог бы?

Показать ответ

Нет: среднее по времени не зависит от порядка кадров, поэтому у обоих треков признак будет почти одинаков — усреднение стирает временную структуру. Различить их может только признак, хранящий порядок: последовательность кадров целиком, свёрточная сеть по спектрограмме или рекуррентная модель. Выбор признака решает, какая информация доступна метрике близости.

::::

Карта звуков

Сожмём эти признаки в две координаты через PCA и разложим звуки на плоскости. Похожие сближаются сами.

Двумерная PCA-карта синтезированных звуков шести типов: низкие тоны, высокие тоны, аккорды, щелчки, шум и свип образуют отдельные группы; чистота трёх ближайших соседей 97 процентов — Рис. 40.3. Карта звуков из спектральных признаков
Синтезированные звуки шести типов, разложенные по спектральным признакам и сжатые в две координаты. Одинаковые сближаются: у $97\%$ звуков все три ближайших соседа — того же типа. Признаки посчитаны настоящей STFT.

Косинус или расстояние

Как измерять близость векторов? Есть два ответа. Косинусное сходство

\cos(a,b)=\frac{a^\top b}{\lVert a\rVert\,\lVert b\rVert}

сравнивает только направление и не замечает общего масштаба. Евклидово расстояние масштаб сохраняет.

ВыборКосинус игнорирует громкость

«Тихий» и «громкий» векторы смотрят в одну сторону — их косинус равен единице, разница громкости стёрта. Выбирайте косинус, когда громкость не должна решать, и евклид, когда амплитуда содержательна.

Выбор зависит от смысла. Если громкость записи не должна определять сходство, берут косинус. Если сила признака содержательна — евклид. После L2-нормировки векторов эти две меры становятся монотонно связаны, но до неё — нет.

УпражнениеТихий и громкий

Векторы $(1,1)$ и $(100,100)$ имеют косинус $1$ , но евклидово расстояние между ними велико. В какой аудиозадаче стереть эту разницу разумно, а в какой — вредно?

Показать ответ

Косинус $1$ означает одинаковое направление: одинаковый «профиль» спектра при разной громкости. Стирать разницу разумно, когда громкость записи случайна и не должна влиять на сходство (поиск похожего тембра). Вредно, когда сила сигнала содержательна — например, при детекции громких событий или измерении энергии, где амплитуда и есть ответ. Тогда берут евклид.

::::

Поиск соседей и рекомендация

Теперь всё сходится. Фрагмент-запрос кодируют тем же способом и ищут ближайшие векторы — это контентная рекомендация: она опирается на само содержание и потому помогает даже новому треку, у которого нет ни одной оценки (холодный старт из урока о рекомендациях). А матричная факторизация оттуда использовала коллективные оценки. Сильная система — гибрид: контентный вектор для новизны, коллаборативный — для точности на популярном.

Но сосед — это гипотеза, а не приговор. Алгоритм всегда найдёт ближайший объект, даже если весь каталог далёк, поэтому показывают и абсолютное расстояние, и сравнение со случайными парами. И качество нельзя мерить одним совпадением жанра: похожесть бывает по тембру, темпу или настроению, и её проверяют несколькими критериями сразу.

Итоговый протокол практикума

Капстон модуля проходит по одной честной цепочке, и каждый шаг мы уже проходили:

зафиксировать вопрос (похожий тембр? жанр? следующий трек?);
разбить записи без утечки — по трекам или исполнителям, а не по фрагментам, как требует урок о разбиении;
извлечь спектральные признаки настоящей STFT;
стандартизовать масштабы только по обучающей части;
сжать PCA, число компонент выбрать по validation;
найти соседей и открыть тест ровно один раз;
прослушать ошибки и превратить их в следующую гипотезу.

Русская линия здесь ведёт к А. А. Харкевичу — советскому учёному, чья книга «Спектры и анализ» воспитала поколения инженеров связи. Его взгляд на спектр как на «паспорт сигнала» — ровно то, что делает наш конвейер: сводит звук к короткому вектору, по которому объект можно узнать и найти похожие.

Чем связан весь модуль

Мы прошли путь от отсчётов звука до рекомендации и увидели, что он весь состоит из уже знакомых кирпичей. Преобразование Фурье — линейное преобразование в базисе синусоид. Спектрограмма упирается в предел Габора: точность по времени и по частоте не даются вместе. Признаки превращают звук в вектор, PCA сжимает его, косинус и евклид измеряют близость, а поиск соседей и факторизация оценок дают рекомендацию. Разные данные — звук, картинки, оценки — после выделения признаков говорят на одном языке векторов, и вся линейная алгебра модуля работает на них одинаково. Это и есть главный вывод: научиться превращать объект в осмысленный вектор — значит получить над ним всю силу изученных методов.

Задачи

4баллов

Сигнал дискретизирован с $f_s=16\,000$ Гц и содержит ровно $L=80\,000$ отсчётов. Для $N\in\{512,1024,2048\}$ вычислите длительность окна $N/f_s$ в миллисекундах и шаг DFT-частот $\Delta f=f_s/N$ в герцах. При hop $H=N/4$ , первом кадре $[0,N)$ и без padding найдите число полных кадров $1+\lfloor(L-N)/H\rfloor$ , время начала последнего кадра и проверьте, что его правый край не превосходит $L$ . Объясните на этих числах компромисс времени и частоты.

5баллов

Сгенерируйте $1600$ отсчётов $x[n]=\sin(2\pi\cdot440\,n/16000)$ и анализируйте фрагмент $n=0,\ldots,1023$ . Сравните прямоугольное окно $w[n]=1$ и симметричное Hann $w[n]=0{,}5-0{,}5\cos(2\pi n/1023)$ . Возьмите one-sided FFT длины $131072$ от $wx$ , нормируйте модуль на максимум. Ширина главного пика — расстояние в герцах между ближайшими локальными минимумами слева и справа от максимума; уровень боковых лепестков — максимум вне этого интервала в $20\log_{10}(A/A_{\max})$ дБ. Сообщите ширину и уровень лепестков для обоих окон и объясните, почему Hann уменьшает утечку ценой разрешения.

5баллов

Спектр окна из восьми корзин имеет модули $|X|=(0,1,4,2,1,0,0,0)$ , а частоты корзин равны $k\cdot\Delta f$ с $\Delta f=100$ Гц. Вычислите спектральный центр тяжести $\sum_k f_k|X_k|/\sum_k|X_k|$ , ширину полосы $\sqrt{\sum_k (f_k-\text{центр})^2|X_k|/\sum_k|X_k|}$ и точку спада $85\%$ (наименьшую $f$ , где накопленная энергия достигает $0{,}85$ от полной по $|X|^2$ ). Объясните, что каждая величина говорит о «яркости» звука.

6баллов

Синтезируйте на $f_s=8000$ Гц по восемь примеров шести звуков (низкий тон, высокий тон, аккорд из трёх нот, серия щелчков, белый шум, линейный свип), фиксируя seed. Настоящей STFT ( $N=256$ , hop $64$ , окно Ханна) извлеките для каждого шесть признаков: среднее и разброс спектрального центра, среднюю ширину полосы, среднюю точку спада, частоту переходов через ноль и спектральную плоскость. Стандартизуйте, сожмите PCA(n_components=2) и измерьте чистоту трёх ближайших соседей (доля соседей того же типа). Убедитесь, что похожие звуки образуют группы, и объясните, какие признаки разделяют тон от шума.

6баллов

Возьмите реальный набор FMA-small (Zenodo 10.5281/zenodo.574978): треки с непустыми artist.id и track.genre_top. Декодируйте по 10-секундному mono-фрагменту при $22\,050$ Гц и STFT $N=2048$ , hop $512$ извлеките спектральные признаки (центр, ширину, rolloff, flatness, zero-crossing) как среднее и разброс по кадрам. Сравните два разбиения $60/20/20$ — по хешу track_id и по хешу artist.id. В каждом обучите стандартизацию и PCA(n_components=8) только на train, L2-нормируйте код. Для test-запроса кандидаты — test-треки другого исполнителя, релевантны — того же жанра. Сообщите macro-Recall@3 и mAP@10 и объясните, почему split по треку завышает качество по сравнению со split по исполнителю.

Звук как сумма частот

Окно и утечка спектра

Потрогай спектрограмму

Сигнал, настоящая СТФТ и компромисс окна

От карты к вектору

Карта звуков

Косинус или расстояние

Поиск соседей и рекомендация

Итоговый протокол практикума

Чем связан весь модуль

Задачи