Интерактивные примеры работы нейронных сетей

Найдите объекты в кадре, отделите их от фона и превратите голос в текст.

Интерактивные примеры работы нейронных сетей1

Интерактивные примеры работы нейронных сетей

Нейросеть может обвести кота на фотографии, отделить его шерсть от дивана или описать всю сцену словами. Фотография одна — задачи разные. Начнём с опытов: будем менять входные данные, наблюдать ответы и разбираться, что именно удалось модели. Устройство нейронов подождёт до следующей главы.

Здесь работают готовые обученные модели. Начните с поиска объектов: у него самая небольшая загрузка. Скачивайте только тот пример, который хотите попробовать; фото, звук и ответы обрабатываются на вашем устройстве.

Интерактивные примеры работы нейронных сетей2

Найти объекты и проследить за ними

На фотографии можно спросить не только «есть ли кот?», но и «где каждый кот?». Это задача обнаружения объектов. Вход — изображение. Выход — список найденных объектов: для каждого нужны название категории, прямоугольная рамка и оценка уверенности модели.

Попробуйте. Скачайте модель и запустите её на фотографии. Затем откройте «Пример видео». Посмотрите, сохраняются ли номера котов при движении. Можно загрузить собственное фото или видео.

Интерактивные примеры работы нейронных сетей3

Найти объекты и проследить за ними

Объекты в кадре

Объекты в кадре
Интерактивные примеры работы нейронных сетей4

Эксперимент

Объекты в кадре

Рамки показывают расположение объектов; номера помогают проследить за ними на видео.
Интерактивные примеры работы нейронных сетей5

Найти объекты и проследить за ними

Рамка охватывает объект целиком и обычно захватывает немного фона. Модель ищет категории из своего заранее заданного списка: отсутствие рамки не доказывает, что на снимке ничего нет. Проверьте, все ли заметные объекты найдены и правильно ли подписаны.

В видео сеть заново находит объекты на каждом кадре. Дополнительный алгоритм сопоставляет соседние рамки и присваивает им номера — это отслеживание объектов. При перекрытии или резком движении номера могут перепутаться. Встроенный пример специально прост: движется фотография, а не сами коты. Собственное видео позволяет устроить более трудную проверку.

Интерактивные примеры работы нейронных сетей6

Пояснение

Найти объекты и проследить за ними

Рамка и подпись — предсказание, а не доказательство. Иногда модель уверенно путает категории. Для проверки сравните подпись с самим изображением.

Интерактивные примеры работы нейронных сетей7

Обсудим

Найти объекты и проследить за ними

Что нужно получить от модели, чтобы найти каждого кота на фотографии?

  1. Отдельную рамку и категорию для каждого найденного кота
  2. Только слово «животные» для всей фотографии
  3. Точное расстояние до дивана в метрах
  4. Имена котов и их характеры
Интерактивные примеры работы нейронных сетей8

Отделить объект от фона

Для наклейки с котом прямоугольника недостаточно: вместе с ним вырежется диван. Нужен ответ для каждой точки изображения — сохранить её или сделать прозрачной. Задача выделения переднего плана даёт гораздо более точный контур, чем рамка.

Попробуйте. Уберите фон и рассмотрите усы, шерсть и промежуток между котами. Затем откройте свою фотографию: легче ли выделяется предмет на однотонном фоне?

Интерактивные примеры работы нейронных сетей9

Отделить объект от фона

Объект без фона

Объект без фона
Интерактивные примеры работы нейронных сетей10

Эксперимент

Объект без фона

Шахматная подложка обозначает прозрачность. Результат можно сохранить как PNG.
Интерактивные примеры работы нейронных сетей11

Отделить объект от фона

Вход — фотография, выход модели — маска: значения, определяющие, какую долю каждой точки сохранить. По этой маске программа делает фон прозрачным. На сложных краях возможны пропуски и остатки фона. Сеть выбирает заметный передний план; это не инструмент точного выбора любого предмета по вашему указанию.

Сравните этот результат с рамками из прошлого опыта. Обе сети работают с изображением, но отвечают на разные вопросы: «где объект?» и «какие точки оставить?». Именно нужный результат определяет выбор задачи.

Интерактивные примеры работы нейронных сетей12

Обсудим

Отделить объект от фона

Нужно сделать наклейку в форме кота, без дивана вокруг. Какой результат полезнее всего?

  1. Подпись «на фотографии кот»
  2. Прямоугольная рамка вокруг кота
  3. Маска, задающая прозрачность каждой точки
  4. Расшифровка звуков из комнаты
Интерактивные примеры работы нейронных сетей13

Увидеть глубину на плоской фотографии

Фотография плоская, но мы замечаем, что кот ближе стены, а спинка дивана — дальше его морды. Нейросеть тоже может искать признаки взаимного расположения объектов: перспективу, перекрытия, знакомые формы. Задача называется оценкой глубины.

Попробуйте. Сначала сами назовите самый близкий и самый далёкий участок фотографии. Затем получите карту глубины. Совпало ли ваше предположение с ответом сети?

Интерактивные примеры работы нейронных сетей14

Увидеть глубину на плоской фотографии

Что ближе, а что дальше

Что ближе, а что дальше
Интерактивные примеры работы нейронных сетей15

Эксперимент

Что ближе, а что дальше

На карте светлое означает ближе, тёмное — дальше. Сравните границы предметов с фотографией.
Интерактивные примеры работы нейронных сетей16

Увидеть глубину на плоской фотографии

Вход — один снимок, выход — карта относительной глубины, где каждой точке сопоставлена оценка её удалённости. Такая карта помогает отделять ближний план от дальнего, например для эффекта размытого фона. Это другая задача, чем выделение кота: глубина описывает всю видимую сцену.

Интерактивные примеры работы нейронных сетей17

Превратить голос в текст

Теперь поменяем тип данных. Для распознавания речи на вход поступает звук, а на выходе нужна последовательность слов. Такая модель полезна для субтитров и черновика конспекта. Она должна восстановить произнесённое, включая имена и числа, а не сочинить подходящую по смыслу фразу.

Попробуйте. Откройте и прослушайте русский пример, затем запустите распознавание. После этого запишите короткую фразу с необычным именем или числом. Сверьте расшифровку с тем, что действительно прозвучало.

Интерактивные примеры работы нейронных сетей18

Превратить голос в текст

Русская речь становится текстом

Русская речь становится текстом
Интерактивные примеры работы нейронных сетей19

Эксперимент

Русская речь становится текстом

Можно использовать готовую запись, свой файл или микрофон. В опыте обрабатываются первые 30 секунд.
Интерактивные примеры работы нейронных сетей20

Превратить голос в текст

Плавный и грамматически правильный текст ещё не означает точную расшифровку. На шуме, тишине и непривычных словах модель может пропустить или добавить слова. Проверять результат нужно по записи, особенно если ошибка в имени или числе меняет смысл.

Интерактивные примеры работы нейронных сетей21

Обсудим

Превратить голос в текст

В расшифровке появилась гладкая фраза, которой вы не помните. Как проверить её?

  1. Убедиться, что в ней нет опечаток
  2. Прослушать соответствующий участок записи и сравнить слова
  3. Попросить модель сделать фразу ещё красивее
  4. Посмотреть на размер скачанной модели
Интерактивные примеры работы нейронных сетей22

Задать вопрос о фотографии или кадре с камеры

Детектор выдаёт рамки и названия категорий. Но иногда нужен другой ответ: «Что лежит на диване?» или «Чем отличаются два кота?». Здесь работают вместе изображение и язык. Мультимодальная модель получает фотографию и текст вопроса, затем составляет текстовый ответ.

Интерактивные примеры работы нейронных сетей23

Задать вопрос о фотографии или кадре с камеры

Попробуйте. Попросите описать фотографию одним предложением. Затем включите камеру и спросите, какие предметы видны или что человек держит в руке. Измените сцену и дождитесь следующего ответа. Быстрый вариант отвечает по-английски; для русского есть отдельный компактный вариант. Каждая модель видит отдельные кадры, поэтому ответы обновляются с задержкой, а не на каждом кадре видео.

Интерактивные примеры работы нейронных сетей24

Задать вопрос о фотографии или кадре с камеры

Вопросы по фотографии и камере

Вопросы по фотографии и камере
Интерактивные примеры работы нейронных сетей25

Эксперимент

Вопросы по фотографии и камере

Сопоставляйте каждое утверждение с изображением. Уверенный тон не подтверждает, что деталь существует.
Интерактивные примеры работы нейронных сетей26

Задать вопрос о фотографии или кадре с камеры

По внешности нельзя установить, «хороший» человек или «плохой», каков его характер и можно ли ему доверять. Проверяемые вопросы касаются видимых предметов и действий.

Модель может связать изображение с вопросом и сформулировать удобный ответ. Но она также может неверно посчитать предметы или придумать правдоподобную деталь. Сравните её описание с результатом детектора: подпись словами и список рамок имеют разные возможности и разные ошибки.

Интерактивные примеры работы нейронных сетей27

Поручить текстовую задачу

Языковая модель получает текст и генерирует продолжение. После специального обучения на заданиях и ответах она может выполнять инструкции: сокращать, переводить, объяснять или предлагать названия. В отличие от распознавания речи здесь часто допустимо много разных хороших ответов.

Попробуйте. Придумайте названия для кружка, затем попросите сократить готовый абзац. В первом случае оцените выразительность, во втором — сохранился ли смысл и не добавились ли новые сведения.

Интерактивные примеры работы нейронных сетей28

Поручить текстовую задачу

Текст по вашему заданию

Текст по вашему заданию
Интерактивные примеры работы нейронных сетей29

Эксперимент

Текст по вашему заданию

Начните с маленькой модели Qwen. Кнопки под заданием предлагают несколько разных задач.
Интерактивные примеры работы нейронных сетей30

Поручить текстовую задачу

Для сравнения ниже есть более крупная модель. Дайте ей точно то же задание и заранее выберите критерий: соблюдение ограничения, точность пересказа или удачность названий. Размер модели сам по себе не определяет победителя в конкретном опыте. Скачивание второго варианта необязательно.

Интерактивные примеры работы нейронных сетей31

Поручить текстовую задачу

То же задание для Gemma

То же задание для Gemma
Интерактивные примеры работы нейронных сетей32

Эксперимент

То же задание для Gemma

Около 2,3 ГБ загрузки и дополнительная рабочая память. При запуске другого примера предыдущая модель выгружается, а её ответ остаётся на странице.
Интерактивные примеры работы нейронных сетей33

Поручить текстовую задачу

Во всех этих опытах мы применяли готовые сети: загрузка фотографии или новый вопрос меняют вход, но не обучают модель заново. Это позволяет использовать одну обученную сеть много раз, для разных примеров подходящей ей задачи.

Интерактивные примеры работы нейронных сетей34

От результата — к устройству

Как сеть превращает числа изображения в рамку, цвет или слово? В следующей главе «Искусственный нейрон: входы, веса и выход» разберём самый маленький вычисляющий блок и начнём собирать ответ на этот вопрос.

Интерактивные примеры работы нейронных сетей35

Поручить текстовую задачу

  • Задачу определяют вход, нужный выход и критерий качества: рамка, маска, глубина и текст требуют разных проверок.
  • При обучении меняются настройки сети. При применении готовая сеть получает новые входные данные.
  • Правдоподобный результат нужно сверять с изображением, записью или условиями задания.
Интерактивные примеры работы нейронных сетей36

Домашняя работа

Выберите доступный опыт и испытайте его на двух разных входах. Запишите, что модель получила, что выдала и как вы проверили результат. Найдите удачный ответ и ошибку или ограничение. Если модели недоступны на вашем устройстве, разберите два результата с компьютера учителя.

Интерактивные примеры работы нейронных сетей37

Обсудим

Домашняя работа

Вы загрузили другое фото в готовый детектор. Что произошло в этом опыте?

  1. Модель применила прежние настройки к новому входу
  2. Модель заново обучилась на всех фотографиях мира
  3. Список известных модели категорий автоматически расширился
  4. Любая ошибка на новом фото стала невозможна
Интерактивные примеры работы нейронных сетей38

Источники