Дообучение для следования инструкциям

На просьбу «ответь одним предложением» модель отвечает ещё одной просьбой. Как из продолжателя текста получается помощник?

Дообучение для следования инструкциям1

Дообучение для следования инструкциям

Модель умеет продолжать текст. Но просьбу «Ответь одним предложением» она может продолжить ещё одной похожей просьбой. Чтобы получить поведение помощника, ей показывают пары: вот инструкция, а вот подходящий ответ. Основа остаётся прежней — предсказание следующих токенов.

Дообучение для следования инструкциям2

Инструкция и образец ответа

Дообучение для следования инструкциям использует пары запросов и желаемых ответов. Например: «Назови два агрегатных состояния воды» → «Жидкое и твёрдое». Образец показывает содержание и форму: два элемента, а не длинная статья.

После предобучения у модели уже есть параметры. Во время дообучения программа дополнительно меняет их на таких парах, повышая вероятность подходящих ответов с учётом инструкции. Обучение на инструкциях и ответах

Дообучение для следования инструкциям3

Инструкция и образец ответа

Представьте сборник заданий: «Переведи предложение. Реши задачу. Объясни правило…». Продолжением одной просьбы там может оказаться другая просьба. Базовая модель не обязана сама догадаться, что сейчас от неё ждут ответа помощника.

Дообучение для следования инструкциям4

Инструкция и образец ответа

Один удачный образец не гарантирует перенос. Если в обучении просили два пункта, стоит проверить запрос на три пункта. Проверочные задания заранее откладывают и не используют для обновления весов.

Дообучение для следования инструкциям5

Обсудим

Инструкция и образец ответа

Веса модели обновляют на парах «инструкция → образец ответа». Что происходит?

  1. Образцы только добавляются в историю текущего диалога
  2. Приложение ищет подходящий документ
  3. Готовая модель генерирует ответ с прежними параметрами
  4. Модель дообучают для следования инструкциям
Дообучение для следования инструкциям6

Дообучение или пример в запросе?

Пару можно поместить и прямо в запрос: «Пример: холодный → тёплый. Теперь: тёмный →». Модель получает подсказку о действии и формате. При обычной генерации параметры не меняются — меняется контекст.

Сравните две процедуры с одинаковым образцом. При дообучении программа использует множество таких пар, вычисляет ошибку и обновляет веса. При обычном запросе готовая модель просто получает пару перед заданием.

Дообучение для следования инструкциям7

Дообучение или пример в запросе?

Тот же пример — два разных механизма

Тот же пример — два разных механизма
Дообучение для следования инструкциям8

Эксперимент

Тот же пример — два разных механизма

Выберите процедуру и используйте образец. Затем откройте новый диалог: посмотрите, что сохраняется, а что исчезает из входа. Это схема двух процедур.
Дообучение для следования инструкциям9

Дообучение или пример в запросе?

Если образец больше не входит в контекст нового диалога, он перестаёт подсказывать модели формат. Приложение иногда само сохраняет предпочтения и снова добавляет их во вход. Это тоже ещё не доказывает дообучение.

Дообучение для следования инструкциям10

Обсудим

Дообучение или пример в запросе?

Вы вставили два образца в запрос. Модель ответила без обновления весов. За счёт чего образцы могли помочь?

  1. Их использовала отдельная процедура дообучения
  2. Приложение заменило параметры модели новым набором
  3. Образцы вошли в текущий контекст
  4. После ответа модель навсегда сохранила образцы в своих весах
Дообучение для следования инструкциям11

Формат и достоверность — разные проверки

Пользователь просит: «Назови два состояния воды, без объяснений». Ответ «Жидкое и твёрдое» подходит. Подробная статья о превращениях воды может быть верной по содержанию, но нарушать формат. А «Жидкое и металлическое» коротко, однако неверно.

Дообучение для следования инструкциям12

Формат и достоверность — разные проверки

Что проверяем На что смотрим
Выполнение задания Названы именно состояния воды
Формат Два элемента, без лишнего объяснения
Достоверность Указанные состояния существуют
Перенос Новые похожие задания выполняются без готового ответа в запросе
Дообучение для следования инструкциям13

Формат и достоверность — разные проверки

Обучающие образцы должны быть и точными, и подходящими по форме. Повторяющиеся ошибки в ответах способны закрепить нежелательное поведение.

Есть и обучение на предпочтениях: человек или другая система сравнивает несколько ответов. Такие сравнения помогают настраивать поведение, но понравившийся ответ не обязательно истинен. Поэтому после дообучения отдельно проверяют новые инструкции, формат и факты.

Дообучение для следования инструкциям14

Обсудим

Формат и достоверность — разные проверки

Ответ соблюдает требование «три пункта», но содержит неверную дату. Как его оценить?

  1. Выполнение формата достаточно для полной оценки ответа
  2. Формат соблюдён, достоверность нарушена
  3. Дата не требует проверки, если модель была дообучена
  4. Ошибка в дате означает, что и число пунктов обязательно неверно
Дообучение для следования инструкциям15

Та же просьба — разные системные правила

Рассмотрим Альфреда, помощника из авторской презентации. Правила его поведения задаёт системный промпт — инструкции, которые разработчик приложения пишет заранее. Модель получает их вместе с запросом пользователя.

У Альфреда есть правило быть вежливым и помогать. На просьбу о кофе он отвечает: «Конечно, сэр. Сейчас принесу». Теперь оставим просьбу той же и заменим только системные инструкции.

Дообучение для следования инструкциям16

Та же просьба — разные системные правила

Что задаёт характер Альфреда?

Что задаёт характер Альфреда?
Дообучение для следования инструкциям17

Эксперимент

Что задаёт характер Альфреда?

Два учебных сценария из презентации: та же просьба, разные инструкции приложения. Переключите правило и сравните реплики.
Дообучение для следования инструкциям18

Та же просьба — разные системные правила

Пользователь сообщает текущую задачу, приложение — правила поведения. Оба текста входят в контекст, поэтому одна просьба в разных приложениях может получать разные ответы. В этих сценариях меняются системные инструкции; обновления параметров нет.

Для учебного помощника можно задать другой способ помощи: объяснять ход решения, задавать уточняющие вопросы, опираться на материалы курса. Тему и задание потом сообщает студент. Такие инструкции направляют поведение, но не гарантируют его: настройку проверяют на типичных вопросах и неудобных просьбах, например «просто дай готовое решение».

Дообучение для следования инструкциям19

Та же просьба — разные системные правила

Дообучение и инструкции часто работают вместе. Дообученная модель лучше распознаёт просьбы, а промпт задаёт текущую задачу и условия ответа. Если нужно ответить по объявлению, само объявление всё равно придётся передать: следование инструкциям не даёт доступа к отсутствующему документу.

Дообучение для следования инструкциям20

Настройка учебного помощника

Проверяйте отдельно: понял ли помощник задачу, выдержал ли формат, опирался ли на доступные сведения и обозначил ли неизвестное.

Дообучение для следования инструкциям21

Та же просьба — разные системные правила

  • Дообучение использует образцы для изменения параметров.
  • Пример в запросе и системные инструкции направляют ответ через контекст.
  • Новый диалог меняет историю, но не отменяет ранее выполненное дообучение.
  • Соблюдение формата и достоверность ответа проверяют отдельно.
Дообучение для следования инструкциям22

Обсудим

Домашняя работа

В новый запрос вставили пример «Просьба: перечисли два цвета. Ответ: красный, синий», затем попросили назвать два металла. Готовая модель ответила, её веса не обновлялись. За счёт чего пример мог повлиять на ответ?

  1. По одной паре заново построился словарь
  2. Пример вошёл в текущий контекст
  3. Модель прошла дообучение с обновлением параметров
  4. В запросе автоматически появились все сведения о металлах
Дообучение для следования инструкциям23

Источники