Модель умеет продолжать текст. Но просьбу «Ответь одним предложением» она может продолжить ещё одной похожей просьбой. Чтобы получить поведение помощника, ей показывают пары: вот инструкция, а вот подходящий ответ. Основа остаётся прежней — предсказание следующих токенов.
Дообучение для следования инструкциям использует пары запросов и желаемых ответов. Например: «Назови два агрегатных состояния воды» → «Жидкое и твёрдое». Образец показывает содержание и форму: два элемента, а не длинная статья.
После предобучения у модели уже есть параметры. Во время дообучения программа дополнительно меняет их на таких парах, повышая вероятность подходящих ответов с учётом инструкции. Обучение на инструкциях и ответах
Представьте сборник заданий: «Переведи предложение. Реши задачу. Объясни правило…». Продолжением одной просьбы там может оказаться другая просьба. Базовая модель не обязана сама догадаться, что сейчас от неё ждут ответа помощника.
Один удачный образец не гарантирует перенос. Если в обучении просили два пункта, стоит проверить запрос на три пункта. Проверочные задания заранее откладывают и не используют для обновления весов.
Пару можно поместить и прямо в запрос: «Пример: холодный → тёплый. Теперь: тёмный →». Модель получает подсказку о действии и формате. При обычной генерации параметры не меняются — меняется контекст.
Сравните две процедуры с одинаковым образцом. При дообучении программа использует множество таких пар, вычисляет ошибку и обновляет веса. При обычном запросе готовая модель просто получает пару перед заданием.
Если образец больше не входит в контекст нового диалога, он перестаёт подсказывать модели формат. Приложение иногда само сохраняет предпочтения и снова добавляет их во вход. Это тоже ещё не доказывает дообучение.
Пользователь просит: «Назови два состояния воды, без объяснений». Ответ «Жидкое и твёрдое» подходит. Подробная статья о превращениях воды может быть верной по содержанию, но нарушать формат. А «Жидкое и металлическое» коротко, однако неверно.
| Что проверяем | На что смотрим |
|---|---|
| Выполнение задания | Названы именно состояния воды |
| Формат | Два элемента, без лишнего объяснения |
| Достоверность | Указанные состояния существуют |
| Перенос | Новые похожие задания выполняются без готового ответа в запросе |
Обучающие образцы должны быть и точными, и подходящими по форме. Повторяющиеся ошибки в ответах способны закрепить нежелательное поведение.
Есть и обучение на предпочтениях: человек или другая система сравнивает несколько ответов. Такие сравнения помогают настраивать поведение, но понравившийся ответ не обязательно истинен. Поэтому после дообучения отдельно проверяют новые инструкции, формат и факты.
Рассмотрим Альфреда, помощника из авторской презентации. Правила его поведения задаёт системный промпт — инструкции, которые разработчик приложения пишет заранее. Модель получает их вместе с запросом пользователя.
У Альфреда есть правило быть вежливым и помогать. На просьбу о кофе он отвечает: «Конечно, сэр. Сейчас принесу». Теперь оставим просьбу той же и заменим только системные инструкции.
Пользователь сообщает текущую задачу, приложение — правила поведения. Оба текста входят в контекст, поэтому одна просьба в разных приложениях может получать разные ответы. В этих сценариях меняются системные инструкции; обновления параметров нет.
Для учебного помощника можно задать другой способ помощи: объяснять ход решения, задавать уточняющие вопросы, опираться на материалы курса. Тему и задание потом сообщает студент. Такие инструкции направляют поведение, но не гарантируют его: настройку проверяют на типичных вопросах и неудобных просьбах, например «просто дай готовое решение».
Дообучение и инструкции часто работают вместе. Дообученная модель лучше распознаёт просьбы, а промпт задаёт текущую задачу и условия ответа. Если нужно ответить по объявлению, само объявление всё равно придётся передать: следование инструкциям не даёт доступа к отсутствующему документу.
Дообучение использует образцы для изменения параметров.
Пример в запросе и системные инструкции направляют ответ через контекст.
Новый диалог меняет историю, но не отменяет ранее выполненное дообучение.
Соблюдение формата и достоверность ответа проверяют отдельно.