Данные и признаки: что машина знает о мире

← К урокам·Урок 1.2·45 мин

Как убрать рассылки и не потерять сообщение от друга? Соберём данные для фильтра и посмотрим, что меняется вместе с вопросом.

Вы договорились встретиться с другом после занятий и ждёте, куда он предложит пойти. Телефон показывает несколько новых сообщений. Среди них — реклама, уведомления и личная переписка. Хочется убрать лишнее, но сообщение друга потерять нельзя. Поручим программе простую работу: отделять спам от обычных сообщений.

С чего начать? Кажется, спам легко узнать по заглавным буквам, восклицаниям и телефонным номерам. Проверим эту догадку на настоящем SMS. По-русски его смысл такой: «Мой номер в Лутоне… Позвони, если будешь рядом!». А вот оригинал из набора SMS Spam Collection:

MY NO. IN LUTON 0125698789 RING ME IF UR AROUND! H*

Здесь есть все три подозрительных признака. Отправили бы вы это сообщение в спам?

Как сообщение размечено в наборе

Как обычное: человек сообщает свой номер и предлагает позвонить. Правило про заглавные, телефон и восклицание спрятало бы личное сообщение вместе с рекламой.

Чтобы придумать правило получше, сначала разберёмся, какую информацию дать программе. Все примеры этой главы будут возвращать нас к одному вопросу: что нужно знать о сообщении, чтобы принять нужное нам решение?

Начнём с трёх SMS. Номер позволяет найти оригинал в файле. Длина включает буквы, пробелы и знаки препинания.

Строка источника Оригинал SMS Символов Цифр Разметка
371 Cool, text me when you're ready 31 0 обычное
5384 You have 1 new message. Call 0207-083-6089 42 12 спам
264 MY NO. IN LUTON 0125698789 RING ME IF UR AROUND! H* 51 10 обычное

Первое означает «Напиши, когда будешь готов». Второе предлагает позвонить, чтобы получить новое сообщение. По числу цифр они различаются. Но у обычного SMS про Лутон цифр тоже много: человек передаёт номер телефона.

Объект здесь одно SMS: для него нужен один ответ. Признаки описывают доступные сведения об объекте, например число цифр. Разметка содержит уже известные ответы для учебных примеров. Её держат отдельно от признаков: у нового SMS ответа ещё нет.

SMS про Лутонодин объект 51 символ · 10 цифрпризнаки из текста обычноеметка источникаПризнаки вычисляем из текста.Ответ проверяем по разметке.
Один объект превращается в строку признаков. Метку берём отдельно из размеченного набора.

Фильтр должен при получении SMS определить, обычное оно или спам. В учебных примерах есть тексты и ответы проверяющих. Как разделить сведения для обучения?

Мы решили передать фильтру четыре простых признака: длину SMS, количество цифр, процент заглавных среди букв и наличие «!». Для последнего записываем 1, если знак есть, и 0, если его нет. У всех сообщений счётчики работают одинаково. Слова и их порядок в такую строку не попали.

Перед экспериментом сделайте прогноз: справится ли правило «есть цифры → спам» с уведомлением о новом сообщении и SMS про Лутон? Откройте оба оригинала и проверьте свой прогноз. Затем выключите этот признак и сравните, что осталось.

Соберите строку признаков

Выберите SMS, включайте признаки и открывайте разметку. Цифры подсвечиваются в оригинале. Кнопка пропуска имитирует сбой загрузки; это учебное изменение, в исходном наборе текст сохранён.

В уведомлении 12 цифр, в SMS про Лутон 10. Правило «есть цифры → спам» назовёт спамом оба и ошибётся на обычном SMS.

Если выключить все признаки, фильтр потеряет любые различия между сообщениями. Если оставить только «есть восклицательный знак», обычное SMS про Лутон и реклама камеры получат одинаковое значение: 1. Какое бы правило мы ни придумали на одном этом признаке, оно даст им одинаковый ответ и ошибётся хотя бы на одном.

Теперь нажмите «Смоделировать пропуск текста». Длина стала неизвестной. Ноль означал бы, что текст получен и пуст. Подмена пропуска нулём сообщила бы фильтру факт, которого у нас нет.

При этом метка источника может сохраниться. Такую строку можно учесть при подсчёте меток «спам», но вычислить длину по ней нельзя. Полезность строки зависит от того, какой вопрос мы задаём.

Сколько цифр содержит настоящее SMS «MY NO. IN LUTON 0125698789 RING ME IF UR AROUND! H*»?

Профи

Числовое представление и его ограничения

Обозначим текст через s, выбранные признаки через x, метку через y. Мы используем отображение s \mapsto x=(\text{длина},\text{цифры},\text{доля заглавных},\text{есть !}). Доля заглавных считается только среди букв; если букв нет, в этой лаборатории договоримся записывать ноль.

Модель получает x и предсказывает y. Совпадение x не доказывает, что совпадают исходные тексты. Поэтому удалять строки как дубликаты лишь по совпадению нескольких признаков нельзя.

Посчитать цифры в SMS

Цель: Исправьте счётчик, чтобы получить 10 цифр

В учебном наборе к каждому тексту приложена метка ham («обычное») или spam. Она пришла из источника данных. Мы не получили её подсчётом заглавных. Во время обучения модель ищет связь признаков с этими ответами; при проверке сравнивают её решения с сохранёнными метками.

Разметка требует договорённости. Учебный пример: магазин прислал скидку человеку, который согласился на рассылку, а другому отправил тот же текст без согласия. Если спам определён как нежелательная рассылка, ответы могут различаться. Самого текста для решения недостаточно: нужно знать о согласии. В SMS Spam Collection таких сведений нет.

Метка тоже может быть ошибочной или спорной. Подозрительный случай стоит перечитать, записать причину сомнения и проверить по принятому правилу. Незаметно менять метки под ответы собственной модели нельзя: тогда она будет проверять сама себя.

А если хочется не только убирать спам? Те же сообщения можно использовать в других задачах, но прежних меток уже не хватит.

Что хотим узнать? Какой нужен ответ? Что должно быть в примерах?
Это спам? Обычное / спам — классификация Метка для каждого сообщения
Через сколько минут получатель ответит? Число минут — регрессия Время получения и ответа; отдельно отмечаем отсутствие ответа
Что показать первым? Порядок сообщений — ранжирование Предпочтения получателя: какое сообщение важнее другого

У SMS про встречу и у банковского уведомления может быть одна метка «обычное», но разная важность для вас сейчас. Поэтому метка «не спам» не заменяет ответ на вопрос «показать первым». В нашем настоящем наборе есть тексты и метки спама. Времени ответа и личных приоритетов нет: их пришлось бы собирать отдельно.

Мы хотим предсказывать время ответа, но в таблице есть только тексты и метки «обычное / спам». Чего не хватает для обучения такому прогнозу?

В исходном файле 5574 сообщения, из них 747 помечены как спам. Сколько процентов сообщений помечено как спам? Округлите до десятых.

Вернёмся к фильтру, который должен сохранить сообщение друга. Представьте выгрузку: рядом с SMS записано, нажал ли получатель «Пожаловаться на спам». На старых сообщениях это кажется прекрасным признаком. Но фильтр должен решить, куда положить SMS, до того, как человек его прочитает. Жалобы в этот момент ещё нет.

Такую ошибку называют утечкой ответа: модель учится использовать сведения, которых не будет при настоящем решении. Проверять доступность признака нужно по времени, когда фильтр срабатывает.

SMS полученоРешение фильтраЖалоба человекаТекст уже известенЭтих сведений ещё нет
Жалоба на это SMS возникает после решения фильтра. Включать её в признаки при получении сообщения нельзя.

Фильтр принимает решение сразу при получении SMS. Какой признак доступен ему в этот момент и не содержит сведений из будущего?

Соберём паспорт нашего набора: что именно попало в файл и для каких решений этих данных достаточно.

Вопрос Паспорт нашего набора
Что за объект? Одно англоязычное SMS
Какой ответ? Метка обычное / спам из исходной коллекции
Сколько? 5574 строки, 747 со спамом
Откуда? Несколько публичных коллекций, включая Grumbletext и NUS
Что сделали в уроке? Выбрали восемь примеров вручную для сравнения, оригиналы сохранили; обучение и проверку модели здесь не проводим
Повторы? 5171 различная пара «текст, метка»; остальные 403 строки повторяют такие пары
Где осторожнее? Другой язык, новые рассылки, другая аудитория

Повтор текста не всегда ошибка: одинаковое «Позвоню позже» могут отправить разные люди. Но если копия уже встречалась при обучении, проверка на ней слабее проверки на новом сообщении. Для честного экзамена группы одинаковых текстов держат вместе при разделении. Совпадение длины и числа цифр само по себе повтором не считается.

Ещё одна ловушка: привычные слова могут выдавать источник коллекции. Фильтр рискует научиться отличать студенческую переписку одного региона от рекламных жалоб другого. Поэтому успех на этих SMS не доказывает, что он справится с русскоязычной рассылкой вашей школы.

Набор SMS Spam Collection содержит англоязычные SMS из нескольких публичных коллекций. Школе нужен фильтр русскоязычных сообщений. Какой вывод о применимости набора обоснован?

Профи

Повторы, пропуски и аккуратный подсчёт

Если 20 строк не содержат текста, 15 не содержат метки, а у 5 отсутствует и то и другое, удалить придётся 20+15-5=30 строк. Пять строк вошли в обе группы; второй раз их удалять нельзя. Это отдельный учебный пример с пропусками, не описание оригинального SMS Spam Collection.

В учебной выгрузке {{n}} строк. Без текста {{m}}, без метки {{c}}, а без обоих {{b}}. Сколько останется после удаления строк с любым пропуском?

Эпик

Предел любой модели с выбранными признаками

Пусть пять сообщений получили один и тот же набор признаков. Три размечены как обычные, два как спам. Детерминированная модель, использующая только эти признаки, обязана дать всем пяти один ответ. Назвав их обычными, она ошибётся дважды; назвав спамом, трижды. Две ошибки неизбежны.

Докажите общий результат. Разбейте набор на группы с одинаковыми признаками. Пусть в группе g количества двух меток равны a_g и b_g. Наименьшее число ошибок произвольной детерминированной функции на этом конечном наборе:

E_{\min}=\sum_g \min(a_g,b_g).

Нижняя оценка получается внутри каждой группы. Она достижима: каждой группе назначаем её более частую метку. Добавление признака может разделить группу и снизить предел. Усложнение модели при прежних признаках эту неоднозначность не устранит. Это утверждение о конечном наборе; оно не обещает качества на новых объектах.

Объект:

одно сообщение, о котором нужен ответ.

Признаки и разметка:

первые описывают доступный вход; вторая хранит ответы учебных примеров.

Новый вопрос:

спам, время ответа и личная важность требуют разных сведений для проверки.

Ограничения данных:

одинаковые признаки могут скрывать разный смысл. Проверяем пропуски, повторы и доступность сведений в момент решения.

Домашняя работа

Источники