Данные и признаки: что машина знает о мире

Как убрать рассылки и не потерять сообщение от друга? Соберём данные для фильтра и посмотрим, что меняется вместе с вопросом.

Данные и признаки: что машина знает о мире1

Данные и признаки: что машина знает о мире

Вы договорились встретиться с другом после занятий и ждёте, куда он предложит пойти. Телефон показывает несколько новых сообщений. Среди них — реклама, уведомления и личная переписка. Хочется убрать лишнее, но сообщение друга потерять нельзя. Поручим программе простую работу: отделять спам от обычных сообщений.

С чего начать? Кажется, спам легко узнать по заглавным буквам, восклицаниям и телефонным номерам. Проверим эту догадку на настоящем SMS. По-русски его смысл такой: «Мой номер в Лутоне… Позвони, если будешь рядом!». А вот оригинал из набора SMS Spam Collection:

MY NO. IN LUTON 0125698789 RING ME IF UR AROUND! H*

Данные и признаки: что машина знает о мире2

Данные и признаки: что машина знает о мире

Здесь есть все три подозрительных признака. Отправили бы вы это сообщение в спам?

Данные и признаки: что машина знает о мире3

Как сообщение размечено в наборе

Данные и признаки: что машина знает о мире

Как обычное: человек сообщает свой номер и предлагает позвонить. Правило про заглавные, телефон и восклицание спрятало бы личное сообщение вместе с рекламой.

Данные и признаки: что машина знает о мире4

Данные и признаки: что машина знает о мире

Чтобы придумать правило получше, сначала разберёмся, какую информацию дать программе. Все примеры этой главы будут возвращать нас к одному вопросу: что нужно знать о сообщении, чтобы принять нужное нам решение?

Данные и признаки: что машина знает о мире5

Строка, столбец, ответ

Начнём с трёх SMS. Номер позволяет найти оригинал в файле. Длина включает буквы, пробелы и знаки препинания.

Данные и признаки: что машина знает о мире6

Строка, столбец, ответ

Строка источника Оригинал SMS Символов Цифр Разметка
371 Cool, text me when you're ready 31 0 обычное
5384 You have 1 new message. Call 0207-083-6089 42 12 спам
264 MY NO. IN LUTON 0125698789 RING ME IF UR AROUND! H* 51 10 обычное
Данные и признаки: что машина знает о мире7

Строка, столбец, ответ

Первое означает «Напиши, когда будешь готов». Второе предлагает позвонить, чтобы получить новое сообщение. По числу цифр они различаются. Но у обычного SMS про Лутон цифр тоже много: человек передаёт номер телефона.

Объект здесь одно SMS: для него нужен один ответ. Признаки описывают доступные сведения об объекте, например число цифр. Разметка содержит уже известные ответы для учебных примеров. Её держат отдельно от признаков: у нового SMS ответа ещё нет.

Данные и признаки: что машина знает о мире8

Строка, столбец, ответ

SMS про Лутонодин объект 51 символ · 10 цифрпризнаки из текста обычноеметка источникаПризнаки вычисляем из текста.Ответ проверяем по разметке.
Один объект превращается в строку признаков. Метку берём отдельно из размеченного набора.
Данные и признаки: что машина знает о мире9

Пояснение

Строка, столбец, ответ

Одна строка зависит от вопроса. Если предсказываем спам, строкой будет SMS. Если хотим понять, кто из отправителей рассылает спам, строкой станет отправитель; число его сообщений за прошедший день может быть признаком.

Данные и признаки: что машина знает о мире10

Обсудим

Строка, столбец, ответ

Фильтр должен при получении SMS определить, обычное оно или спам. В учебных примерах есть тексты и ответы проверяющих. Как разделить сведения для обучения?

  1. Объект: одно SMS; признаки: длина и число цифр; разметка: обычное или спам
  2. Объект: одно SMS; признаки: правильная метка; разметка: длина
  3. Объект: одна цифра; признаки: все сообщения; разметка: телефон
  4. Объект: одно SMS; признаки: жалоба на него завтра; разметка: число цифр
Данные и признаки: что машина знает о мире11

Что исчезает при превращении в числа

Мы решили передать фильтру четыре простых признака: длину SMS, количество цифр, процент заглавных среди букв и наличие «!». Для последнего записываем 1, если знак есть, и 0, если его нет. У всех сообщений счётчики работают одинаково. Слова и их порядок в такую строку не попали.

Перед экспериментом сделайте прогноз: справится ли правило «есть цифры → спам» с уведомлением о новом сообщении и SMS про Лутон? Откройте оба оригинала и проверьте свой прогноз. Затем выключите этот признак и сравните, что осталось.

Данные и признаки: что машина знает о мире12

Короткий спам

Соберите строку признаков

Соберите строку признаков
Данные и признаки: что машина знает о мире13

Обычное SMS с цифрами

Соберите строку признаков

Соберите строку признаков
Данные и признаки: что машина знает о мире14

Один признак: обычное SMS с «!»

Соберите строку признаков

Соберите строку признаков
Данные и признаки: что машина знает о мире15

Тот же признак: спам с «!»

Соберите строку признаков

Соберите строку признаков
Данные и признаки: что машина знает о мире16

Пропуск текста

Соберите строку признаков

Соберите строку признаков
Данные и признаки: что машина знает о мире17

Эксперимент

Соберите строку признаков

Выберите SMS, включайте признаки и открывайте разметку. Цифры подсвечиваются в оригинале. Кнопка пропуска имитирует сбой загрузки; это учебное изменение, в исходном наборе текст сохранён.
Данные и признаки: что машина знает о мире18

Что исчезает при превращении в числа

В уведомлении 12 цифр, в SMS про Лутон 10. Правило «есть цифры → спам» назовёт спамом оба и ошибётся на обычном SMS.

Если выключить все признаки, фильтр потеряет любые различия между сообщениями. Если оставить только «есть восклицательный знак», обычное SMS про Лутон и реклама камеры получат одинаковое значение: 1. Какое бы правило мы ни придумали на одном этом признаке, оно даст им одинаковый ответ и ошибётся хотя бы на одном.

Данные и признаки: что машина знает о мире19

Вопрос для обсуждения

Что исчезает при превращении в числа

Можно ли спасти такой фильтр, добавив ещё тысячу примеров, но оставив единственный признак «есть !»? Примеры помогут узнать частоты, однако эта пара останется неразличимой.

Данные и признаки: что машина знает о мире20

Что исчезает при превращении в числа

Теперь нажмите «Смоделировать пропуск текста». Длина стала неизвестной. Ноль означал бы, что текст получен и пуст. Подмена пропуска нулём сообщила бы фильтру факт, которого у нас нет.

При этом метка источника может сохраниться. Такую строку можно учесть при подсчёте меток «спам», но вычислить длину по ней нельзя. Полезность строки зависит от того, какой вопрос мы задаём.

Данные и признаки: что машина знает о мире21

Обсудим

Что исчезает при превращении в числа

Сколько цифр содержит настоящее SMS «MY NO. IN LUTON 0125698789 RING ME IF UR AROUND! H*»?

Данные и признаки: что машина знает о мире22

Профи

Числовое представление и его ограничения

Обозначим текст через s, выбранные признаки через x, метку через y. Мы используем отображение s \mapsto x=(\text{длина},\text{цифры},\text{доля заглавных},\text{есть !}). Доля заглавных считается только среди букв; если букв нет, в этой лаборатории договоримся записывать ноль.

Модель получает x и предсказывает y. Совпадение x не доказывает, что совпадают исходные тексты. Поэтому удалять строки как дубликаты лишь по совпадению нескольких признаков нельзя.

Данные и признаки: что машина знает о мире23

Профи · Python

Посчитать цифры в SMS

Исправьте счётчик, чтобы получить 10 цифр

Данные и признаки: что машина знает о мире24

Меняем вопрос — меняем нужные ответы

В учебном наборе к каждому тексту приложена метка ham («обычное») или spam. Она пришла из источника данных. Мы не получили её подсчётом заглавных. Во время обучения модель ищет связь признаков с этими ответами; при проверке сравнивают её решения с сохранёнными метками.

Данные и признаки: что машина знает о мире25

Меняем вопрос — меняем нужные ответы

Разметка требует договорённости. Учебный пример: магазин прислал скидку человеку, который согласился на рассылку, а другому отправил тот же текст без согласия. Если спам определён как нежелательная рассылка, ответы могут различаться. Самого текста для решения недостаточно: нужно знать о согласии. В SMS Spam Collection таких сведений нет.

Метка тоже может быть ошибочной или спорной. Подозрительный случай стоит перечитать, записать причину сомнения и проверить по принятому правилу. Незаметно менять метки под ответы собственной модели нельзя: тогда она будет проверять сама себя.

Данные и признаки: что машина знает о мире26

Меняем вопрос — меняем нужные ответы

А если хочется не только убирать спам? Те же сообщения можно использовать в других задачах, но прежних меток уже не хватит.

Данные и признаки: что машина знает о мире27

Меняем вопрос — меняем нужные ответы

Что хотим узнать? Какой нужен ответ? Что должно быть в примерах?
Это спам? Обычное / спам — классификация Метка для каждого сообщения
Через сколько минут получатель ответит? Число минут — регрессия Время получения и ответа; отдельно отмечаем отсутствие ответа
Что показать первым? Порядок сообщений — ранжирование Предпочтения получателя: какое сообщение важнее другого
Данные и признаки: что машина знает о мире28

Меняем вопрос — меняем нужные ответы

У SMS про встречу и у банковского уведомления может быть одна метка «обычное», но разная важность для вас сейчас. Поэтому метка «не спам» не заменяет ответ на вопрос «показать первым». В нашем настоящем наборе есть тексты и метки спама. Времени ответа и личных приоритетов нет: их пришлось бы собирать отдельно.

Данные и признаки: что машина знает о мире29

Обсудим

Меняем вопрос — меняем нужные ответы

Мы хотим предсказывать время ответа, но в таблице есть только тексты и метки «обычное / спам». Чего не хватает для обучения такому прогнозу?

  1. Наблюдений о времени получения и ответа, с отметкой случаев без ответа
  2. Ещё одной копии столбца «спам»
  3. Перевода слова «обычное» в число 1
  4. Более длинного названия модели
Данные и признаки: что машина знает о мире30

Обсудим

Меняем вопрос — меняем нужные ответы

В исходном файле 5574 сообщения, из них 747 помечены как спам. Сколько процентов сообщений помечено как спам? Округлите до десятых.

Данные и признаки: что машина знает о мире31

Подсказка из будущего

Вернёмся к фильтру, который должен сохранить сообщение друга. Представьте выгрузку: рядом с SMS записано, нажал ли получатель «Пожаловаться на спам». На старых сообщениях это кажется прекрасным признаком. Но фильтр должен решить, куда положить SMS, до того, как человек его прочитает. Жалобы в этот момент ещё нет.

Такую ошибку называют утечкой ответа: модель учится использовать сведения, которых не будет при настоящем решении. Проверять доступность признака нужно по времени, когда фильтр срабатывает.

Данные и признаки: что машина знает о мире32

Подсказка из будущего

SMS полученоРешение фильтраЖалоба человекаТекст уже известенЭтих сведений ещё нет
Жалоба на это SMS возникает после решения фильтра. Включать её в признаки при получении сообщения нельзя.
Данные и признаки: что машина знает о мире33

Пояснение

Подсказка из будущего

История жалоб на отправителя, накопленная до нового SMS, может быть допустимым признаком. Жалоба на само новое сообщение появляется позже. Похожие названия столбцов скрывают разный порядок событий.

Данные и признаки: что машина знает о мире34

Обсудим

Подсказка из будущего

Фильтр принимает решение сразу при получении SMS. Какой признак доступен ему в этот момент и не содержит сведений из будущего?

  1. Число жалоб на отправителя, накопленных до получения этого SMS
  2. Жалоба получателя на это SMS через час
  3. Итог проверки этого SMS модератором завтра
  4. Удалит ли получатель это SMS вечером
Данные и признаки: что машина знает о мире35

Паспорт: откуда примеры и кому они подходят

Соберём паспорт нашего набора: что именно попало в файл и для каких решений этих данных достаточно.

Данные и признаки: что машина знает о мире36

Паспорт: откуда примеры и кому они подходят

Вопрос Паспорт нашего набора
Что за объект? Одно англоязычное SMS
Какой ответ? Метка обычное / спам из исходной коллекции
Сколько? 5574 строки, 747 со спамом
Откуда? Несколько публичных коллекций, включая Grumbletext и NUS
Что сделали в уроке? Выбрали восемь примеров вручную для сравнения, оригиналы сохранили; обучение и проверку модели здесь не проводим
Повторы? 5171 различная пара «текст, метка»; остальные 403 строки повторяют такие пары
Где осторожнее? Другой язык, новые рассылки, другая аудитория
Данные и признаки: что машина знает о мире37

Источники

Паспорт: откуда примеры и кому они подходят

Страница UCI содержит описание источников и лицензию CC BY 4.0. Архив с оригинальным файлом позволяет пересчитать строки. Восемь примеров лаборатории подобраны для объяснения и не передают частоты всей коллекции.

Данные и признаки: что машина знает о мире38

Паспорт: откуда примеры и кому они подходят

Повтор текста не всегда ошибка: одинаковое «Позвоню позже» могут отправить разные люди. Но если копия уже встречалась при обучении, проверка на ней слабее проверки на новом сообщении. Для честного экзамена группы одинаковых текстов держат вместе при разделении. Совпадение длины и числа цифр само по себе повтором не считается.

Ещё одна ловушка: привычные слова могут выдавать источник коллекции. Фильтр рискует научиться отличать студенческую переписку одного региона от рекламных жалоб другого. Поэтому успех на этих SMS не доказывает, что он справится с русскоязычной рассылкой вашей школы.

Данные и признаки: что машина знает о мире39

Обсудим

Паспорт: откуда примеры и кому они подходят

Набор SMS Spam Collection содержит англоязычные SMS из нескольких публичных коллекций. Школе нужен фильтр русскоязычных сообщений. Какой вывод о применимости набора обоснован?

  1. На нём можно разобрать механизм, а качество для школы нужно проверять на подходящих школьных сообщениях
  2. Любой фильтр с этого набора готов для школы
  3. Если использовать только длину, отдельная проверка больше не нужна
  4. Достаточно скопировать набор десять раз, чтобы охватить школьную переписку
Данные и признаки: что машина знает о мире40

Профи

Повторы, пропуски и аккуратный подсчёт

Если 20 строк не содержат текста, 15 не содержат метки, а у 5 отсутствует и то и другое, удалить придётся 20+15-5=30 строк. Пять строк вошли в обе группы; второй раз их удалять нельзя. Это отдельный учебный пример с пропусками, не описание оригинального SMS Spam Collection.

Данные и признаки: что машина знает о мире41

Профи · Обсудим

Повторы, пропуски и аккуратный подсчёт

В учебной выгрузке 418 строк. Без текста 58, без метки 35, а без обоих 6. Сколько останется после удаления строк с любым пропуском?

Данные и признаки: что машина знает о мире42

Эпик

Предел любой модели с выбранными признаками

Пусть пять сообщений получили один и тот же набор признаков. Три размечены как обычные, два как спам. Детерминированная модель, использующая только эти признаки, обязана дать всем пяти один ответ. Назвав их обычными, она ошибётся дважды; назвав спамом, трижды. Две ошибки неизбежны.

Докажите общий результат. Разбейте набор на группы с одинаковыми признаками. Пусть в группе g количества двух меток равны a_g и b_g. Наименьшее число ошибок произвольной детерминированной функции на этом конечном наборе:

Данные и признаки: что машина знает о мире43

Эпик

Предел любой модели с выбранными признаками

E_{\min}=\sum_g \min(a_g,b_g).
Данные и признаки: что машина знает о мире44

Эпик

Предел любой модели с выбранными признаками

Нижняя оценка получается внутри каждой группы. Она достижима: каждой группе назначаем её более частую метку. Добавление признака может разделить группу и снизить предел. Усложнение модели при прежних признаках эту неоднозначность не устранит. Это утверждение о конечном наборе; оно не обещает качества на новых объектах.

Данные и признаки: что машина знает о мире45

Паспорт: откуда примеры и кому они подходят

  • Объект: одно сообщение, о котором нужен ответ.
  • Признаки и разметка: первые описывают доступный вход; вторая хранит ответы учебных примеров.
  • Новый вопрос: спам, время ответа и личная важность требуют разных сведений для проверки.
  • Ограничения данных: одинаковые признаки могут скрывать разный смысл. Проверяем пропуски, повторы и доступность сведений в момент решения.
Данные и признаки: что машина знает о мире46

Домашняя работа

  • Три учебных сообщения: А — «Встречаемся у входа в 17:00!» от друга; Б — «Вы выиграли приз!» из нежелательной рассылки; В — «Завтра занятий нет» от одноклассника. Составьте таблицу: одно сообщение на строку, признаки «число цифр» и «есть !», отдельно ответ «обычное / спам».
  • Учебные SMS: А — «Встречаемся у входа в 17:00!» от друга; Б — «Вы выиграли приз!» из нежелательной рассылки; В — «Завтра занятий нет» от одноклассника. Примените к ним правило «если есть ! — спам, иначе — обычное». Где оно ошибётся? Объясните, почему по одному этому признаку нельзя различить А и Б.
Данные и признаки: что машина знает о мире47

Домашняя работа

  • В архиве SMS есть только тексты и метки «обычное / спам». Нужен прогноз времени от получения сообщения до вашего ответа. Какие сведения придётся добавить в учебные примеры? Объясните, почему настоящее время ответа можно использовать для проверки, но нельзя дать модели как признак до прогноза.
Данные и признаки: что машина знает о мире48

Следующий сюжет

Из одного признака построим правило фильтра: выберем границу по длине SMS и посмотрим, какие обычные сообщения оно спрячет, а какой спам пропустит.

Данные и признаки: что машина знает о мире49

Источники