Распознавание лиц на железнодорожных станциях Лондона за полгода просканировало более 500 тыс. человек и не помогло полиции найти ни одного нужного подозреваемого. Британская транспортная полиция потратила на тест 320,79 тыс. фунтов стерлингов, а система выдала всего одно предупреждение — и оно оказалось ложным, сообщает CNews. Для IT-команд это редкий публичный кейс, где пилот ИИ-системы провалился не на презентации, а на реальной инфраструктуре с людьми, камерами, списками наблюдения и юридическими рисками.
Эксперимент проводила British Transport Police, отвечающая за безопасность на железнодорожном транспорте. Речь шла о технологии LFR, Live Facial Recognition, то есть распознавании лиц в режиме реального времени. Система должна была сравнивать лица пассажиров с полицейскими списками наблюдения и предупреждать сотрудников, если камера видит человека, которого разыскивают или считают опасным для пассажиров и персонала.
На бумаге сценарий выглядит как классический госсекторный кейс для компьютерного зрения: поставить камеры в местах с плотным потоком людей, подключить алгоритм, сверять лица с базой, быстро реагировать. На практике за шесть месяцев вышло почти анекдотично, хотя сумма уже не смешная. Оборудование и его эксплуатация обошлись BTP более чем в 320 тыс. фунтов, плюс почти 100 часов работы. Через систему прошли сотни тысяч лиц, но полезных срабатываний в статистике пилота не появилось.
Полиция отдельно уточнила, что за время эксперимента аресты все же были. Людей задерживали по делам о нападениях, кражах, хранении холодного оружия, нарушениях общественного порядка и другим эпизодам. Также находили тех, кого искали суды или другие полицейские органы. Но эти результаты не стали заслугой LFR: задержания произошли благодаря обычной работе сотрудников, а не из-за сигнала алгоритма. Иными словами, люди снова закрыли то, что должна была ускорить «умная» система.
Бывший британский уполномоченный по вопросам биометрии и камер видеонаблюдения Фрейзер Сэмпсон объяснил проблему набором переменных. Для успешного сценария должны совпасть место, время суток, качество списка наблюдения, вероятность появления нужных людей в конкретной зоне и другие условия. Он также провел важное различие: технология, которая может работать в ритейле для борьбы с кражами и нападениями на персонал, не автоматически переносится на общественный транспорт. В супермаркете поток, контекст и список угроз одни; на вокзале — другие, причем с куда более чувствительной обработкой персональных данных.
Это болезненное место для всех, кто внедряет ИИ в безопасность и городскую инфраструктуру. Алгоритм можно оценивать по точности на датасете, но в реальном пилоте решают совсем другие вещи: кто попадает в список наблюдения, насколько свежие и качественные там данные, как настроены пороги срабатывания, кто проверяет ошибки, сколько ложных тревог готова выдержать операционная команда. Если человека нет в списке, камера его не «найдет» в полицейском смысле. Если список слишком узкий, система молчит. Если расширить его без контроля, растут риски ошибочных совпадений и претензий к законности наблюдения.
BTP как раз говорит, что начала с ограниченного списка наблюдения, делая упор на качество данных, управление и защитные механизмы. Это разумная позиция для пилота, но она же показывает конфликт между безопасностью и KPI. Чтобы система выглядела эффективной, ей нужен достаточно широкий набор целей и места, где эти цели с ненулевой вероятностью появятся. Чтобы она была пропорциональной и юридически защищенной, список нельзя раздувать просто ради красивой статистики. Для поставщиков таких решений это неприятный урок: продать «распознавание лиц» легче, чем доказать, что оно дает операционный эффект без побочных последствий.
Политический фон тоже не помогает. В августе BTP заявила, что продлит эксперимент еще на четыре месяца и расширит зону применения, включив станции лондонского метро. Но в парламенте есть заметное сопротивление. Объединенный комитет по правам человека в недавнем докладе призвал правительство принять закон, который ограничит угрозы ИИ для прав человека, а LFR назвал особенно наглядным примером риска. Депутат от Лейбористской партии Белл Рибейро-Адди потребовала приостановить внедрение таких систем до появления более надежных гарантий и полноценной правовой базы.
Для разработчиков и продактов здесь важен не только вопрос «работает ли модель». Скорее вопрос в том, как считать успех продукта, который вмешивается в частную жизнь и используется государством. Один ложный сигнал на полмиллиона сканов может выглядеть как низкий уровень шума, но если полезных сигналов ноль, бизнес-эффекта тоже ноль. А если после расширения списков система начнет ловить больше людей, придется объяснять, какой ценой это достигнуто: ростом охвата, снижением порога уверенности, изменением категорий наблюдения или более агрессивным сбором данных.
Похоже, следующий раунд споров вокруг биометрии будет меньше похож на разговор о магии ИИ и больше — на аудит обычного IT-проекта: требования, метрики, стоимость владения, качество данных, правовая база и ответственность за ошибки. Распознавание лиц в транспорте может оказаться полезным инструментом, но лондонский пилот показывает неприятную для рынка вещь: камера с алгоритмом еще не равна системе безопасности, а полмиллиона обработанных лиц сами по себе не доказывают почти ничего.
