Система «узнала» посетителя в медицинской маске и определила его как преступника, укравшего три недели назад элитный алкоголь на сумму 78 тыс. рублей. Ошибка привела к задержанию на восемь часов и стоила мужчине 15 000 руб.
Как рассказал Антон Леушин в Facebook, 23 октября охранники гипермаркета «Ашан» на Красносельской (Москва) задержали мужчину на два с половиной часа, после чего он был доставлен в отделение полиции, где провел еще шесть часов. По словам потерпевшего, полицейские угрожали ему обыском в квартире и 8 годами тюрьмы. Причина задержания раскрылась после прибытия адвоката — «Автоматическая система распознавания лиц» предположила, что это мог быть посетитель, который несколько недель назад украл из магазина алкоголь. Сотрудники посчитали это достаточной причиной для обвинения.
IT-Manager отправил запрос в «Ашан».
Для начала стоит разобраться, как именно работает система. Директор Северо-Западного представительства ITV AxxonSoft в Санкт-Петербурге Яков Волкинд объясняет: «При распознавании лиц алгоритмом строится векторная маска. Причем ключевую роль в ее построении играет не только расстояние между зрачками, и даже не сами точки, а относительные единицы — т.е. пропорции между всеми отрезками. Когда часть лица закрыта, и не важно чем, у нас просто уменьшается количество контрольных точек, что снижает качество распознавания. Насколько именно — зависит от обстоятельств, но это неизбежно. Если раньше в первую очередь в кадр попади зрачки, и уже от них шло построение, то сейчас современные версии систем распознают людей даже с закрытыми глазами, так что разглядывание пола с целью спрятать глаза от камер не поможет сбить нейросеть с толку. Но чудес не бывает — скрытые под маской контрольные точки существенно снижают вероятность верного распознавания. Впрочем, опытным путем удалось выяснить, что если маска не закрывает нос, то ее наличие практически не мешает, так как те самые значимые контрольные точки остаются видимыми.»
Также Яков отметил, что для повышения процента распознавания, во-первых, необходимо обучать нейросеть «узнавать» лица с масками. Во-вторых, обучение должно проходить на очень большой выборке. Другой вариант — вносить людей в базу в масках, но в условиях магазина это попросту невозможно. Если это не пропускная система, где человеку необходимо «предъявить лицо» как альтернативу карточке, и он об этом знает, то на процесс влияют такие факторы, как положение камеры, ракурс, освещение и т.д.
Никто не обозначит, какова вероятность ошибки. В целом, 90%-ая точность вполне достижима, но стоит понимать, что видеоаналитика — это помощь. Хорошо если она квалифицированная и оказана с должным качеством, но есть масса окружающих факторов. Определенные нормы и процент погрешности, которые должны соблюсти разработчики по требованию различных контор, выполняются во время испытаний при стандартной освещенности.
Таким образом, разработчика данного решения нельзя привлечь к ответственности за случившееся, как к примеру, Gismeteo за ясный солнечный день, вопреки спрогнозированному дождю. Магазин может поставить систему, но говорить о том, что она на сто процентов заменит человека, неверно.
Это мнение подтверждает Кирилл Керценбаум, директор по продажам Symantec: «Нейросети — как одна из разновидностей систем искусственного интеллекта не являются по определению на 100% эффективными в процессах распознавания объектов и лиц. Как и любые самообучаемые решения, особенно до момента накопления больших выборок данных, вероятность ложно положительных и ложно отрицательных срабатываний может составлять от нескольких процентов до нескольких долей процента. К сожалению, сейчас это общая проблема отрасли ИИ, однако в последнее время количество таких ложных срабатываний снижается. Тем не менее, в первую очередь мы говорим о системах с большими выборками, например, государственного масштаба. В частном бизнесе, на значительно меньших объёмах данных, риск ложных срабатываний намного выше, и потому использовать их нужно куда аккуратнее, четко описывая поведение сотрудников при в подобных случаях. Данный конкретный пример описывает скорее не ошибку в работе видеоаналитики, а абсолютно некорректные меры реагирования и поведения персонала.»
Источник статьи: https://www.it-world.ru/cionews/business/157710.html
Как рассказал Антон Леушин в Facebook, 23 октября охранники гипермаркета «Ашан» на Красносельской (Москва) задержали мужчину на два с половиной часа, после чего он был доставлен в отделение полиции, где провел еще шесть часов. По словам потерпевшего, полицейские угрожали ему обыском в квартире и 8 годами тюрьмы. Причина задержания раскрылась после прибытия адвоката — «Автоматическая система распознавания лиц» предположила, что это мог быть посетитель, который несколько недель назад украл из магазина алкоголь. Сотрудники посчитали это достаточной причиной для обвинения.
IT-Manager отправил запрос в «Ашан».
Для начала стоит разобраться, как именно работает система. Директор Северо-Западного представительства ITV AxxonSoft в Санкт-Петербурге Яков Волкинд объясняет: «При распознавании лиц алгоритмом строится векторная маска. Причем ключевую роль в ее построении играет не только расстояние между зрачками, и даже не сами точки, а относительные единицы — т.е. пропорции между всеми отрезками. Когда часть лица закрыта, и не важно чем, у нас просто уменьшается количество контрольных точек, что снижает качество распознавания. Насколько именно — зависит от обстоятельств, но это неизбежно. Если раньше в первую очередь в кадр попади зрачки, и уже от них шло построение, то сейчас современные версии систем распознают людей даже с закрытыми глазами, так что разглядывание пола с целью спрятать глаза от камер не поможет сбить нейросеть с толку. Но чудес не бывает — скрытые под маской контрольные точки существенно снижают вероятность верного распознавания. Впрочем, опытным путем удалось выяснить, что если маска не закрывает нос, то ее наличие практически не мешает, так как те самые значимые контрольные точки остаются видимыми.»
Также Яков отметил, что для повышения процента распознавания, во-первых, необходимо обучать нейросеть «узнавать» лица с масками. Во-вторых, обучение должно проходить на очень большой выборке. Другой вариант — вносить людей в базу в масках, но в условиях магазина это попросту невозможно. Если это не пропускная система, где человеку необходимо «предъявить лицо» как альтернативу карточке, и он об этом знает, то на процесс влияют такие факторы, как положение камеры, ракурс, освещение и т.д.
Никто не обозначит, какова вероятность ошибки. В целом, 90%-ая точность вполне достижима, но стоит понимать, что видеоаналитика — это помощь. Хорошо если она квалифицированная и оказана с должным качеством, но есть масса окружающих факторов. Определенные нормы и процент погрешности, которые должны соблюсти разработчики по требованию различных контор, выполняются во время испытаний при стандартной освещенности.
Таким образом, разработчика данного решения нельзя привлечь к ответственности за случившееся, как к примеру, Gismeteo за ясный солнечный день, вопреки спрогнозированному дождю. Магазин может поставить систему, но говорить о том, что она на сто процентов заменит человека, неверно.
Это мнение подтверждает Кирилл Керценбаум, директор по продажам Symantec: «Нейросети — как одна из разновидностей систем искусственного интеллекта не являются по определению на 100% эффективными в процессах распознавания объектов и лиц. Как и любые самообучаемые решения, особенно до момента накопления больших выборок данных, вероятность ложно положительных и ложно отрицательных срабатываний может составлять от нескольких процентов до нескольких долей процента. К сожалению, сейчас это общая проблема отрасли ИИ, однако в последнее время количество таких ложных срабатываний снижается. Тем не менее, в первую очередь мы говорим о системах с большими выборками, например, государственного масштаба. В частном бизнесе, на значительно меньших объёмах данных, риск ложных срабатываний намного выше, и потому использовать их нужно куда аккуратнее, четко описывая поведение сотрудников при в подобных случаях. Данный конкретный пример описывает скорее не ошибку в работе видеоаналитики, а абсолютно некорректные меры реагирования и поведения персонала.»
Источник статьи: https://www.it-world.ru/cionews/business/157710.html