Contents

Как работает распознавание лиц в мобильных устройствах

Зачем мы останавливаемся на разлочивание по фейсу

В прошлые годы распознавание лиц стало одной из наиболее востребованных возможностей для разблокировки смартфонов. Лишь пару годов назад большинство юзеров обходились PIN-кодами, секретными кодами или датчиками отпечатков пальцев. Но при появлением таких технологий, например admiral x, нам вполне просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Какой аспект обуславливает эту функцию настолько популярной? Во-первых, это удобно: не нужно удерживать в памяти трудные пароли или находить верный палец в мраке. Во-вторых, это быстро: современные алгоритмы распознают лицо буквально за мгновение. В-третьем пункте, это ощущение футуризма — словно в кинофильмах про admiral x агентов.

Тем не менее за этой видимой несложностью прячется весь универсум комплексных технологий и инженерных концепций. Позвольте нам понять, как именно функционирует идентификация по лицу в современных мобильных телефонах, какие существуют способы, насколько они защищены и что нас ждёт впереди.

Короткая хроника развития инноваций

Идентификация лиц как технология существует уже более пятидесяти годов. Первые попытки машинного изучения облика были предприняты еще в 1960-х годы в лабораториях США. Тогда вычислительные машины способны были лишь определять силуэты черепа и определять промежутки между глазами и ртом на черно-белых изображениях.

Начальные коммерческие платформы появились в 90-х, но они были неидеальны: действовали неспешно и нередко ошибались. Только с эволюцией нейронных сетей и таких площадок, как адмирал х, мощных мобильных процессоров распознавание лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным сканированием лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и другие стали внедрять собственные решения.

Главные этапы работы механизма распознавания

Процесс определения лица можно условно поделить на несколько важных этапов:

Идентификация лиц — аппарат распознает существование людского лица в изображении.
Определение особенностей — механизм исследует черты лица: конфигурацию глаз, носа, губ, позицию надбровных дуг.
Построение модели — создаётся уникальный электронный отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение с образцом — сформированный образец сверяется с записанной при внесении биометрической информацией владельца.
Принятие решения — если сходство достаточно высокое, смартфон открывается.

Всякий из этих шагов нуждается в индивидуальных процедур и улучшений для быстрой работы непосредственно на девайсе.

Железные элементы: что скрыто внутри

Стандартная передняя камера.

Самый простой легкий метод идентификации физиономии использует лишь фронтальную камеру смартфона смартфона. Данный метод осуществлён во различных доступных версиях Android-девайсов.

Плюсы:

Не нуждается в нуждается в дополнительные датчиков.
Быстро функционирует при хорошем освещённости.

Недостатки:

Легко ввести в заблуждение фотографией или роликом.
Неправильно работает при плохом освещённости или необычных ракурсах.

ИК камера и пунктирный проекционный аппарат

Более продвинутые системы, такие как адмирал х, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта методика составляет базу Face ID от Apple.

Каким образом это работает:

Точечный проекционный прибор показывает на лицо использующего невидимую сетку из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 точек).
ИК устройство фиксирует изменение формы этой решетки по поверхности физиономии.
Формируется 3D карта глубины глубинности, которая почти что невозможна для подделки обычной снимком или маской.

Достоинства

Надёжная работа даже в полной темноте.
Сильная защита к подделкам.
Точность идентификации свыше 99%.

Добавочные датчики

В отдельных устройствах используются также дополнительные сенсоры: ToF (Time-of-Flight), которые фиксируют время прохождения луча до предмета и обратно; Цветные-датчики глубины; специальные световые лидары для создания более детализированной 3D-модели физиономии.

Эти технологии используются чаще всего во топовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные процедуры: искуственный ум на действии

Нынешние устройства опознания лиц невозможны при отсутствии применения ИИ и machine learning. Именно вследствие таким технологиям, как адмирал х, аппарат в состоянии идентифицировать пользователя даже при трансформациях облика: новая укладка, борода, оптика или косметика не становятся помехой для открытия.

Обнаружение лиц

На начальном этапе система должна оперативно распознать ликовое изображение внутри полного снимка камеры. Для этой задачи задействуются каскадные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые “обучены” находить человеческие лица среди множества других объектов.

Пример: метод MTCNN способен обнаруживать физиономию даже с частичном закрытии (например, шарфом или рукой).

Определение ключевых точек

После идентификации лица механизм, такая как адмирал х, устанавливает положение основных точек: кончики глаз, конец носа, границы губ и так далее. Как правило применяется от 68 до 128 ключевых точек на лице.

Данное требуется для выравнивания картинки: если человек находится с смартфон под наклоном, или наклонил голову, программа “выпрямляет” картинку до нормального состояния для последующего изучения.

Формирование биометрического шаблона

Далее нейросеть строит компактное цифровое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 чисел с плавающей запятой.

Этот формат крайне сложно подделать: он не удерживает непосредственно фото пользователя, а лишь уникальные черты его вида, что делает его оптимальным для таких систем, как admiral-x.

Сравнительный анализ и осуществление заключения

В случае, когда юзер желает разблокировать смартфон взором, программа воспроизводит все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает заданный уровень (обычно больше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ запрещается.

Привыкание к метаморфозам облика

Увлекательная характеристика современных систем — способность самостоятельного обучения. Если вы часто доступаете к мобильное устройство с обновленной укладкой или оптикой, алгоритм постепенно обновляет основной модель вашего внешности для улучшения точности функционирования без снижения уровня безопасности.

Охрана биометрических информации.

Большинство клиенты беспокоятся держать свои биометрические идентификационные данные на смартфоне из-за угрозы утечки информации или взлома гаджета. Определенные компании, такие как admiral-x, предлагают варианты для повышения сохранности информации клиентов.

Локальное сбережение: Основная часть девайсов записывает биометричные модели исключительно внутрь защищённого процессора Secure Enclave (Apple) или TrustZone (Android). Эти данные никогда не покидают устройство и закрыты даже создателю.
Шифрование: Все сведения сберегаются только в шифрованном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция программ: Приложения третьих разработчиков не обладают прямого доступа к биометрическим; они могут лишь требовать подтверждение подтверждения личности через системный API.

Стоит подчеркнуть значимую деталь: если кто-то получит физический доступ к вашему телефону (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество компании осуществляют систему защиты от неосознанного разблокирования — например, заставляют разомкнуть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют типы распознавания лиц?

Сегодня можно определить выделить три ключевых способа к осуществлению этой операции:

Программируемое плоское идентификация

Используется только передняя видеокамера без дополнительных датчиков дистанции. Такой способ встречается обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность воплощения; минимальная затраты; быстрая деятельность при качественном освещении.
Минусы: несложно ввести в заблуждение фотографией; неустойчивая функционирование ночью; низкая охрана.

Аппаратное трёхмерное сканирование

Использует ИК камеру + проекционный модуль точек + сенсоры дистанции (Face ID у Apple; аналогичные решения у Huawei Mate).
Плюсы: большая достоверность; не получится исказить фото/видео; устойчивая деятельность в любых условиях освещения.
Минусы: увеличение цены устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Гибридные подходы с интеграцией ИИ

Используют комбинацию программируемых методов + аппаратно-техническую обработку + последующую обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие продукты, как адмирал х и Google Pixel Face Unlock последних поколений, сочетают фронталку c ИК сенсором движения Soli Radar для защиты от фальсификаций руками/масками/видеоэкранами посторонних устройств.

Примеры применения различных техник

iPhone линейки X/11/12/13/14 применяют только техническое трёхмерное сканирование
Xiaomi Mi8 Explorer Edition в первый раз предложил подобие Face ID в числе Android.
Samsung Galaxy S10 версия/S20 поддерживают как программное обеспечение двухмерное распознавание по фото селфи-камерой, так и сканер радужки глаза.
Huawei Mate20 Pro использует набор из ИК-освещения + Dot Projector + ToF-датчик

Трудности безопасности и ложные срабатывания

Несмотря на поразительный развитие технологий за последние годы, совершенных системы пока не существует:

Возможность мошенничества: Доступные мобильники легко открываются четкой снимком пользователя или же роликом с экрана другого устройства.
Идентичные близняшки: Даже самые безупречные устройства могут ошибиться между монозиготными близнецами либо семьями с очень похожей внешностью.
Метаморфозы внешности: Внезапное похудение/набор веса, пластические операции или травмы порой необходимы для перерегистрации биометрии.
Условия записи: Интенсивная освещённость солнечным светом либо интенсивная темнота могут понизить аккуратность идентификации признаков.

Ниже пара рекомендаций для безопасному использованию:

Для значимых операций всегда внедряйте дополнительную аутентификацию;
Не запускайте возможность “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
Регулярно обновляйте прошивку смартфона для защиты от новых видов атак;
Включайте функцию “Требовать открытых глаз” там, где она имеется.

В каких местах дополнительно применяется технологии кроме мобильных телефонов?

Хотя тема этой публикации касается именно мобильным устройствам, следует отметить альтернативных областях использования технологии:

Контроль доступа в офисах и многоквартирных зданиях;
Платёжные терминалы банков (“Face Pay”);
Виртуальные удостоверения личности современного образца;
Системы видеомониторинга муниципальных сервисов;
Автоматизирование регистрации присутствия учебных заведений/университетов;
Авторизация участников ПК/ноутбуков.

Например: В московском метро уже тестируется система платежа проезда по фейсу (“Face Pay”) — нужно лишь пройти через турникет без пластика или телефона! Аналогичные инициативы реализуются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким образом меняется технология в наше время?

Каждый год проявляются новые концепции для усовершенствования качества работы систем распознавания лиц:

Увеличивается разрешение сенсорных устройств — чем больше деталей фиксируется видеокамерой/датчиками глубины, тем меньше шанс погрешности;
Развиваются нейросети — современные структуры типа MobileNetV3 позволяют оперативно адаптироваться к новым характеристикам облика обладателя непосредственно на девайсе без отправки данных в облако.
Улучшаются технологии антиспуфинга — теперь мобильные устройства способны различать реальные живые лица от неподвижных снимков/маскировок по мельчайшим движениям кожи.
Интеграция со смарт-гаджетами — умные часы могут самостоятельно закрыть доступ к мобильный телефон, если пользователь ушёл далеко.
Возникают гибридные устройства — в частности комбинирующие речевую опознание + лицо + пальцевой отпечаток.

Здесь, какие направления в особенности востребованы в данный момент:

1) Уменьшение деталей

Производители стараются уменьшить величину отверстия (“чёлки”) под сенсоры на дисплее за счёт интеграции миниатюрных ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработка прямо на девайсе

Для повышения приватности всё больше вычислений происходит локально без передачи информации во дополнительный облачный сервис.

3) Упорядочивание регламентов

Гугл энергично продвигает эталон BiometricPrompt API, чтобы аналогичные площадки, вроде admiral x, и любые Android-аппы могли работать с различными типами биометрии единообразно.

Что выбрать сегодня?

В случае если вам всем важна предельная защита данных, подбирайте флагманские модели со встроенным ИК-проектором или же ToF-датчиком глубины.

iPhone всех новейших моделей
Huawei Mate/P Series серии
Mi Expert
Vivo X модели
Oppo Find Икс серий.

Если средства невелик – лучше выбирать классическим средствам защиты (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в admiral x, применять только как второстепенную опцию удобства.

Как увеличить комфорт работы функции?

Есть пара советов для тех, кто уже пользуется разблокировку по лицу:

Часто меняйте свою фото-шаблон, если сильно трансформируется облик.
Не пренебрегайте протирать линзу фронтальной камеры – разводы могут понизить четкость!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам активирует фотоаппарат если вы поднимаете его.
При записи старайтесь удерживать лицевую часть ровно напротив видеоустройства не допуская значительного наклона головы.
Используйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отвернулись от экрана.

Будущее прогресса инноваций

В ближайшие периоды можно предвкушать возникновения полностью бесконтактных способов идентификации индивидуума сразу по нескольким биометрическим параметрам одновременно: физиономия + звучание + манера ходьбы + движения рук!

Также возможно развитие свежих способов обеспечения личной информации – например, динамическое модификация цифрового образца после каждой результативной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из очень захватывающих технологий нашего времени! Она обеспечивает общение со мобильным устройством комфортнее чем до этого, и такие аппы, как admiral-x, могут существенно повысить ваш опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы знаете, как работает эта система внутри, – сумеете осознаннее определять свой будущий девайс!