Каким образом функционирует распознавание лиц в телефонах

Для чего мы останавливаемся на разблокировку по лицу

В последние времена идентификация лиц стало одной из самых распространённых функций для открытия смартфонов. Всего некоторые лет тому назад основная масса пользователей удовлетворялись пин-кодами, паролями или сканерами отпечатков пальцев. Но при появлением таких технологий, например Вулкан Платинум, нам вполне просто взглянуть на экран — и устройство тут же узнает своего владельца.

Что обуславливает эту возможность такой востребованной? Для начала, это комфортно: не нужно удерживать в памяти трудные пароли или находить правильный палец в тьме. Во-вторых, это быстро: современные программы распознают лицо практически за мгновения ока. В-третью очередь, это чувство футуристичности — словно в кинолентах про вулкан платинум зеркало шпионов.

Впрочем за данной видимой простотой скрывается весь вселенная трудных технологий и инженерных концепций. Позвольте нам понять, как конкретно функционирует распознавание лиц в актуальных мобильных телефонах, какие бывают способы, насколько они безопасны и что нас ожидает в будущем.

Сжатая хроника развития техники

Идентификация лиц как методика присутствует уже более пятидесяти годов. Первые попытки автоматизированного изучения лица были осуществлены еще в 1960-х годах в научных учреждениях США. Тогда компьютеры могли лишь определять очертания головы и вычислять промежутки между зрачками и губами на монохромных снимках.

Первые коммерческие установки возникли в 1990-х годах, но они были неидеальны: функционировали медленно и часто давали сбои. Только с прогрессом искусственных сетей и таких площадок, как Vulkan Platinum, высокопроизводительных мобильных процессоров определение лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным распознаванием лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие начали интегрировать личные решения.

Главные этапы функционирования механизма распознавания

Процесс определения лица можно примерно разделить на несколько основных этапов:

Идентификация лица — устройство определяет существование человеческого лица в снимке.
Извлечение характеристик — система анализирует контуры облика: очертания глаз, носа, губ, положение надбровных дуг.
Построение структуры — создаётся особенный виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение со образцом — полученный модель сопоставляется с записанной при учёте биометрической сведениями владельца.
Принятие выбора — если сходство достаточно высокое, смартфон разблокируется.

Каждый из указанных стадий запрашивает особых процедур и оптимизаций для скорой работы прямо на устройстве.

Аппаратные элементы: что находится в их недрах

Типичная передняя камера.

Самый простой метод идентификации физиономии применяет только переднюю видеокамеру мобильного устройства. Такой подход внедрён во многочисленных доступных вариантах Android-устройств.

Сильные стороны:

Необходимо потребляет дополнительных сенсоров.
Шустро действует при достаточном свете.

Отрицательные стороны:

Легко ввести в заблуждение снимком или видео.
Плохо функционирует при слабом освещении или нестандартных ракурсах.

Инфракрасная фотокамера и пунктирный проектор

Более продвинутые системы, такие как Vulkan Platinum, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая технология составляет базу Face ID от Apple.

Каким способом это функционирует:

Точечный устройство проекции отображает на облик использующего невидимую сетку из тысяч инфракрасных точек (например, Face ID применяет около 30 000 точек).
Инфракрасная устройство регистрирует искривление этой сетки по плоскости лица.
Создаётся 3D глубинная карта глубины, что почти что неподвластна для имитации типичной снимком или маскировкой.

Преимущества

Надёжная функционирование даже в полной неосвещённости.
Сильная устойчивость к имитациям.
Точность распознавания более 99%.

Дополнительные сенсорные устройства

В некоторых девайсах применяются также вспомогательные датчики: ToF (Time-of-Flight), которые измеряют время прохождения луча до объекта и обратно; RGB-датчики глубины; специальные лазерные измерители расстояния для построения более детализированной 3D-модели физиономии.

Эти технологии применяются в основном во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: искусственный разум на исполнении

Современные системы распознавания физиономий неосуществимы без использования искусственного интеллекта и машинного обучения. Именно благодаря таким технологиям, как Vulkan Platinum, гаджет может распознавать пользователя даже при трансформациях облика: новая укладка, борода, линзы или грим не становятся барьером для деблокировки.

Обнаружение физиономии

На стартовом шаге алгоритм должна оперативно обнаружить лицо среди всего кадра с камеры. Для этого используются каскадные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые подготовлены идентифицировать лиц человека среди множества других объектов.

Пример: метод MTCNN способен распознавать облик даже с неполном перекрытии (например, платком или рукой).

Идентификация основных моментов

После распознавания лица механизм, такая как Vulkan Platinum, вычисляет местоположение ключевых точек: края глаз, верхушка носа, контуры губ и так далее. Обычно задействуется от 68 до 128 главных точек на лицевой области.

Данное требуется для нормализации картинки: если человек держит мобильник под наклоненным, или повернул головку, программа „выпрямляет” изображение до нормального состояния для последующего изучения.

Формирование биометрического идентификатора шаблона

Далее нейронная сеть строит уплотненное числовое представление („эмбеддинг”) внешности пользователя — своеобразный цифровой след внешности длиной от 128 до 512 чисел с плавающей запятой.

Данный шаблон крайне сложно подделать: он не удерживает непосредственно фото юзера, а лишь особенные характеристики его облика, что делает его идеальным для таких систем, как Вулкан Казино Платинум.

Сравнение и вынесение решения

Если юзер намеревается открыть телефон глазами, механизм воспроизводит все описанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный уровень (обычно выше 99%), телефон, как и платформа Вулкан Казино Платинум, разблокируется; если нет — доступ не предоставляется.

Привыкание к метаморфозам облика

Интересная характеристика современных системы — возможность самостоятельного обучения. Если ты регулярно открываете телефон с обновленной стрижкой или оптикой, программа постепенно обновляет базовый модель вашего внешности для увеличения точности действия без ухудшения безопасности.

Защита биометрии данных.

Множество пользователи беспокоятся хранить свои биометрические идентификационные данные на смартфоне из-за вероятности утечки информации или взлома гаджета. Определенные организации, такие как Вулкан Казино Платинум, предлагают решения для увеличения безопасности информации юзеров.

Локальное сохранение: Основная часть аппаратов записывает биометричные образцы только внутри защищённого чипа Secure Enclave (Apple) или TrustZone (Android). Они всегда не выходят из устройство и недоступны включая изготовителю.
Шифрование: Все данные хранятся только в шифрованном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция приложений: Программы внешних разработчиков не имеют непосредственного возможности доступа к биометрическим; они могут лишь запрашивать подтверждение подтверждения личности через системный API.

Необходимо упомянуть важную деталь: в случае, если какой-то человек получит доступ к вашему телефону физически (к примеру, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие изготовители реализуют меры безопасности от „слепого” разблокирования — в частности, требуют раскрыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие бывают категории идентификации лиц?

В настоящее время можно различить три основных подхода к выполнению этой задачи:

Софтверное плоское распознавание

Эксплуатируется только фронтальная видеокамера без вспомогательных сенсоров дистанции. Подобный подход используется чаще всего в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: легкость воплощения; умеренная затраты; быстрая работа при достаточном освещении.
Минусы: несложно обмануть фотографией; нестабильная функционирование ночью; низкая безопасность.

Оборудование для 3D сканирование

Использует ИК видеокамеру + проектор точек + датчики дистанции (Face ID у Apple; аналогичные технологии у Huawei Mate).
Преимущества: высокая надёжность; нельзя обмануть фото/видео; постоянная деятельность при любом освещении.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана („чёлка”)

Гибридные способы с дополнением ИИ

Задействуют комбинацию программируемых методов + аппаратную обработку + последующую обработку нейросетями для повышения устойчивости к атакам („anti-spoofing”). Например, подобные товары, например Vulkan Platinum и Google Pixel Face Unlock новейших поколений, объединяют фронтальную камеру c ИК датчиком мобильности Soli Radar для защиты от фальсификаций руками/масками/видеодисплеями чужих устройств.

Примеры применения разнообразных методов

iPhone линейки X/11/12/13/14 используют только физическое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition в первый раз внедрил подобие Face ID в ряду Android.
Samsung Galaxy S10 модель/S20 поддерживают как программное двухмерное определение по фото селфи-камерой, так и сканер радужки глаза.
Huawei Mate20 Pro использует комплекс из ИК-освещения + Dot Projector + ToF-сенсор

Проблемы охраны и ложные тревоги

Несмотря на замечательный прогресс технологий за недавние годы, совершенных системы пока не существует:

Вероятность мошенничества: Недорогие телефоны легко „разблокируются” качественной изображением владельца либо роликом с экрана другого устройства.
Идентичные близнецы: Даже самые совершенные механизмы могут ошибиться между однояйцевыми близнецами либо родичами с очень схожей внешностью.
Изменения облика: Внезапное похудение/увеличение массы тела, косметические процедуры либо повреждения в некоторых случаях требуют перерегистрации биометрии.
Условия фотографирования: Сильная засветка солнечным светом или же интенсивная темнота могут уменьшить аккуратность определения признаков.

Здесь некоторые подсказок для защищённому эксплуатации:

Для критически важных операций всегда внедряйте двухэтапную аутентификацию;
Не запускайте функцию „Разблокировка по лицу” на дешёвых устройствах без ИК-сенсоров;
Регулярно обновляйте программное обеспечение мобильного устройства для защиты от актуальных атак;
Включайте функцию „Требовать раскрытых глаз” там, где она есть.

Где ещё находится применение технологии помимо мобильных телефонов?

Пускай предмет данной публикации сосредоточена на в частности портативным гаджетам, следует отметить других сферах применения технологии:

Контроль доступа в деловых центрах и многоквартирных зданиях;
Платёжные терминалы банков („Face Pay”);
Виртуальные удостоверения личности современного типа;
Установки видеомониторинга городских подразделений;
Автоматизирование учёта присутствия учебных заведений/университетов;
Авторизация участников ПК/ноутбуков.

Например: В городском метро уже проверяется система платежа проезда по фейсу („Face Pay”) — нужно лишь пройти через барьер без пластика или телефона! Схожие программы развиваются в Китае (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким способом изменяется технология в наше время?

Любой год проявляются новые мысли для усовершенствования уровня функционирования систем лицевого распознавания:

Увеличивается чёткость сенсорных устройств — чем больше деталей фиксируется фотоаппаратом/датчиками глубины, тем меньше риск ошибки;
Развиваются нейронные сети — передовые архитектуры типа MobileNetV3 обеспечивают возможность оперативно обучаться новым чертам вида владельца непосредственно на девайсе без пересылки информации в облачное хранилище.
Совершенствуются технологии антиспуфинга — теперь мобильные устройства могут различать настоящие живые облики от статичных снимков/масок по мельчайшим движениям кожи.
Синхронизация со интеллектуальными приборами — интеллектуальные часы могут авто блокировать мобильный телефон, если пользователь ушёл далеко.
Возникают комбинированные системы — в частности объединяющие голосовую идентификацию + облик + отпечаток пальца.

Итак, те тенденции очень востребованы на сегодняшний день:

1) Уменьшение элементов

Изготовители пытаются уменьшить габариты отверстия („чёлки”) для сенсоры на дисплее за счёт интеграции компактных ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Переработка прямо на аппарате

Для улучшения конфиденциальности всё больше расчётов выполняется на месте без передачи данных во дополнительный облачный сервис.

3) Унификация стандартов

Google энергично продвигает стандарт BiometricPrompt API, с целью чтобы подобные площадки, вроде Вулкан Платинум, и любые Android-программы были совместимы с всеми формами биометрии унифицированно.

Что подобрать на сегодня?

В случае если вам всем нужна максимальная сохранность данных, выбирайте флагманские аппараты с вмонтированным ИК-излучателем или ToF-сенсором глубины.

iPhone всех последних поколений
Huawei Companion/P серии
Mix Expert
Vivo X серии
Oppo Обнаружить X линейки.

Если средства ограничен – лучше выбирать классическим средствам безопасности (PIN-код/сканер отпечатка), а функцию „разблокировка по лицу”, такую как в Вулкан Платинум, использовать только как опциональную опцию удобства.

Как улучшить комфорт работы функции?

Есть несколько лайфхаков для тех, кто уже использует функцию распознавания лица:

Часто обновляйте свою фото-шаблон, если значительно трансформируется внешний вид.
Не упускайте из виду протирать линзу передней камеры – разводы могут снизить четкость!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам активирует фотоаппарат когда вы берёте его в руки.
При регистрации старайтесь удерживать голову прямо напротив видеоустройства исключая значительного наклона головы.
Задействуйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает телефон, если вы отвели взгляд от экрана.

Возможности развития технологии

В предстоящие годы можно ожидать возникновения полностью бесконтактных способов опознания персоны сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + звучание + походка + манипуляции руками!

Также возможно возникновение современных методов обеспечения личной информации – например, динамическое корректировка цифрового паттерна после каждой результативной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – одна из самых увлекательных техник нашего периода! Она делает интеракцию со телефоном удобнее чем раньше, и такие программы, как Вулкан Казино Платинум, могут существенно оптимизировать ваш опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы осведомлены, как устроена эта технология внутри, – сумеете вдумчиво выбирать свой очередной гаджет!