ToF-камеры в смартфонах: что это такое, зачем нужно, как работает

Пару лет назад в смартфонах начали появляться так называемые ToF-камеры. Сначала – во флагманских моделях, потом в среднем сегменте, а в итоге новинка докатилась и до бюджетников.

Как обычно бывает в таких случаях, свежая технология дружно считалась нереально крутой весьма перспективной, но… Время – лучший судья.

Новые поколения флагманов уже не содержат в своем блоке камер этого самого тофу, или как его там ToF. Почему так случилось? Будем разбираться.

Как работает ToF сенсор

Сама аббревиатура ToF означает «time of flight», или в переводе – «время полета». Другое название этого элемента – сенсор глубины. И все это вкупе отражает принципы работы устройства.

Что такое сонар – большинству из нас объяснять не нужно. Излучатель звука посылает звуковую волну, которая, отражаясь от препятствий, возвращается к источнику и регистрируется специальным сенсором.

При этом происходит замер времени, потребовавшегося волне, чтобы достичь препятствия и вернуться. На основании этих данных строится картина рельефа, например, морского дна.

ToF сенсор работает в точности так же. Только вместо звука используется длинноволновое ИК-излучение, испускаемое специальным инфракрасным светодиодом.


А CMOS матрица улавливает его отражение и с точностью до наносекунд регистрирует время.

На основании полученных данных можно не только измерить расстояние до объекта, но и снять его рельеф. Выглядит прямо-таки чертовски заманчиво… на первый взгляд.

Очевидно, что новинка впервые пришла отнюдь не в смартфоны: ранее она уже была обкатана на беспилотных авто и даже спутниках. Однако миниатюризация и удешевление позволили прикрутить ее и к мобильным девайсам.

Где это можно использовать

Первым и наиболее очевидным вариантом является получение снимков с эффектом боке. Говоря понятнее – портретов с размытием фона, подчеркивающих сам образ запечатленного на снимке человека.

Раньше, в досмартфонную эпоху, такие фото получали манипуляцией с фокусным расстоянием объектива.

В смартфонах со временем появились двойные камеры, и размытие достигалось благодаря обработке данных с двух объективов. Ну а теперь вот появилась новая возможность.

Учитывая прогрессирующий «ум» камер, становится логичной возможность удаления из поля зрения объектива посторонних объектов.


Фотографируете вы, к примеру, какой-то исторический объект – а тут какой-то редиска нехороший человек прямо перед ним припарковал свой поганый утиль на колесах!

Р-р-р! Дожидаться, пока он соизволит убраться прочь? Еще чего! Чик-чик виртуальными ножницами – и помеха вначале очерчена благодаря сенсору глубины, а затем и устранена.

Еще можно измерять расстояние, т.е. использовать смартфон в качестве рулетки. В точности, как это делает эппловский LIDAR. Точность при этом будет невысока, порядка сантиметров, но во многих случаях и этого достаточно.

Прикинуть, поместится ли на свое место новое кресло, хватит ли ширины стола для монитора и т.п.

Дополненная реальность – все о не слышали, кое-кто ею даже пытался пользоваться, но на практике… Да, на практике это не более чем игрушка на пару часов. Не получается у вендоров затащить в «глубину» никого, ошибся в свое время Пейсатель.

Но вообще без снятия рельефа разработчиков софта для этой пока еще сомнительной сферы очень тяжко. Так что и здесь ToF сенсор отрабатывает по полной.

Хватает и других теоретических применений технологии: отслеживание движений рук пользователя, биометирческое сканирование лица и даже импровизированный прибор ночного видения. А вот на практике…

А на практике все выглядит так

Для подавляющего большинства изложенных выше областей применений требуется мощный специализированный софт в сочетании с крутейшими возможностями «железа».

И если с последними еще так-сяк, особенно в премиальных монстрах типа Snapdragon 888+, то с программным обеспечением все обстоит достаточно печально.

В том же Google Play есть несколько программ типа пресловутой «рулетки», позволяющих оценить возможности новой технологии, но до тотального внедрения, проникающего во все сферы жизни – как от Москвы до Пекина в позе пьющего оленя.

Даже если какой-то вендор B/C класса и воткнет ToF сенсор в свой мегакрутой бюджетник – далеко не факт, что он вообще будет работоспособным.


Но даже если производитель не схалтурит, то в 99,9% случаев возможности сенсора глубины сведутся к тому самому эффекту боке, да может быть, скверно работающему Face Unlock, распознающему владельца через два раза на третий.

Говоря проще, не работает нынешнее поколение ToF сенсоров достаточно хорошо, чтобы оправдывать свое присутствие в смартфонах. Как результат – массовый отказ производителей от технологии в своих новых моделях.

Samsung Galaxy S21, Xiaomi Mi 11, Huawei P50, еще с десяток других флагманов – все они, в отличие от своих предшественников, вышли без сенсора глубины в составе блока камер.


А вот у той же Apple, начиная с iPhone X и до сих пор, используются похожие технологии под названием Face ID, разработанные эксклюзивно для купертинцев Sony.

Хотя далеко не все вендоры отказались в своих новых моделях от данной технологии. Например, в том же Honor 50, модели субфлагманского класса со 108 МП основным объективом, ToF сенсор никуда не делся.

Есть он и в бюджетниках Nokia, анонсированных в текущем году.

Все же - есть ли у ToF перспективы?

Весьма неоднозначный вопрос с неоднозначным ответом. Все зависит от того, насколько Apple, Google, Facebook и другим разработчикам платформ дополненной реальности удастся «пропихнуть» свои проекты в массы.

В этом случае ToF, а заодно и аналогичные технологии вроде LIDAR в самом деле окажутся востребованы и будут далее развиваться.

Что же касается мобильной фотографии, то повышение качественной и количественной мощи AI современных чипсетов вкупе с наличием других, более полезных типов объективов, вроде ультраширокоугольника и телевика, делает плюсы от ToF практически бесполезными.


То же самое можно сделать, не плодя лишние сущности и не цепляя на смартфон лишнюю запчасть.

Пока что ни о каких разработках на данную тему от крупных компаний ничего не слышно. Возможно, все скрыто в «недрах», но едва ли – хоть какая-то инсайдерская информация, да просочилась бы в жадные лапы интернета.

В заключение

Пора подвести итоги. Итак, в лице ToF сенсора на сегодняшний день мы имеем технологию, в первое время своего внедрения откровенно хайповую, подобно моноброви Apple.

Однако очень быстро она продемонстрировала свою менее чем сомнительную полезность, и среди законодателей мобильных трендов от сенсоров глубины начался массовый отказ.


На сегодняшний день во флагманских новинках этих объективов уже нет, однако в более дешевых моделях они продолжают появляться – точно так же монобровь не сразу исчезла из дизайна смартфонов, вытесненная каплей и вырезом в дисплее.

Очевидно, что для большинства пользователей ToF объектив куда менее полезен даже, чем еще одно аналогичное решение – макрообъектив. Так что в данный момент технология проходит по категории откровенно провальных.