Как телеиммерсия заменяет видеозвонки реальным присутствием в 3D

12

Голодек был не просто крутой декорацией в Звездном пути. Это был чертеж. Зрители наблюдали, как экипаж «Энтерпрайза» входит в комнату, где голограммы кажутся твердыми, осязаемыми и настоящими. Сегодня инженеры наконец-то создают инфраструктуру, чтобы воплотить эту фантастику в реальность. Мы движемся к сети связи, которая позволит вам и вашим друзьям взаимодействовать внутри общего симулированного пространства, независимо от того, находитесь ли вы в соседней комнате или за тысячи миль друг от друга.

Основные компоненты этой технологии телеиммерсии уже работают. Это академический и промышленный ответ на концепцию Голодека. Видеоконференции уже доказали, что мы можем обмениваться богатыми данными в реальном времени без физического присутствия. Телеиммерсия берет эту идею и разрушает ограничения плоских экранов. Она создает центральную симулированную среду, где все собираются виртуально. Никто не покидает своего рабочего места.

Представьте сотрудников из Лос-Анджелеса, Нью-Йорка, Токио и Парижа, встречающихся в этом новом пространстве. Они будут пожимать руки коллегам, которые существуют только как высокодетализированные проекции.

За пределами плоского экрана: почему традиционные видеоконференции не работают

В офисе будущего вы не будете набирать номер. Вы будете отдавать команды системе. «Компьютер, вызови Джо из Лондона». Внезапно стена вашего офиса мерцает. Джо сидит напротив вас. На его стороне опыт зеркально отражается. Это обещание телеиммерсии: Bringing distant people into a single, shared spatial context. Деловые поездки становятся неактуальными.

Текущие решения для видеоконференций сломаны. Мы все терпели задержки. Видео дергается. Аудио рассинхронизируется. Что еще важнее, изображение статично. Если вы встанете и выйдете из узкого поля зрения веб-камеры, вы исчезнете из разговора. Вы становитесь пиксельной головой на палке.

Телеиммерсия исправляет это. Вы не можете выйти из поля зрения камеры, потому что камера захватывает всю комнату. Вы можете осматривать офис коллеги, меняя перспективу на дисплее. Это работает как окно в их физическую реальность, а не как плоский портрет.

Двигатель за голограммой

Создание таких сред требует вычислительной мощности, которая многократно превышает возможности среднего домашнего ПК. Процесс представляет собой трехэтапный цикл, происходящий за миллисекунды:

  1. Распознавание: Система определяет присутствие людей и объектов в физической комнате.
  2. Отслеживание: Она отображает их движения в трехмерном пространстве.
  3. Проекция: Данные отправляются на стереоиммерсивную поверхность для удаленного пользователя.

Это не просто теория. В мае 2000 года исследователи из Университета Северной Каролины (UNC), Университета Пенсильвании и Advanced Networks and Services достигли важной вехи в рамках Национальной инициативы по телеиммерсии (NTII). Пользователь в UNC в Чапел-Хилле увидел реалистичные трехмерные изображения коллег из Филадельфии и Нью-Йорка. Задержка была настолько низкой, что взаимодействие казалось мгновенным.

Телеиммерсия против виртуальной реальности: в чем разница?

Люди часто путают эти технологии. Они не одинаковы. Виртуальная реальность (VR) помещает вас внутрь полностью сгенерированного компьютером трехмерного мира. Вы можете ходить по цифровым лесам. Вы можете поднимать виртуальные мечи. Телеиммерсия, на данном этапе, отличается. Она создает трехмерный вид реального мира. Вы видите своего настоящего коллегу, отрендеренного в 3D, но пока не можете взаимодействовать с физикой комнаты или изменять сцену.

Следующий шаг включает объединение этих областей. Представьте среду VR, где вы можете манипулировать объектами, наложенную на реальных телеиммерсивных участников.

Реальные приложения

Полезность выходит далеко за пределы переговорных. Рассмотрим гейминг. Представьте мир без джойстиков. Вы находитесь внутри игры. Вы сражаетесь с монстрами. Вы забиваете тачдауны. Ваши движения тела напрямую управляют действием.

Путешествия тоже меняются. Вы не летите, чтобы увидеть семью на праздники. Вы вызываете их в общую голографическую комнату. В конечном итоге тактильная обратная связь может обеспечить физическое ощущение прикосновения. Даже профессии с высокими ставками могут извлечь выгоду. Врачи могут тренироваться на симулированных операциях с удаленными экспертами. Солдаты могут отрабатывать боевые сценарии в фотореалистичных средах, не покидая базы.

Голографические дисплеи

Аппаратное обеспечение ранних телеиммерсивных систем скорее напоминает лабораторный эксперимент, чем потребительскую электронику. Пользователи не просто сидят перед экраном. Они надевают специальные очки и устройство для отслеживания движений головы. Эта система контролирует направление взгляда, позволяя в реальном времени корректировать трехмерное изображение.

На другой стороне соединения процесс также требует высокой технической сложности. Семь стандартных видеокамер отслеживают человека, изображение которого проецируется. Две дополнительные камеры фиксируют реальные световые паттерны в комнате. Эти данные помогают вычислять точные расстояния, обеспечивая соответствие глубины изображения на вашем экране реальности. Сдвигаете голову вправо? Изображение смещается точно так же, как если бы вы стояли в той комнате.

Механика поляризованной глубины

Экран разделяет и поляризует изображение. Левый глаз видит одну версию, правый — другую. Очки объединяют эти сигналы. Мозг склеивает их в единую трехмерную картину. Это тот же принцип, что и у классических поляризованных очков для 3D-кино, но примененный к живому удаленному присутствию.

Ранние испытания, такие как проведенные в Университете Северной Каролины (UNC) в мае, выявили существенные недостатки. Процесс далек от безупречности. Проецируемые сцены обновляются всего три раза в секунду. Эта низкая частота кадров создает дерганое изображение. Это разрушает иллюзию. Если бы частота достигла 10 кадров в секунду, результат был бы иным. Вы бы смотрели на другого человека через окно, а не на слайд-шоу из его лица.

Узкие места инфраструктуры и будущие решения

Создание истинной голографической среды требует огромных вычислительных мощностей. Ученые разрабатывают несколько технологий для решения этих проблем.

  • Internet2 разработан для замены текущей интернет-инфраструктуры. Он обеспечивает скорости, в 1000 раз превышающие современные широкополосные соединения. Такая пропускная способность необходима для передачи огромных потоков данных, генерируемых телеиммерсией.
  • Стереоиммерсивные дисплеи должны развиваться, чтобы предоставлять кристально четкое изображение передаваемых сцен. Текущие технологии испытывают трудности с четкостью.
  • Тактильные датчики призваны позволить пользователям «трогать» проекции. Цель — обеспечить тактильную обратную связь, имитирующую реальные объекты.
  • Настольные суперкомпьютеры необходимы для обработки триллионов вычислений, требуемых для голографических сред. Альтернативой может стать распределенная сеть компьютеров, разделяющих эту вычислительную нагрузку.

От утренних пробок к кухонному столу

Телеиммерсия угрожает стереть границу между физическим присутствием и цифровым соединением. Она обещает стать идеальным инструментом для удаленной работы. Час пик и ежедневные поездки на работу могут полностью исчезнуть. Вместо вождения автомобиля вы проецируете себя в конференц-зал.

Путешествия становятся необязательными для повседневной жизни. Нужно присутствовать на совещании? Телеиммерсия доставит вас туда. Нужно быть дома к ужину? Вы можете спроецировать себя на кухню своей семьи. Технология находится на ранней стадии развития. Возможности по-прежнему широки.

Телеиммерсия размоет границы между реальными и сгенерированными компьютером изображениями.

Для тех, кто отслеживает эволюцию этих систем, существует несколько ресурсов, предлагающих более глубокое погружение в тему. Родственные статьи охватывают голографическую память, дополненную реальность и механику телепортации. Специфические исследовательские центры, такие как Центр исследований телеиммерсии Университета Брауна и Национальная инициатива по телеиммерсии, предоставляют технические знания. Национальный научный фонд (NSF) также изучает лежащую в основе науки через свой Центр графики и визуализации.