Лаборатория интерактивной графики United 3D Labs разрабатывает решения виртуальной реальности (virtual reality), в том числе:
- промышленные VR тренажеры;
- симуляторы в виртуальной реальности;
- музейные экспозиции и интерактивные VR инсталляции;
- виртуальные туры;
- игры.
×
Виртуальная реальность, разработанная United 3D Labs для Филиала МИРЭА в г.Фрязино.
Загадка виртуальной реальности
Виртуальная реальность (Virtual Reality, VR) – пожалуй, наиболее загадочная и популярная часть компьютерной графики. Множество фантастических книг и фильмов превозносят ее преимущества и пугают возможными последствиями использования. Виртуальная реальность переносит пользователя в искусственный мир, созданный разработчиками. В отличие от дополненной реальности , где основой является реальное изображение, передаваемое видеокамерой, в виртуальной реальности все объекты созданы в программах разработки компьютерной графики.
Различные применения технологий виртуальной реальности известны уже несколько десятков лет, они активно используются в военной сфере, космической индустрии, медицине. Обычные же пользователи реально столкнулись с виртуальной реальностью совсем недавно – с появлением в широкой продаже в 2016 году очков виртуальной реальности Oculus Rift и HTC Vive, а также всевозможных VR шлемов для мобильных телефонов.
Не только VR очки
Надо заметить, что виртуальная реальность – это далеко не только очки и шлемы. Многоэкранные конфигурации, комнаты CAVE (CAVE Automatic Virtual Environment), Virtual Reality Video Wall с углом обзора боле 180 градусов и т. д., все эти решения так же призваны перенести пользователя в виртуальный мир. Эти системы весьма недешевы и крайне сложны с технической точки зрения, но в то же время, у них есть ряд преимуществ, начиная с основного – отсутствие необходимости надевать достаточно неудобные очки виртуальной реальности.
Применение виртуальной реальности
Разумеется, в первую очередь, за возможности, открываемые доступными VR очками, ухватились создатели компьютерных игр – перенести пользователя в виртуальный мир игры конечно же гораздо интереснее (и сулит гораздо большие прибыли), чем показывать этот самый мир на экране монитора. Но у относительно дешевых потребительских очков виртуальной реальности есть и более серьезное применение. То, что раньше было доступно только военным, покупавшим за 50 тысяч долларов пару очков, теперь доступно музеям , школам и институтам. Всевозможные реалистичные виртуальные туры, реконструкции объектов и событий , виртуальные эксперименты, возможность увидеть своими глазами то, что невозможно увидеть в реальной жизни – вот только малая часть возможностей, открываемых очками виртуальной реальности. И разумеется, за уникальные возможности виртуальной реальности по созданию реалистичных тренажеров и симуляторов ухватились промышленные предприятия .
Standalone virtual reality headset
Стоит обратить отдельное внимание на сегмент беспроводных virtual reality очков, таких как HTC Focus или Oculus Go. Они, конечно, проигрывают своим старшим собратьям Oculus Rift и HTC Vive по сложности и качеству графики, но у них есть огромное преимущество – мобильность. Они не привязаны проводом к стационарному компьютеру. А вычислительной мощности для показа проектов той же самой архитектурной визуализации или небольшого тренажера у них вполне достаточно.
Лаборатория интерактивной графики United 3D Labs приглашает Вас в наш демозал. Мы будем рады показать разработанные нами решения виртуальной реальности и продемонстрировать основные модели VR очков, существующие на рынке, рассказать об их сильных и слабых сторонах.
Менеджер по продукту сайт пообщался с командой Pixonic: про создание игры для виртуальной реальности, эксперимент с разработкой на iMac Pro и будущее VR.
В закладки
Российская компания Pixonic была основана в 2009 году. В студии работает более 200 сотрудников в четырех офисах - в Москве, Берлине, Белгороде и на Кипре. «Мы расширяемся, и нам уже не хватает места, поэтому скоро хотим переехать в новый офис», - рассказывает стратегический директор Pixonic Никита Гук во время экскурсии по московскому офису компании.
Поводом для нашей встречи стали два эксперимента, которые провела студия. Во-первых, команда выпустила свою первую игру для виртуальной реальности и согласилась рассказать подробности о её разработке. Во-вторых, старший VR-разработчик компании попробовал использовать для создания игры iMac Pro - компьютер, который Apple позиционирует как мощный инструмент для разработчиков приложений в виртуальной реальности.
War Robots для виртуальной среды
«Когда появились первые разговоры о виртуальной реальности, мы попытались изучить аудиторию VR-игр, но быстро поняли, что на этом рынке вообще ничего непонятно: сколько игроков, как их найти и готовы ли они вообще платить, - начинает беседу Никита Гук. - Поэтому мы решили провести эксперимент и самостоятельно собрать интересующие нас данные».
Экспериментальный проект команда решила создать на базе главного блокбастера компании - free-to-play-игры War Robots, в которой пользователь становится пилотом боевого робота. Он может играть в как в одиночку, так и в составе команды. Для победы в War Robots необходимо либо удержать от захвата как можно больше территории, либо полностью уничтожить отряд соперника.
War Robots - самая кассовая игра за всю историю компании. В 2016 году Google назвала её одним из самых захватывающих проектов на своей мобильной платформе. В 2018 году приложение преодолело отметку в 80 млн скачиваний, а его ежедневная аудитория превысила 1 млн игроков.
«Мы хотели проверить, воспримут ли War Robots с такой графикой в виртуальной реальности. Либо же нужно создавать нечто особенное с wow-эффектом исключительно под Oculus», - рассказывает Гук.
Pixonic выделила для проекта команду из 18 человек, которые за почти шесть месяцев создали первую версию игры для виртуальной реальности - War Robots VR. Как и в мобильной версии игры, пользователю нужно отбиваться от атак других роботов, находясь в кабине робота.
Трейлер игры War Robots VR
Особенности разработки под VR
В процессе разработки VR-игра проходит через те же этапы, что и обычная игра для мобильной платформы или компьютера - создание прототипа, продумывание геймплея, прорисовка графики, разработка и прочее.
Так как у разработчиков Pixonic не было богатого опыта разработки VR-игр, они начали с создания очень грубой модели кабины, состоящей из простых прямоугольников.
«Так мы смогли понять, как пользователь будет управлять роботом в VR, какого масштаба должна быть кабина, на каком расстоянии расположить здания и другие объекты, с какой скоростью игрок должен перемещаться, чтобы ему было комфортно и не скучно. Когда ты смотришь через шлем, у тебя совершенно другие ощущения от игры, чем если просто смотреть на нее через экран», - рассказывает старший VR-разработчик компании Артем Клиновицкий.
Артем Клиновицкий
Главная проблема, с которой не сталкиваются разработчики мобильных приложений, но которую приходится постоянно решать создателям VR-игр - укачивание человека в шлеме виртуальной реальности. «У нашего бывшего продюсера Артура Мостового при разработке даже была гипотеза о том, что VR можно использовать для тренировки вестибулярного аппарата», - вспоминает Гук.
Человека начинает тошнить в тот момент, когда мозг получает от вестибулярного аппарата и глаз противоречащую друг другу информацию, поясняет Клиновицкий. Мозг думает, что в организм попал яд, и пытается от него избавиться. Поэтому при проектировании VR-игр критически важна естественность всего, что происходит перед глазами.
Отсюда и высокие технические требования к приложениям - всегда нужно помнить о производительности современных шлемов виртуальной реальности и оптимизировать код, чтобы в игре не было никаких задержек или лагов. В противном случае проблемы с графикой отражаются на самочувствии игрока.
Например, при разработке игр для смартфонов и компьютеров разработчики ориентируются на минимальное количество сменяемых кадров в секунду - FPS.
Для спокойной и не слишком динамичной игры на мобильном устройстве достаточно придерживаться значения 30 кадров в секунду. Для игры в виртуальной реальности минимальное значение FPS в несколько раз больше, чем на смартфоне или компьютере - например, для шлема HTC Vive оно составляет 90 FPS. При меньшем значении игрока начинает укачивать, он теряет ощущение присутствия в виртуальной среде и вскоре у него возникает непреодолимое желание покинуть игру.
Сложности в работе добавляет необходимость генерации изображений для правого и левого глаза в шлеме. Разработчикам приходится учитывать это, также как и разработчики шлемов оптимизируют этот процесс, чтобы системные требования к шлемам оставались приемлимыми.
Объекты, которые находятся на расстоянии трех метров от игрока, должны быть максимально проработанными, без «мыльных структур» и низкополигональных объектов, иначе игрока не будет покидать ощущение нереальности происходящего. Дальний план может быть лишен такого уровня детализации, так как для игрока он размыт - это, в том числе, помогает оптимизировать производительность.
Игрока в VR-очках ни в коем случае нельзя куда-то насильно тащить. В обычном шутере игрок нажимает на клавишу и персонаж бежит вперед - здесь всё нормально.
Но если перенести эту механику в VR, у игрока тут же возникнет полный диссонанс: вестибулярный аппарат мне говорит, что я стою на одном месте, но при этом я вижу, что двигаюсь.
Артем Клиновицкий
VR-разработчик
Все действия в виртуальной реальности как минимум должны быть предсказуемы для игрока, или, еще лучше, всегда инициализироваться им самим: «Для перемещения игрока лучше, чтобы он в виртуальной среде брал в руки какой-нибудь манипулятор - например, пульт управления, и "продвигал" себя в игре с его помощью. Тогда движения будут восприниматься более естественно».
«Если в обычной игре мы в любой момент можем отвязать камеру от игрока и показать всю сцену с разных углов, то в VR мы всегда должны понимать, что смотрим на всё только от первого лица, какой бы ни была игра», - объясняет Артем Клиновицкий.
При этом нельзя управлять направлением взгляда пользователя - игрок всегда самостоятельно решает, куда ему смотреть. Разработчикам приходится создавать различные интерфейсные подсказки и звуковые эффекты, которые говорят пользователю «Посмотри назад, там происходит что-то важное».
В отличие от обычной экранной игры интерфейс не может представлять из себя плоскость, которая все время «висит» перед глазами игрока. В VR интерфейс приложения приходится вписывать в окружающее пользователя трехмерное пространство, чтобы он не мешал взгляду игрока и воспринимался естественно, рассказывает разработчик.
Скриншот игры War Robots VR
Несмотря на то, что Pixonic создавала VR-игру на основе своего мобильного хита, разработчики не могли просто перенести готовые объекты из War Robots. В обычной игре дым или огонь - это чаще всего простая плоскость с изображением. На экране смартфона или компьютера это почти не заметно, но если перенести такие плоскости в трехмерную среду, игрок сразу же заметит их двухмерность. Поэтому все эффекты приходится создавать практически заново, отмечают в Pixonic.
На чем разрабатывают VR-игры
Львиную часть проектов Pixonic разрабатывает в Unity - популярном игровом движке, который позволяет создавать приложения сразу для разных сред - смартфонов, компьютеров, консолей и, в том числе, шлемов виртуальной реальности.
Разработка в VR крайне требовательна к ресурсам компьютера. Большинство сотрудников студии работает на ПК - члены команды могут заказывать любую конфигурацию компьютера, необходимую для комфортной работы. «Если кто-то постоянно работает со сложной графикой, мы можем собрать для него мощную станцию с четырьмя видеокартами. В этом вопросе у нас нет ни лимитов, ни ограничений - главное, чтобы было комфортно работать», - рассказывает Никита Гук.
Разработка War Robots VR велась в Unity на ПК. Однако в качестве эксперимента старший VR-разработчик студии попробовал перейти на iMac Pro - компьютер, который Apple позиционирует как мощный инструмент для разработчиков приложений в виртуальной реальности.
По словам Клиновицкого, переход с ПК на iMac для него оказался бесшовным - Unity для macOS практически не отличается от версии для Windows: «Редактор кода идентичный. Остальные средства разработки так же не отличаются. Перейти было легко и быстро».
«Однако на моём ПК с топовой видеокартой производительность была лучше, чем на iMac Pro», - продолжает разработчик. По его словам, проблема заключается также в том, что программное обеспечение для работы с VR для iMac еще находится в стадии разработки.
Почти все разработчики Pixonic работают с двумя большими мониторами, стоящими рядом: на одном выводят редактор кода, на другом - превью игры или другие рабочие инструменты. В случае с 27-дюймовым iMac разработчику Pixonic сложно было подобрать равноценный по качеству и размеру внешний монитор, поэтому приходилось часто переключать окна, что снижало эффективность работы, отмечает VR-разработчик.
При этом рабочая станция Apple лучше справлялась с параллельными процессами при разработке, что позволяло работать одновременно в нескольких приложениях вне зависимости от нагрузки: «В Unity есть такой процесс как запекание света - расчет света на карте. Обычно это долгий процесс, который для большой карты может занимать несколько часов, а иногда и дней. На iMac он шел быстрее благодаря хорошему менеджменту процессов. При этом несмотря на сильную загруженность процессора ты все равно можешь параллельно работать с остальными приложениями. На Windows в таких ситуациях сразу всё умирает, и ты идешь пить кофе».
Клиновицкий считает, что iMac Pro больше подходит для левел-дизайнеров и тех, кто работает с графикой для игр: «Сцена в шлеме виртуальной реальности всегда выглядит иначе, чем когда ты смотришь на нее на экране монитора, поэтому для дизайнеров важны удобные инструменты для редактирования в VR».
Обычно после каждой правки на компьютере им приходится надевать шлем, чтобы посмотреть на результат. Однако современные средства разработки - такие как Unreal - позволяют редактировать графику прямо от первого лица, находясь в виртуальной реальности. Дизайнер включает режим редактирования сцены, надевает шлем и при помощи контролеров Oculus меняет расположение объектов, цвет и так далее.
Рынок в зачаточной стадии
Эксперимент с War Robots VR показал, что рынок игр для виртуальной реальности все ещё находится в зачаточной стадии, считает Никита Гук: «Он не похож на игровую индустрию в привычном понимании. VR - это шоу-кейс интересных технологий, с которыми можно поэкспериментировать в своём продукте ».
Помимо игровых компаний большой интерес к VR проявляет рынок развлечений: с помощью шлемов покупателям показывают, как будут выглядеть проектируемые здания, создают квесты и проводят выставки современного искусства в виртуальной реальности.
Вероятно, такие точечные эксперименты помогут в будущем преодолеть высокий входной порог для пользователя - сейчас помимо хорошего шлема покупатель должен приобрести мощный компьютер, способный мгновенно обрабатывать сложную графику.
Другой барьер для рынка - отсутствие крупных компаний. Пока рынок состоит из небольших лейблов, которые по отдельности проводят маленькие эксперименты. Однако крупный бренд сможет выделить многомиллионные бюджеты на маркетинг VR-игр и привлечь внимание игроков к технологии, считает Гук.
В играх мы в первую очередь смотрим на то, какого охвата сможем добиться, так как хотим подарить крутые эмоции как можно большему числу игроков. Мы смотрим на сформировавшиеся рынки, чтобы понять, какая у них аудитория, можно ли завоевать определенный её процент, и в этом случае рынок становится интересным для нас. Но мы также не ограничены такими рамками и можем попробовать что-то новое.
Никита Гук
Стратегический директор Pixonic
«Мы делали War Robots VR на чистом альтруизме, потому что было очевидно, что в ближайшее время вряд ли крупная разработка в VR сможет отбить инвестиции, - рассказывает Никита Гук. - Главный показатель успешности проекта для Pixonic - его масштабируемость. Поэтому, например, мы не считаем успешным проект, приносящий миллион долларов в месяц, но при этом многократно не масштабирующийся ».
Другой показатель, на который смотрят в Pixonic при запуске игр - это их потенциал - будут ли пользователи возвращаться в неё вновь и вновь, захотят ли играть на одной и той же карте много раз - как в Counter Strike. «Хочется, чтобы примерно так же было в VR, однако пока на этом рынке нет таких успешных примеров», - заключает стратегический директор Pixonic.
Будущее и VR
Отвечая на вопрос о главных проблемах VR-игр, разработчик Pixonic отмечает низкое разрешение современных шлемов. «Когда ты видишь перед глазами большую картинку, например, из игры, то быстро забываешь про довольно крупные пиксели на экране. Но когда ты видишь текст, это сразу бросается в глаза».
Для комфортной работы в VR разрешение шлемов должно достигать 8К - причём для каждого экрана, считает Клиновицкий. Однако для генерации таких изображений понадобятся куда более мощные компьютеры, которые пока что доступны не всем пользователям.
Будущее VR, конечно, не в шлемах. Шлемы - это лишь промежуточный этап на пути к виртуальной реальности. Будущее VR наступит, когда мы сможем подключаться непосредственно к мозгу, когда тебе не будут нужны никакие промежуточные устройства. Тогда этот рынок выстрелит, и всё будет как в фильме «Первому игроку приготовиться».
Артем Клиновицкий
Сегодня прогресс достиг действительно небывалых высот, а новое поколение способно использовать такие возможности, о которых еще 10-15 лет назад люди лишь мечтали. То, что было мистикой и волшебством, сегодня стало техническим прогрессом. Один из таких моментов – это виртуальная реальность. Сегодня мы поговорим о том, что такое VR и как ее используют в различных сферах.
Определение виртуальной реальности
Виртуальная реальность – это созданный с помощью технического и программного обеспечения виртуальный мир, передающийся человеку через осязание, слух, а также зрение и, в некоторых случаях, обоняние. Именно объединение всех этих воздействий на чувства человека в сумме носит название интерактивного мира
Она, VR, способна с высокой точностью имитировать воздействия окружающей виртуальной действительности на человека, но для того, чтобы создать действительно правдоподобный компьютерный синтез из реакций и свойств в рамках интерактивного мира, все процессы синтеза просчитываются, анализируются и выводятся в качестве поведения в реальном времени.
Использование виртуальной реальности многогранно: в 99 процентах случаев одушевленным и неодушевленным предметам, созданным при помощи такой технологии, присущи точно такие свойства, поведение и движение, какие есть у их настоящих прототипов. При этом пользователь в состоянии оказывать на все одушевленные и неодушевленные объекты влияние согласно реальным законам физики (если игровым процессом не предусмотрены другие законы физики, что случается крайне редко).
Принцип работы
Многим интересно, как именно действует технология. Вот три главных компонента, которые используются практически при любом взаимодействии с виртуальной средой:
- Голова . Виртуальная среда внимательно, при помощи специализированной гарнитуры, отслеживает положение головы. Так, гарнитура двигает картинку согласно тому, в какие из сторон и когда пользователь поворачивает свою голову – в бок, вниз или вверх. Такая система официально называется шестью степенями свободы.
- Движения . В более дорогих модификациях технического обеспечения отслеживаются и движения пользователя, при этом виртуальная картинка будет двигаться согласно им. Речь идет здесь не об играх, в которых пользователь просто находится на месте и взаимодействует с окружением, но о тех, где он перемещается в виртуальном пространстве.
- Глаза . Еще один основополагающий в реальности датчик анализирует то направление, в котором смотрят глаза. Благодаря этому игра позволяет пользователю погрузиться в интерактивную реальность более глубоко.
Эффект полного присутствия
Уже по термину полного присутствия понятно, о чем именно идет речь: мир – это виртуальная реальность. Это значит, что пользователь будет ощущать себя именно там, где находится игра, и он может взаимодействовать с ней. Пользователь поворачивает голову – персонаж тоже поворачивает голову, человек шагает в своей комнате – игрок движется в интерактивной реальности. До сих пор идут споры — возможно ли
The Leap – отслеживание пальцев и кистей
Эффект от полного присутствия достигается за счет устройства The Leap. Это устройство, использующее сложную систему отслеживания каждого движения, все еще остается частью очень дорогих и ТОПовых шлемов. Однако алгоритм работы достаточно прост, и он присутствует в немного измененном виде в другом устройстве, а именно в шлеме HTC Vive.
Как контроллер, так и шлем в HTC Vive, оснащены множеством фотодиодов – небольших приборов, преобразовывающих световую энергию в электрическую.
Важный момент! Вообще человек ежедневно сталкивается с фотодиодами и их работой. Как пример, это фотодиод, отвечающий за освещение смартфона. Фотодиод определяет, сколько именно освещения падает на него, и, на основе этих данных, регулирует уровень яркости
Такой же принцип полного присутствия используется и в шлеме. В комплекте со стандартным ВР-шлемом идут две станции, которые через временные интервалы пускают пару лучей – это горизонтальный и вертикальный лучи. Они пронизывают комнату и добираются до фотодиодов на устройстве шлема и контроллера. После этого фотодиоды начинают свою работу, и за несколько секунд происходит обмен информационными данными, в ходе которого датчики передают положение контроллеров и шлема.
В этом заключается алгоритм создания полного присутствия.
Какие существует разновидности VR
Официально сейчас существует три разновидности виртуальной реальности:
- Имитация и компьютерное моделирование.
- Мнимая деятельность.
- Киберпространство и аппаратные средства.
VR шлемы
Главная разница между этими тремя гаджетами заключается лишь в компаниях-производителях. В остальном же они похожи. Все три шлема отличаются портативностью и обеспечением полного погружения в игровой процесс.
Плюсы и минусы виртуальной реальности
Плюсы:
- Возможность полностью окунуться в интерактивное измерение.
- Получение новых эмоций.
- Профилактика стресса.
- Создание электронных информационных и обучающих ресурсов.
- Проведение конференций.
- Создание объектов культурного наследия.
- Возможность визуализации различных объектов и физических явлений.
- Возможность для каждого перейти на новый уровень развлечений.
Минусы:
К минусам можно отнести следующие моменты:
- Зависимость.
- Еще один явный минус: виртуальная реальность и ее психологическое воздействие на человека – оно далеко не всегда бывает позитивным, так как есть риск слишком сильно погрузиться в виртуальным мир, что иногда влечет за собой проблемы в социальной и других сферах жизни.
- Высокая стоимость устройств.
Применение виртуальной реальности
VR можно использовать в таких сферах, как:
- Обучение . Сегодня интерактивная реальность позволяет смоделировать тренировочную среду в тех сферах и для тех занятий, для которых необходимой и важной является предварительная подготовка. Как пример, это может быть операция, управление техникой и другие сферы.
- Наука . VR дает возможность значительно ускорить исследования как атомного, так и молекулярного мира. В мире компьютерной реальности человек способен манипулировать даже атомами так, словно это конструктор.
- Медицина . Как и было отмечено, при помощи VR можно тренировать и обучать медицинских специалистов: проводить операции, изучать оборудование, улучшать профессиональные навыки.
- Архитектура и дизайн . Что может быть лучше, чем показать заказчику макет нового дома или любого другого строительного объекта при помощи такой реальности? Именно она позволяет создавать эти объекты в виртуальном пространстве, в полном размере, для демонстрации, тогда как раньше использовались ручные макеты и воображение. Это касается не только строительных объектов, но и техники.
- Развлечение . VR безумно популярен в игровой среде. Причем, спросом пользуются как игры, так и культурные мероприятия и туризм.
VR – вредно это или нет?
Пока что можно отметить, что никаких глобальных исследований в этой области не проводилось, однако первые выводы сделать уже можно. Так как VR еще только-только разрабатывается (и это действительно так), у многих могут появляться неприятные ощущения при продолжительном использовании этой технологии. В частности, человек будет ощущать головокружение и тошноту.
Пока что нет никаких доказательств того, что . Отрицательный эффект, несомненно, есть, однако он не настолько велик, чтобы бить тревогу. Поэтому пока неизвестно, виртуальная реальность, что это такое – вред или польза.
VR – что ждет в будущем?
Сегодня виртуальная реальность не до конца доделана, поэтому могут появляться неприятные ощущения. В будущем же появится множество устройств, копий и аналогов, которые не будут отрицательно действовать на человеческий организм и психику.
Также устройства VR смогут решить проблемы с потреблением информационных данных, а сеансы станут такими же стандартными и обыденными, как и обычные игры на компьютере или приставках в наши дни.
Вывод
Виртуальная реальность – пока что бездонная пропасть для исследования и улучшения алгоритмов работы. Сегодня технологии продвигаются очень быстро, поэтому можно с уверенностью сказать, что в ближайшем будущем рыночная стоимость комплекта будет по карману человеку со средним достатком.
Сегодня технология виртуальной реальности помогает музеям перейти на качественно новый уровень взаимодействия с посетителями. С помощью панорамного видео и 3D-графики каждый желающий получает возможность увидеть закрытые для посещения архивы музеев, утерянные экспонаты или реконструированные исторические памятники. Кроме того, виртуальная реальность - это отличный способ посетить удаленные архитектурные объекты и выставочные залы в любой точке земного шара. Наша статья поможет разобраться в устройствах для создания виртуальной реальности, расскажет об истории этой технологии и о применении виртуальной реальности в музеях.
Вконтакте
Одноклассники
Технология видео 360° позволяет создавать панорамные фильмы с различной степенью интерактивности, где зритель по своему желанию управляет ракурсом просмотра. Такое видео можно посмотреть в шлеме виртуальной реальности, с помощью специального приложения на смартфоне или на дисплее персонального компьютера.
Опыт туристов, совершивших экскурсию в древнюю пирамиду или посетивших выставку в Лувре, который раньше был доступен немногим, теперь сможет разделить каждый желающий за счет полного погружения в виртуальную реальность.
Виртуальная реальность (virtual reality,VR) – это компьютерная имитация реального или вымышленного мира, в который погружается и с которым взаимодействует человек. Не просто искусственный мир, а сложная и отлаженная система устройств, способных синхронно воздействовать на органы чувств.
Кажется, что виртуальная реальность была придумана и создана лишь в последние десятилетия. Однако эту идею начали воплощать в жизнь почти 100 лет назад.
История виртуальной реальности
История виртуальной реальности началась задолго до появления первых компьютеров. В 1929 году был разработан авиасимулятор «Link Trainer», предназначенный для обучения пилотов. Авиасимулятор был закреплен на шарнире и напоминал маленький самолет с короткими крыльями. Внутри находились авиаприборы, кресло и наушники с микрофоном для общения с тренером.
Link Trainer во время его использования на станции Британской авиации и флота в 1943 году
В 1956 году кинематографист Мортон Хейлиг, которого позже назвали «отцом виртуальной реальности», взялся за разработку непростого механизма, способного имитировать поездку на мотоцикле по улицам Бруклина. Он хотел создать «кино будущего», главная идея которого заключалась в полном погружении человека в специально подготовленный фильм при помощи тряски, шума, ветра и запахов. Проект получил название «Sensorama» и был запатентован. Принцип этого устройства стал основой для создания современных 4D-кинотеатров.
Следующий важнейший рывок в области VR-технологий и создании той виртуальной реальности, которую мы с вами знаем, произошел в 1977 году. Первой современной VR-системой стала «Кинокарта Аспена», разработанная в Массачусетском Технологическом Институте. Эта компьютерная программа симулировала прогулку по городу штата Колорадо, давая возможность выбрать между разными способами отображения местности: летний и зимний варианты виртуальной прогулки по Аспену были основаны на реальных фотографиях.
Демонстрация работы «Кинокарты Аспена»
До конца восьмидесятых технология виртуальной реальности считалась перспективной, но вскоре из-за сложности реализации и дороговизны оборудования интерес к ней угас. Снова о виртуальной реальности заговорили только в 2012 году, когда появились устройства для погружения в виртуальную реальность, доступные широкому кругу людей.
Технологии виртуальной реальности
Крупнейшие компании (Facebook, Nokia, Samsung, Google и др.) в настоящее время ведут разработки камер для съемки видео в формате 360°, гарнитур виртуальной реальности для различных смартфонов и стационарных компьютеров, а также различных звукозаписывающих устройств, обеспечивающих создание объемного звука и позволяющих реализовать целый комплекс технологий «мультимедиа 360°».Камеры для съемки видео 360°
Камеры для съемки панорамного видео называются сферическими и состоят из нескольких видеокамер, которые производят синхронную съемку. Количество объективов колеблется от 2 до 16, а обработка видео осуществляется как в самой камере, так и в специальных программах. Помимо камер именитых марок (Google, Samsung, LG, Nokia, GoPro, Nikon, Kodak, Ricoh) существует множество других - Giroptic, Bublcam, Vuze и т.д.
Камеры для съемки видео 360°
Бинауральный звук
Особой задачей при создании контента для виртуальной реальности является запись и воспроизведение объемного звука – ведь пользователь, находясь в виртуальной реальности, должен слышать разный звук в зависимости от положения головы.В компьютерных играх эта проблема решена с помощью специальных программных средств, задающих расположение источников звука в виртуальном пространстве. Однако с появлением формата «Видео 360°» возникла необходимость записывать звук предельно точно – так, как его слышит человек, стоящий в определенной точке.
Для этой цели используется так называемый бинауральный звук – он записывается на специальные микрофоны, по форме повторяющие ушную раковину человека.
Устройства для записи бинаурального звука
Шлемы виртуальной реальности
Шлем виртуальной реальности позволяет частично погрузиться в иллюзорный мир, создав зрительный и акустический эффект присутствия. Название «шлем» достаточно условное: современные модели гораздо больше похожи на очки, чем на шлем.
Gear VR - шлем виртуальной реальности от Samsung
Существует два вида шлемов виртуальной реальности: полноценные, имеющие свой процессор и подключающиеся к компьютеру, а также мобильные, в которые вставляется смартфон со специальным приложением.
В полноценных шлемах (например, Oculus Rift, HTC Vive и Sony PlayStation VR) есть два встроенных дисплея - когда вы надеваете устройство, они находятся в нескольких сантиметрах от глаз. На дисплеи передается одна и та же картинка, но с небольшим смещением. Перед дисплеями находятся две искривляющие изображение линзы, которые создают эффект объемного изображения. Чтобы в виртуальном мире можно было смотреть по сторонам при повороте головы, в шлеме имеется несколько датчиков: магнитометр, гироскоп и акселерометр. Еще один - трекер с инфракрасными светодиодами - должен стоять на столе, смотреть на человека и фиксировать его положение в пространстве. Он требуется для игр, где допускается свобода передвижения. К устройству также подсоединяется USB-кабель для передачи данных и питания.
Шлем виртуальной реальности Oculus Rift
Самым современным шлемом виртуальной реальности на сегодняшний день является Oculus Rift. Отличительной особенностью Oculus Rift является линзовый способ построения изображения – зритель, надевший шлем, смотрит на стереоизображение не напрямую, а через специальные асферические линзы. С помощью линз удалось существенно расширить угол обзора, сделав его близким к биологическому зрению человека, благодаря чему шлем обеспечивает необыкновенно глубокое погружение в виртуальную реальность. Данная особенность определила дальнейшую судьбу очков – проект стал одним из самых динамично развивающихся в индустрии, по всему миру стали создаваться экспериментальные приложения для Oculus Rift, а в 2014 году произошла одна из рекордных сделок в индустрии – Facebook осуществил покупку компании Oculus за $2 млрд.
Пока Oculus Rift не поступили в розничную продажу, их можно заказать на сайте разработчика за 599 долларов.
Наиболее простые мобильные шлемы виртуальной реальности представляют собой кусок картона, пару пластиковых линз и смартфон в качестве экрана.
Google Cardboard (в переводе с английского - картон ) - эксперимент компании Google в области виртуальной реальности, в основе которого лежит картонный шлем, в который вставляется Android-смартфон. Смартфон разделяет картинку на стереопару и даже отслеживает положение головы.
Google Cardboard
Шлем можно собрать самому или купить за 15 долларов. На сегодня это самый распространенный шлем в мире, который был выпущен тиражом около пяти миллионов экземпляров.
Другие мобильные шлемы Cardboard в большинстве случаев производят из картона и из металла, чтобы устройство служило как можно дольше.
Кроме того, существуют мобильные шлемы виртуальной реальности из пластика с возможностью регулировать положение линз, встроенным вентилятором, кнопкой регулировки громкости и аккумулятором для подзарядки смартфона (например, Homido, Durovis Dive, Gear VR и другие).
Бинокуляры
Это изобретение больше известно, как смотровой бинокль. В отличие от стандартных конструкций в бинокуляре вместо оптической части находится механизм виртуальной реальности, который дает возможность просмотра панорамного видео с любой стороны простым поворотом устройства. Угол обзора составляет 360 градусов по вертикальной оси и 180 градусов по горизонтальной. Пространственно-звуковая картина меняется в зависимости от поворота устройства, которое может быть установлено как в помещении, так и на городских улицах.
Бинокуляр виртуальной реальности, разработанный Лабораторией мультимедийных решений
С помощью бинокуляра можно переместиться на сотни лет и увидеть реконструкции исторических объектов и событий своими глазами с эффектом полного погружения.
Интерактивность в виртуальной реальности
Не смотря на то, что просмотр объемного видео 360° в различных устройствах виртуальной реальности обеспечивает качественное погружение в видео контент, следующим шагом является возможность внедрения в видеоматериал формата видео 360° различных интерактивных элементов.
3D графика в виртуальной реальности
Такими элементами могут выступать:
Активные метки внутри виртуального пространства для движения по различным траекториям, предварительно отснятым в технологии видео 360°Внедрение в видео 360° различного дополнительного контента (изображения, видео, гиперссылки и т.д.) – функция «картинка в картинке»
Переход из видеоизображения в формате видео 360° в смоделированное 3D-пространство реконструированной реальности.
Интерактивное взаимодействие дает возможность выбора пути следования: пользователю, в определенных точках видео (развилках), можно выбрать желаемое продолжение экскурсии, либо вернуться назад. Наведение на элемент осуществляется поворотом головы, которое отслеживается с помощью шлема виртуальной реальности. При удержании прицела на выбранном элементе в течение нескольких секунд происходит активация элемента и запускается следующий сегмент видео 360°, например, появляется видео следующего выставочного зала.
На проходах «вперед» может присутствовать экскурсовод в виде трехмерной анимации, рассказывающий об экспонатах. При желании, пользователь может пропустить просмотр отрезка видео нажатием клавиши на клавиатуре или с помощью интерактивного элемента.
Вторая форма интерактивного взаимодействия – возможность перейти из видео 360° в виртуальную трехмерную реконструкцию. В определенных точках видео-экскурсии появляется элемент, активировав который пользователь перемещается в 3D-реконструкцию с возможностью свободного перемещения в виртуальном пространстве и возможностью вернуться в исходное видео.
Примеры использования технологий виртуальной реальности в музеях
Музей Сальвадора Дали, расположенный в американском городе Сент-Питерсбурге, предлагает своим посетителям в буквальном смысле оказаться внутри картины «Археологический отголосок Анжелюса Милле», принадлежащего кисти великого испанского художника.
Для создания VR-версии картины было привлечено агентство Goodby Silverstein & Partners. Художники кропотливо исследовали полотно и воссоздали его 3D-версию в мельчайших подробностях. В проекте также активно участвовали художники студии Disney, которые ранее уже сотрудничали с музеем при создании анимационного фильма Destino. Результатом их совместной работы стал проект для виртуального шлема Oculus Rift, при помощи которого любой желающий сможет оказаться внутри знаменитого полотна.
Виртуальная реальность в Музее Сальвадора Дали
С помощью приложение WoofbertVR для очков виртуальной реальности Samsung Gear VR можно посещать самые известные художественные музеи мира, не выходя из дома. На сегодняшний день доступен тур по лондонской галерее Курто. Виртуальная прогулка сопровождается комментариями известного британского писателя, автора графических романов Нила Геймана. Идея создать такое приложение пришла в голову исполнительному директору компании Woofbert Роберту Хамви, который не смог попасть в Национальную галерею во время своего визита в Вашингтон.
Приложение WoofbertVR для очков виртуальной реальности Samsung Gear VR
В 2016 году Лаборатория мультимедийных решений создала панорамную экскурсию для посетителей Музея истории города Мончегорска. Гости музея смогут совершить виртуальную экскурсию по цехам Кольской горно-металлургической компании и увидеть весь цикл производства цветных металлов, надев шлем виртуальной реальности и запустив специальное приложение на смартфоне.
Съемки виртуальной экскурсии по цехам Кольской ГМК
Существует множество вариантов применения виртуальной реальности в выставочной деятельности.
Наша команда специалистов поможет вам в выборе лучшего решения
именно для вашего музея и поможет реализовать проект на самом высоком уровне.
Хотите проект с виртуальной реальностью?
Напишите нам!
Вконтакте
1. Изучаем оборудование
Спросите себя: меня интересует разработка для десктопных устройств, наподобие HTC Vive, или меня больше привлекают мобильные устройства вроде Samsung Gear VR или Google Cardboard? Если вы пока не определились, то почитайте обзоры и подумайте о том, что лучше выбрать для вашего рынка. Если для ваших идей требуются контроллеры движения или качественная графика, то ориентируйтесь на подключаемые к компьютеру очки VR. Модели, которые сегодня поддерживаются движками Unity, Unreal и веб-реaлизациями:Компьютерная VR:
- Фотограмметрия и 3D-сканирование
- Изучите введение по пространственному позиционированию звука от Oculus, а также это видео 3D Audio: Designing Sounds for VR .
4. Внедрение интерактивности
После того, как вы освоитесь с движком и приготовите арт-материалы, нужно будет придумать, как придать вашему проекту интерактивности. Я очень рекомендую сначала почитать о принципах построения UI и UX в виртуальной реальности. Иначе у ваших пользователей могут заболеть глаза от плохих решений по стереоскопическому рендерингу, или их укачает. Этого можно избежать, просто отказавшись от привязки текста к полю просмотра, или поместив камеру игрока во время движения в видимую капсулу (автомобиль, скафандр, кабину). А если вы хотите реализовать ручное управление, то рекомендую делать всё как можно реалистичнее - ваши усилия по исследованию и прототипированию будут вознаграждены чувством присутствия.. Руководство, объясняющее разные полезные принципы.
Загрузка...
