Apple Vision Pro — революция в интерфейсах AR/VR

Я некоторое время пользовался Apple Vision Pro и впечатлен. Apple создала лучший пользовательский интерфейс для AR/VR , и он должен служить шаблоном для всех будущих дисплеев потребительских гарнитур.

Vision Pro работает на новой VisionOS — объединении iOS, iPadOS и macOS, предназначенном для смешанной реальности. Он использует множество внутренних и внешних камер гарнитуры для отслеживания движений глаз и рук, которые являются основным способом взаимодействия с системой. Вы можете подключить его к таким устройствам, как клавиатуры , геймпады и мыши , но большую часть времени вы будете управлять Vision Pro только глазами и руками.

На чем бы ни сосредоточились ваши глаза — будь то пункт меню, значок или любой другой элемент интерфейса — он слегка подсветится, показывая, что он выбран. Если соединить указательный и большой палец вместе, вы щелкнете выбранный элемент, как щелчок мышью или постукивание по сенсорному экрану. Даже этот жест напоминает щелчок мышью.

Это все, что вам нужно сделать, чтобы активировать что-либо: просто посмотрите и постукивайте пальцами. Это инстинктивно легко.

Однако для взаимодействия с работающим компьютером вам понадобится немного больше, чем один щелчок мышью. Вот почему вы можете сжать и держать пальцы вместе, а затем двигать рукой так, как будто вы физически перемещаете предмет, который зажимаете. Посмотрите на нейтральное место на веб-сайте, затем сведите запястье вверх и вниз, чтобы прокрутить его. Посмотрите на небольшую полоску в нижней части почти каждого окна VisionOS, затем сведите пальцы, чтобы переместить ее куда угодно. Сделайте то же самое с углом окна, и вы сможете изменить его размер.

Эти два простых жеста обеспечивают невероятный контроль над Vision Pro, и они могут быть быстрее, чем использование мыши или сенсорного экрана, когда вы к ним привыкнете, потому что вам нужно только сфокусировать взгляд, чтобы выбрать что-либо вокруг вас. Затем постучите пальцами вместе, и, если ваши руки не находятся за головой, жест будет обнаружен.

Не будет преувеличением сказать, что это скачок поколений в дизайне интерфейсов смешанной реальности, и он крайне необходим. Большинству VR-гарнитур и AR-очков требуется дополнительный контроллер для взаимодействия с чем-либо. Vision Pro исключает необходимость использования любого такого устройства, делая управление глазами и руками надежным и универсальным.

Я уже видел, как отслеживание взгляда используется на дисплеях гарнитуры, и каждый раз эта технология впечатляла меня. Meta Quest Pro хорошо включает его во многие приложения и функции, но он не реализован последовательно. PlayStation VR2 еще меньше использует отслеживание взгляда в качестве системы управления, работая только с некоторыми играми, в которых есть возможность его включить. Оба, кажется, используют отслеживание взгляда больше для фовации, чем для чего-либо еще, улучшая производительность, концентрируя ресурсы на более подробной визуализации того, на что вы смотрите непосредственно, и меньше ресурсов на то, что находится в вашем периферийном зрении. Vision Pro также использует фовеацию, которая, по моим ранним тестам, кажется отличной для производительности, но это означает, что на скриншотах, которые я делал для нашего репортажа, были очень странные проблемы с фокусировкой.

Гарнитуры Meta и Sony полагаются почти исключительно на соответствующие физические контроллеры. Они нужны вам, чтобы сделать практически все. Даже в тех немногих случаях, когда вы можете выбрать что-то одними глазами, требуется несколько секунд смотреть на элемент меню и заполнять полосу, чтобы подтвердить, что это действительно то, что вы хотите активировать.

Что касается отслеживания рук, Quest Pro (и Quest 3 , у которого нет отслеживания глаз) имеет эту функцию, но она крайне ненадежна. Вам нужно держать руки в удобном месте перед камерами гарнитуры и привыкнуть к довольно специфическим жестам и движениям, чтобы отслеживание сохранялось. Это приятное дополнение к этим гарнитурам, но оно не приближается к замене контроллеров.

VisionOS совершенствует и унифицирует отслеживание глаз и рук как фундаментальную часть операционной системы, причем отслеживание рук, в частности, гораздо более продвинуто и надежно, чем все остальное, что я видел. Когда я говорю, что нужно просто стучать пальцами, я имею в виду, что вы сжимаете их практически в любое время и в любом положении. Процесс настройки Vision Pro включает сканирование передней и задней части ваших рук с помощью гарнитуры, после чего гарнитура может отслеживать, где они находятся, в любом месте почти под куполом на 180 градусов перед вами.

Я откинулся на спинку стула и лениво постукивал пальцами по коленям, и жесты регистрировались на Vision Pro. Я держал руки над головой и по бокам головы, и оба нажатия и перетаскивания транслировались. Это не работает, когда ваши руки полностью находятся вне поля зрения многих камер гарнитуры, например, если они находятся позади вас или под одеялом, но и постукивание, и перетаскивание всегда помогали мне в гораздо более естественных и расслабленных положениях. чем я ожидал. Это невероятный шаг вперед по сравнению с неуклюжим и ненадежным отслеживанием рук в гарнитурах Meta Quest.

То, что ваши руки находятся вне поля зрения, также не всегда может помешать вам постукивать. Apple ничего не сказала о такой функции, но я определенно могу увидеть возможные обновления VisionOS и watchOS, которые соединят модели Apple Watch Series 9 или более поздних версий с устройством VisionOS, чтобы включить функции, которые позволяют использовать жест двойного касания исключительно с распознаванием движения. . Это всего лишь гипотетически, но я могу представить, что такая связь работает.

Я использовал все основные потребительские VR-гарнитуры и несколько устройств AR и не преувеличиваю, когда говорю, что Vision Pro имеет лучший пользовательский интерфейс, который я когда-либо видел. Это своего рода скачок в удобстве использования, который мы наблюдали с iOS, благодаря которой смартфоны и планшеты действительно объединяются для более широкой пользовательской базы, чем технофилы и профессионалы. Базовая технология и отдельные элементы не новы, но они собраны и отшлифованы настолько, что практически каждый сможет легко взять в руки гарнитуру и получить удовольствие от ее использования.

Это не означает, что вам следует купить Apple Vision Pro (и прежде чем рассмотреть его, обязательно сначала прочитайте наш предстоящий обзор). Интерфейс невероятный и доступный, но устройство — нет. Это гарнитура стоимостью 3500 долларов на рынке, где 1500 долларов считаются очень дорогими. Это намного превышает обычно ожидаемую премию Apple.

Также я сказал, что пользовательский интерфейс просто потрясающий. Я не говорил, что операционная система невероятна. VisionOS построена на прочном фундаменте, но это все еще новая платформа, и это видно по ее библиотеке программного обеспечения и некоторым элементам дизайна.

Вы можете легко перемещать различные приложения вокруг себя, зажимая и перетаскивая их. Однако вы можете расположить их только вокруг себя. При их перемещении они автоматически поворачиваются, поэтому они всегда смотрят прямо в вашу сторону. Он чистый, но не такой гибкий, как хотелось бы.

Помимо жестов касания, у вас есть возможность протягивать руку и напрямую нажимать пальцами на объекты, например клавиши на виртуальной клавиатуре. Это не так быстро и надежно, как выбор предметов глазами, а отсутствие физической обратной связи делает его неудобным. Это еще один случай, когда соединение Vision Pro с Apple Watch гипотетически может улучшить восприятие, просто заставив часы слегка вибрировать, когда вам удастся нажать виртуальную клавишу.

Выбор приложений также удручающе ограничен. Я не ожидаю запуска новой платформы смешанной реальности с десятками приложений и игр, использующих эту технологию, но VisionOS построена на iOS, iPadOS и macOS. Он действительно может использовать приложения для iPhone и iPad. Он просто не может использовать их все . Приложений Google вообще нет, включая YouTube. Твича тоже нет. Учитывая, что операционная система и оборудование (тот же M2, что и у iPad Pro ) настолько близки к устройствам, которые без проблем их запускают, причин для их отсутствия нет.

Vision Pro не прокладывает новые пути, но прокладывает уже хорошо пройденную почву. Интерфейс превращает грубую грунтовую дорогу прошлого VR в гладкую улицу, по которой можно прогуляться, и я надеюсь, что его концепции будут повторяться и подражать как Apple, так и другим разработчикам.