Mesh es la visión de Microsoft para el futuro de la realidad mixta. Mesh es una plataforma de equipo que le permite compartir experiencias virtuales en una variedad de dispositivos que se lanzó el 2 de marzo de 2021 durante el evento Microsoft Ignite 2021.
¿Por qué existe la necesidad de la realidad mixta?
Mixed Reality es una combinación de mundos físicos y digitales, que desbloquea los vínculos entre la interacción humana, informática y ambiental. En términos simples, permite a los usuarios crear un nuevo entorno en el que coexisten objetos digitales y físicos.
Las aplicaciones de MR están creciendo ampliamente día a día desde que se aplican para brindar soporte remoto a los trabajadores de la construcción hasta actuar como una herramienta para pruebas virtuales para ingenieros. Uno de los ejemplos populares que demuestra por qué necesitamos MR es en el sector de la salud. En este sector, los médicos pueden utilizar la RM para practicar cirugías y obtener mejores imágenes de datos sin ningún daño o riesgo para la vida humana. Otro ejemplo de MR es actuar como una herramienta clave para representar objetos físicos del mundo real en forma de hologramas 3D, lo que reduce el costo de adquisición y utilización de recursos.
La RM se necesita principalmente en el sector de la fabricación, donde permite a los usuarios ver los tipos de equipos en su versión digital apuntando sus dispositivos en consecuencia.
La capacitación técnica también se puede proporcionar mediante el uso de dispositivos o auriculares compatibles con la holoportación . Por lo tanto, se necesita MR para brindar soluciones de capacitación y fabricación con tiempos de reparación reducidos y soluciones de bajo costo.
Para resumir, MR cierra la brecha entre AR y VR. Su concepto único empuja a las industrias a mejorar sus soluciones en todas las dimensiones.
¿Cuáles son los problemas subyacentes al crear la realidad mixta y el papel de Mesh en ella?
Algunos problemas graves subyacentes que impiden que los desarrolladores creen estas experiencias inmersivas son, en particular:
- Se necesita mucho tiempo y recursos para representar a los usuarios en MR con el realismo pertinente.
- Un problema no trivial es mantener un holograma estable en un espacio MR compartido.
- Hacer que los modelos 3D de alta fidelidad admitan formatos de archivo es una tarea bastante difícil.
- Un trabajo complejo en las sesiones de MR distribuidas geográficamente es sincronizar acciones y expresión.
Estos son algunos de los desafíos que enfrentan los desarrolladores para habilitar las experiencias de MR que Microsoft Mesh pretende resolver.
La mayor aplicación de Mesh está en la Educación. Esta tecnología mejora nuestra capacidad para demostrar modelos conceptuales en STEM mucho mejor para audiencias ocasionales. Cerrar esa brecha de alfabetización científica es crucial hoy en día.
Además, mientras se aprende medicina, a menudo se requiere una percepción visuoespacial avanzada , ya sea para evaluar la ubicación de los órganos durante la cirugía o para comprender la fisiología a nivel celular.
Para citar a Langston, “los estudiantes de ingeniería o medicina que estén aprendiendo sobre motores de autos eléctricos o anatomía humana podrían reunirse como avatares alrededor de un modelo holográfico y quitar partes del motor o pelar músculos para ver qué hay debajo. Los colegas podrían simplemente reunirse y conversar en un espacio virtual compartido, o las empresas podrían usar aplicaciones habilitadas para Microsoft Mesh para ofrecer reuniones virtuales o capacitación para empleados de todo el mundo”.
Excluyendo la jerga técnica, ¿qué es realmente Microsoft Mesh?
Una versión de malla de prueba de concepto de Pokémon Go (Fuente de la imagen: Microsoft/Niantic)
«Puedes sentir que estás en el mismo lugar con alguien compartiendo contenido, o puedes teletransportarte desde diferentes dispositivos de realidad mixta y estar presente con las personas incluso cuando no están físicamente juntos», explica Alex Kipman de Microsoft, el inventor de Kinect y HoloLens.
Si ha estado esperando una tecnología de ciencia ficción o un producto de realidad mixta como Tony Stark, entonces Mesh es el que debe tener en cuenta.
Según Microsoft, la holoportación es una técnica que permite a los usuarios aparecer como avatares de sí mismos en el espacio. Se dice que Microsoft Mesh es compatible con la holoportación . Aunque la holoportación solo permite la creación de avatares, Microsoft promete la comunicación entre personas en sus formas fotorrealistas.
Mesh ha sido considerado como el producto más grande e innovador en el campo de AR y VR. Veamos los componentes principales de Microsoft Mesh.
Aplicaciones habilitadas para malla:
- HoloLens2: con sus capacidades inmersivas de realidad mixta, HoloLens 2 y su aplicación Mesh pueden conectarse y crear conjuntamente con otros desde la comodidad de donde sea que esté trabajando.
- Auriculares VR: con los auriculares VR, puede reunirse, compartir y trabajar con otros usuarios en espacios virtuales con Mesh.
- PC y dispositivos móviles: puede unirse a reuniones y sesiones de diseño con tecnología Mesh utilizando sus propias PC y teléfonos inteligentes.
- Aplicaciones compatibles con Mesh: además de la plataforma de desarrollo, Microsoft Mesh también ofrece algunas experiencias de aplicaciones que dan vida a la plataforma.
Plataforma de desarrollador:
Mesh está habilitado por una plataforma integral y una colección de herramientas. El corazón de esta plataforma de desarrollo es Azure.
La aplicación HoloLens 2 Mesh y AltspaceVR son instancias de la experiencia colaborativa que Mesh puede iluminar para auriculares inmersivos.
Como desarrollador, no necesita preocuparse por la infraestructura central en torno a la facturación, la transmisión de audio/video y las capacidades subyacentes de administración en vivo debido a la presencia de servicios como Azure Active Directory y Microsoft Graph. Las siguientes son las capacidades de Microsoft Mesh:
- Presencia inmersiva: la plataforma Mesh, con sus modelos de movimiento impulsados por IA para capturar movimiento y expresiones, viene con una plataforma de avatar y un estudio de personalización, para que pueda usar los avatares listos para usar que representan a los participantes según los dispositivos que utilizan. te estás uniendo desde. También permite la holoportación de 360° más fotorrealista con sensores de afuera hacia adentro para representaciones realistas.
- Mapas espaciales: este marco permite anclar contenido, compartir puntos de vista de dispositivos y colaborar en modelos 3D, lo que permite que Mesh tenga una comprensión global del espacio/entorno en el que se encuentra el usuario.
- Representación holográfica: esto brinda la flexibilidad para diseñar aplicaciones que pueden optimizar la latencia frente a la fidelidad según el dispositivo y la representación nativa de formatos de archivo 3D en aplicaciones habilitadas para Mesh.
- Sincronización multiusuario: la creación de una perspectiva común del holograma y de cada uno dentro de una sesión de colaboración se aumenta con audio espacial en malla que crea la sensación de estar en el mismo espacio físico en un escenario multiusuario.
Un SDK de desarrollador multiplataforma de Mesh para aprovechar las capacidades y la función de la plataforma central, lo que les brinda a los desarrolladores la libertad de trabajar en las plataformas que elijan, como Unity, junto con C++ y C# nativos, y la próxima compatibilidad con Unreal, Babylon y React Native.
Soporte multidispositivo:
Este producto se basa en Microsoft Azure, lo que permite a los desarrolladores crear aplicaciones de realidad mixta inmersivas, multiusuario y multiplataforma.
La Realidad Mixta se está generalizando entre los consumidores y los comerciales, liberando experiencias vinculadas a la pantalla en interacciones instintivas en su espacio, entre sus cosas, con su gente. Microsoft Mesh se siente como una película de ciencia ficción que cobra vida con su diseño alucinante. Si bien muchas empresas basadas en productos están trabajando en soluciones innovadoras de MR, Mesh ha demostrado ser la próxima gran novedad.
Mesh usa AltSpace VR, una red social que salió en 2017, para ayudar a crear avatares virtuales para los usuarios. Mesh pronto se integrará con Teams, lo que brindará una llamada mucho más futurista que cualquier otra plataforma de reunión de equipo.
Para experimentar el Mesh MR, todo lo que tiene que hacer es usar un auricular HOLOLENS 2, ingresar a una reunión virtual y ¡ya está listo para el viaje!
Todos los participantes en la reunión virtual pueden tomar un avatar virtual y se sentiría como si todos estuvieran juntos en la misma habitación. La pandemia ha resultado en la aplicación de innovaciones tecnológicas a mayores alturas y la malla fue una de ellas. Microsoft también está haciendo que Mesh esté disponible en una variedad de dispositivos, incluidos HoloLens 2, la mayoría de los auriculares de realidad virtual, tabletas, teléfonos inteligentes y PC.
Avatar virtual de malla en la reunión de MR (Fuente de la imagen: Microsoft)
Con la tecnología de las capacidades informáticas y de inteligencia artificial de Azure, Mesh también está diseñado para permitir que los arquitectos, diseñadores e ingenieros que manejan el modelado y el diseño en 3D trabajen juntos en todo el mundo.
A pesar del avance, Mesh tiene su propio conjunto de dificultades, como el costo de los auriculares VR, HOLOLENS 2. Otra cosa es que acciones como saltar desde una pantalla 2D son posibles, la experiencia no es lo suficientemente inmersiva en el auricular.
Desde tener una reunión virtual de MR en Teams hasta un concierto virtual y una experiencia de juego de MR, las posibilidades son ilimitadas. Pero la realidad y el éxito de Mesh dependen de la forma en que Microsoft comercialice su tecnología y supere las limitaciones a las que se enfrenta actualmente Mesh.