최근 막을 내린 마이크로소프트(MS)의 연례행사 ‘빌드2015’에서 가장 관심을 끈 것은 단연 ‘홀로렌즈(HoloLens)’ 였다. 증강현실 디바이스인 홀로렌즈는 1월 MS 본사에서 개최한 윈도10 발표장에서 첫 선을 보였지만, 이번 행사에서는 무대 시연과 함께 언론과 참가자 중 일부와 직접 체험할 수 있는 기회를 제공했다. 필자도 대상으로 선정돼 모스코니센터 옆 호텔에 마련한 별도 공간에서 홀로렌즈를 써 봤다. 사양에 관한 기술적 질문이나 사진 촬영은 금지됐지만 홀로렌즈 체험은 매우 인상적이었다.

완전히 새로운 증강현실 구현

홀로렌즈를 직접 써 본 느낌을 한마디로 표현하면 놀랍다는 것이다. 행사에서 홀로렌즈를 직접 써본 사람들은 한결같이 제한적인 증강현실 경험을 제공하고 있는 실험적 장치인 구글 글라스는 이미 비교 대상이 아니며, 이전에는 없었던 완전히 새로운 증강현실 경험을 홀로렌즈가 제공하고 있다는 데 동의했다.

홀로렌즈가 그토록 새로운 경험을 주는 까닭은 뭘까. 첫 번째 이유는 이전의 디바이스들에서 느껴지는 이질감이 없다는 점을 들 수 있다. 페이스북이 인수하고 삼성전자와 협업을 하기로 해 관심을 끈 오큘러스 리프트*는 시야를 완전히 덮는 가상현실 (Virutal Reality) 화면을 보여준다. 이와는 달리 홀로렌즈는 머리에 쓰는 장치로 글라스 너머 눈에 보이는 실제 세상에 가상의 오브젝트들을 얹어서 보여준다.(실제로는 전면에 글라스가 달린 이중 구조의 헤드밴드 형태로 머리 뒤쪽에서 조여 고정하는 형태다.)

이 방식은 가상현실 디바이스가 제공하는 비현실적인 몰입감과는 달리 우리 눈에 매우 익숙한 느낌으로 제어 가능한 정보를 표시해 사용자가 자연스럽게 받아들일 수 있도록 한다. 이 자연스러움은 장치의 완성도 덕분이라고 할 수 있다. 홀로렌즈를 쓰고 머리를 움직였을 때, 가상 오브젝트들은 글라스 너머 보이는 실세상 물체들과 정확하게 동기화 돼 움직이는 것이다.

오큘러스 리프트를 비롯한 이전의 장치들은 화면에 보이는 그래픽 오브젝트들이 머리의 움직임을 충분히 잘 따라가지 못했기 때문에 이질감이 느껴졌다. 그리고 이 이질감은 오래 착용했을 때 멀미나 메스꺼움을 유발하는 요인이 됐다. 하지만 홀로렌즈는 이런 이질감이 전혀 느껴지지 않았다.

두 번째 주목할 만한 점은 화면에 그려진 물체들의 해상도가 매우 좋다는 점이다. 홀로렌즈가 그려낸 가상 오브젝트는 시야 정면의 사각 윈도우 안에 표현된다. 윈도우 크기가 시야 전면을 덮지는 않지만 머리의 움직임에 따라 글라스 너머의 실세상 위에 그려지므로 시야의 상당 부분을 커버하는 것처럼 느껴진다. 또 그 가상 화면이 매우 선명하고 해상도가 상당히 높아 자연스럽게 가상 오브젝트들의 디테일을 살릴 수 있다.

증강현실 화면은 물론, 가상 화면 내의 어떤 오브젝트의 관점에서 보는 몰입형 가상현실을 같이 경험할 수 있다는 것도 중요한 차별점이다. 사용자의 시야에 보이는 실제 세상 전체에 대한 모델을 이미 홀로렌즈가 자체적으로 가지고 있기 때문에 소프트웨어적으로 보면 당연히 가능한 것이다. 시연에서는 파트너로 참여한 건설회사 트림블(Trimble)과 함께 제작한 영상과 비슷한 내용을 보여줬다.

설계하고 있는 건물을 증강현실로 조망해보는 것은 물론, 증강현실 화면의 한 아바타를 클릭해 그 아바타의 관점에서 그 건물이 놓인 가상공간에 직접 들어가서 살펴보는 것도 가능했다. 이 가상현실 모드에서는 홀로렌즈 글라스의 사각 윈도우가 완전히 가상 화면으로 덮어져서 실세상은 보이지 않게 된다.

질감과 무게는 개선 필요

개선이 필요하다고 여겨지는 부족한 점도 있었다. 그 중 하나는 높은 해상도에도 불구하고 가상 오브젝트들의 질감이 아직은 실세상과 다르게 느껴진다는 점이다. 이는 그래픽 엔진의 성능 개선이 필요한 영역으로 보인다. 글라스 너머로 보이는 실세상의 미묘한 밝기 변화에 가상 오브젝트들도 반응을 하도록 만들면 훨씬 더 자연스러워 질 전망이다.

또 다른 단점은 머리에 쓰고 장시간 이용하기에는 약간 무거운 느낌이 든다는 점이다. 오큘러스 리프트와 같은 몰입형 디바이스에서 느껴지는 답답함은 없지만, 아직은 무게감이 있다. 이 무게감은 위 질감보다는 훨씬 빨리 해결될 것으로 기대되며, 다른 장점들을 고려했을 때 머리에 쓰는 부분을 최소화하고 배터리나 회로의 일부를 분리해 유선으로 허리에 차거나 주머니에 넣는다 해도 크게 불편할 것 같지는 않다.

이 같은 개선사항은 기술개발을 통해 점차 해결될 것이고 당장 부족한 점들이 홀로렌즈가 가진 상업적 활용 가치를 낮추지는 않을 것이다.

홀로렌즈의 다양한 적용 사례

그렇다면 홀로렌즈를 어디에 쓸 수 있을까? 아마 직접 써봤거나, 시연을 본 사람은 다들 각자의 전문 영역에서 유용한 응용방향을 고민하고 있을 것이다. 구글 글라스 등 민간에서 아직 상용화되지 않은 새로운 기술이 대체로 그렇듯 가장 쉽게 예상되는 활용분야는 군사 분야다. 실제 세상이 그대로 보이면서도 부가 정보까지 높은 해상도로 선명하게 볼 수 있기 때문에 거의 완벽한 모션 트래킹이 가능하다. 이 점을 이용하면 장시간의 미션에 아주 잘 활용될 수 있다. 또 의료 분야에서 실제 수술을 하거나, 교육을 하는 용도로도 유용할 것이다. 이번 빌드 행사의 키노트에서도 이에 관한 데모가 있었다. 이와 함께 아마도 가장 먼저 활용할 수 있는 분야는 키노트 영상이나 유튜브의 홀로렌즈 영상에서 보여줬듯이 건축, 토목이나 제조업처럼 3차원 그래픽 모델에 기반한 작업이 많은 전통적인 산업 영역에 우선 도입되지 않을까 한다. 이 분야는 이미 예전부터 증강현실의 핵심 시장이었다. 이 영역은 증강현실과 가상현실 기술이 모두 필요한 영역으로, 하나의 디바이스로 두 가지 모두를 해결할 수 있는 가장 유망한 분야다.

개인적으로는 홀로렌즈가 가장 멋지게 적용될 수 있는 시장으로 게임 시장이 될 것으로 보고 있다. 홀로렌즈와 부가 센서, 햅틱 피드백 디바이스를 활용해 PC 화면이 아닌 진짜 내 공간에 나타난 적들과 결투하는 장면을 쉽게 생각할 수 있다. 닌텐도 위(Wii)가 휘트니스 게임 영역을 새롭게 개척했다면, 홀로렌즈는 훨씬 실감나고 몰입감 있는 스포츠 게임의 새로운 시대를 열기에 충분하다.

기존 MMORPG의 개념을 완전히 바꿀 수도 있다. 온라인과 오프라인이 결합된 게임을 만들어 일부 게이머는 집이나 PC 방에서, 다른 일부는 게임 테마파크나 서바이벌 게임장, 나아가 실제 도시 공간에서 같은 게임을 팀으로 즐길 수도 있다. 또 홀로렌즈가 처음 선보일 때부터 영상에 나왔던 유명 게임 마인크래프트*의 경우 시연 영상 속의 소극적인 방법이 아니라 야외, 광장과 같은 더 큰 공간에서 여러 사람이 동시에 참여하여 즐기는 온·오프라인 믹스 버전도 쉽게 생각할 수 있다.

영화 속에 들어가 직접 체험 가능

영상 콘텐츠 사업에서의 혁신적 응용도 많이 생길 것으로 기대한다. 지금까지 우리는 관람자로서 내가 존재하는 세상과 스크린 상에 투영되는 영화 속의 세상을 분리할 수밖에 없었다. 3D 영화도 약간의 추가 효과만을 제공하고 있을 뿐이었다.

홀로렌즈를 이용하면 실제 공간과 가상공간을 섞고 그 안에 관객으로 들어가 영화 속에서 벌어지는 일들을 볼 수 있으며, 내가 그 영화의 일부가 될 수도 있다. 그 영화의 장르가 꼭 공상과학이나 액션일 필요도 없다. 다른 모든 장르에서 활용이 가능하다. 특히 첨단 기술을 가장 먼저 도입하는 민간 산업인 포르노그래피 산업에서는 상상을 초월하는 많은 콘텐츠와 보조 장치들이 만들어질 것이 확실하다. 위에 언급한 다양한 분야의 응용에 홀로렌즈가 효과적으로 또 효율적으로 활용되려면 아직도 해결되어야 할 문제들도 있다. 가장 먼저 꼽을 수 있는 것은 증강현실에서 언제나 문제가 되는 것으로, 실제 세상에 대한 정교한 모델링 또는 인식이 필요하다. 지금 홀로렌즈에 달려있는 것으로 보이는 여러 쌍의 스테레오 비전 카메라로 실세상을 스캔해 모델로 바꾸거나, 전혀 새로운 공간을 실시간으로 인식한 뒤, 가상 오브젝트를 정확한 위치에 그것도 홀로렌즈를 착용한 사람의 모션에 동기를 맞춰가면서 배치하고 조작할 수 있어야 한다. 하지만 아직 그 수준에 이르지는 못한 것으로 보인다. 지금까지의 시연 환경은 비교적 잘 컨트롤된 환경이나 사전에 모델링이 된 공간들로 거의 완벽한 동작이 가능했지만, 다른 임의의 공간에서 어떻게 동작하는지는 확인된 바가 없다.

또 다른 문제는 홀로렌즈와 같이 사용되는 기술에 대한 개선이다. 홀로렌즈를 머리에 쓰고 이동할 때, 명령을 내리는 방법은 주로 음성과 제스처일 것이다. 음성의 경우 마이크로소프트의 코타나(Cortana)* 기술이 어렵지 않게 적용될 것으로 보인다. 하지만 제스처는 현재 몇 가지의 동작에 대한 인식이 제한적으로 가능할 뿐이다.

가상 또는 증강현실 응용에서 제스처 인식은 사용자 경험의 관점에서 매우 중요하다. 우선 공간에서 움직이는 사용자의 손을 정확하게 인식할 수 있어야 하며, 홀로렌즈를 쓴 사용자 본인의 동작뿐만 아니라 실공간 속의 다른 사람의 동작, 또는 가상 오브젝트들의 움직임도 인식이 가능해야 현실감 높은 화면과 응용을 만들어낼 수 있다.

또한 게임이나 영화와 같은 콘텐츠와 연동하는 응용의 경우 햅틱(Haptic 촉각과 힘, 운동감을 느끼게 하는 기술) 피드백도 정교하게 필요하다. 이 햅틱 피드백은 홀로렌즈 이외의 다른 센서와 디바이스를 필요로 하며, 이미 많은 기술적 진보가 진행된 영역이기도 하다. 마이크로소프트의 홀로렌즈는 우리가 미래기술이라고 일컫는 것 가운데 하나가 거의 완성된 형태로 나타난 것이라고 말할 수 있다. 이 글을 쓰고 있는 시점까지는 아직 그 구체적인 사양이나 사용된 세부 기술이 공개되지 않았다. 출시는 물론, 개발자를 위한 지원 계획도 구체적이지 않다.

적어도 MS는 홀로렌즈를 위한 응용 개발이 MS가 추구하는 통합 윈도우 플랫폼을 위한 응용 개발과 다르지 않을 것이라고 이야기하고 있다. 많은 개발자들은 홀로렌즈가 키넥트*처럼 값싸게, 많은 소프트웨어 도구들과 함께 개발자 친화적으로 발매되기를 기대하고 있다.

글 이민석 국민대학교 컴퓨터공학부 교수

머니투데이