[세상을 바꾼 IT: 미래] HoloLens, 확장현실의 선구자

• 가상현실VR이 세상을 지배하리라

Second Life는 가상현실에 대한 대중의 관심을 다시 살렸다

任天堂의 처참한 실패에도 불구하고 가상현실VR에 대한 대중들의 기대는 완전히 사라지지 않았습니다. 거기에 Second Life가 등장해 언론에서 가상현실VR을 홍보하면서 가상현실VR에 대한 관심이 다시 살아나기 시작했습니다. 이에 기업들은 한시라도 빨리 진정한 가상현실VR을 구현해 가상현실VR 시장을 독점하려고 했습니다. 수많은 IT 기업들은 차세대 기술로 가상현실VR을 주목했고 가상현실VR에 대한 투자를 다시 활성화했습니다.

3차원으로 영화를 보는 <아바타>는 대중들에게 몰입 경험에 대한 기대감을 주었다

특히 2007년 Apple이 iPhone을 출시하며 본격적인 스마트폰 시대에 접어들자 많은 IT 기업들은 Apple이 선점한 스마트폰 시장을 뛰어넘을 새로운 시장으로 가상현실VR을 주목했습니다. 거기에 더불어 2009년 특수 안경을 끼고 3차원으로 영화를 관람하는 <아바타>는 시청자들이 판도라 행성이라는 미지의 공간 한가운데에 있는 듯한 몰입감을 주며 놀라움을 선사했습니다. 대중들은 공간 안에 있는 놀라운 경험에 열광했고 <아바타>는 전세계에 흥행하며 몰입경험에 대한 관심과 수요를 크게 늘렸습니다. 그래서 2009년 <아바타> 대흥행 직후 3차원 텔레비전과 가상현실VR 장비 등 하드웨어에 대한 관심이 폭증했습니다. 그리고 기업들은 이 흐름을 읽고 몰입 경험을 제공할 HMD에 운명을 걸었습니다.

 

 

 

• 증강현실, 현실에 가상을 추가하자

가상현실은 좁은 특정 공간 안에서만 이용할 수 있다는 근본적 한계점이 있었다

허나 가상현실VR은 아무리 기술이 좋아진다해도 결국 가상 공간이며 현실 공간과 완벽히 단절되어있다는 근본적인 한계점이 있었습니다. 그래서 가상현실VR을 이용하는 사람들은 안전한 범위 안에서만 활동해야 했습니다. 그렇지 않으면 이동하다가 현실의 사물과 부딫혀 안전사고가 나기 쉬웠습니다. 그렇기에 가상현실VR은 사업화 분야가 극히 제한되었습니다.

증강현실의 시초인 Virtual Fixtures

그래서 가상현실의 한계를 뛰어넘는 기술이 주목받았는데 바로 증강현실Augmented Reality였습니다. 증강현실AR은 현실에 가상 물체를 띄우는 기술로 이용자는 현실 공간을 인식하며 필요한 가상 물체도 동시에 볼 수 있었습니다. 증강현실AR은 1992sus 미국 공군 연구소AFRL의 루이스 로젠버그가 처음 제시한 기술로 미군 훈련 용도로 기술 개발이 시작되었습니다. 그리고 2000년대에 들어서 네비게이션에 적용하는 등 상업화 준비를 진행했습니다. 이에 기업들은 증강현실AR에 주목했고 증강현실AR을 이용한 사업화를 준비했습니다.

 

 

 

• 꽃을 피우지 못한 Google glass

Google이 2011년 개발 계획을 발표한 Google glass

이런 시대적 흐름에 맞춰 Google은 2011년 스마트폰에 있는 기능을 안경에 옮겨 스마트폰이 아닌 안경만 쓰고 다니면 무엇이든지 할 수 있는 Google glass를 개발하겠다고 발표했습니다. Google은 Google glass는 Android 기반 Glass OS 운영체제로 작동하며 블루투스 기능이 있고 이어폰이 있어 Android 스마트폰에서 사용한 기능을 안경에 그대로 옮기겠다고 발표했습니다. 그리고 2013년 시제품을 발표하고 시연하며 증강현실 안경을 만들겠다는 야심을 보였습니다.

2010년대 기술로는 Google glass를 절대 만들 수 없었다

허나 증강현실AR은 공간을 인식하고 계산한 뒤 공간에 가상 물체를 놓는 과정을 전부 연산해야했기 때문에 고성능의 CPU 성능을 요구했습니다. 이는 2010년대의 기술로는 버거운 성능이었고 더더욱 얇은 안경에 넣을 수 있는 수준은 절대 되지 않았습니다. 그래서 Google glass는 기술적 한계 때문에 계속 연기되다가 약 10년 뒤 사업을 완전히 철수했습니다. 이렇게 Google glass는 기술적 한계 때문에 시작도 못하고 사라졌습니다.

 

 

• Microsoft의 야심작, HoloLens

태블릿 PC와 스마트폰에서 먼저 증강현실AR이 구현되었다

Google이 혁신적이고 거대한 Google glass 개발을 발표했지만 기술적 한계 때문에 사업이 지지부진하자 개발자, 투자자, 대중들은 아직 기술이 불완전함을 인식하고 태블릿 PC와 스마트폰에 증강현실AR을 구현하는 것으로 관심을 돌렸습니다. 태블릿 PC와 스마트폰은 HMD보다 더 우수한 성능을 가지고 있었으며 카메라가 탑재되었기에 카메라로 영상을 녹화하면 그 화면에 가상물체를 추가하는 형태로 증강현실AR 기술이 발전했습니다.

증강현실 기술의 핵심 기술인 홀로그램 기술은 발전하고 있었다

허나 모두 이는 불완전한 증강현실AR임을 잘 알고 있었습니다. 그런 와중에 증강현실AR을 구현하는 HMD 기술은 점차 발전하며 증강현실AR을 구현할 조건을 충족해가고 있었습니다. 특히 유리 화면에 화면을 띄우는 기술은 홀로그램 기술로 2010년대부터 홀로그램 기술은 상용화 수준으로 성장했습니다. 여전히 홀로그램을 구현하기 위한 유리는 두꺼웠지만 그럼에도 상당히 선명한 모습을 보여 증강현실AR을 이용한 상업화를 시도할 만한 수준이 되었습니다.

Microsoft가 깜짝 발표한 HoloLens

이에 Microsoft는 조용히 홀로그램 기술을 이용한 증강현실AR HMD를 개발했습니다. Microsoft의 알렉스 키프먼이 주도로 증강현실AR HMD를 개발했습니다. 그들이 개발한 것은 홀로그램으로 Windows를 이용할 수 있는 헤드셋, 즉 머리에 씌우는 컴퓨터였습니다. 그리고 2015년 Microsoft는 Windows 10 이벤트 발표에서 머리에 쓰는 컴퓨터 HoloLens를 깜짝 발표했습니다.

알렉스 키프먼은 Windows 10 이벤트 발표회에서 HoloLens로 Minecraft 게임을 하는 퍼포먼스를 보여주며 모두의 주목을 받았다

Windows 10 이벤트 발표에서 별 흥미도 없는 Windows 10 업데이트 소식이나 말하겠지라고 생각하던 참석자들은 갑자기 등장한 HoloLens에 크게 놀랐습니다. 알렉스 키프먼은 HoloLens를 발표하며 강연장에서 직접 HoloLens로 Minecraft 게임을 하는 퍼포먼스를 보여주며 HoloLens의 성능을 선보였습니다. 그 모습을 본 사람들은 영화에서나 보던 증강현실AR을 두 눈으로 보는 것도 놀라운데 별도의 컨트롤러나 게임패드 없이 손으로 게임을 하는 모습을 보고 더더욱 놀랐습니다.

HoloLens는 손을 인식하는 기술이 있어 손으로 가상 물체를 만지고 클릭할 수 있다

HoloLens의 비장의 무기는 손을 인식하는 Hand Tracking에 있었습니다. 인공적인 키보드나 게임 패드, 컨트롤러로 불편하게 가상현실VR 및 증강현실AR에서 상호작용하는 것이 아닌 맨 손 자체를 이용해 버튼을 클릭하는 것은 간편하고 직관적인 것을 넘어 가장 원초적이고 본능적인 상호작용을 그대로 수행할 수 있는 혁신이었습니다. HoloLens는 손 자체를 메뉴판으로 사용하고 버튼을 공간에 띄워 손가락으로 버튼을 눌러 증강현실AR을 이용할 수 있게 하며 놀랍도록 간편한 사용감을 선사했습니다.

 

 

 

• 산업현장에 투입된 HoloLens

Microsoft는 HoloLens를 산업 용도로 출시했다

Microsoft는 HoloLens의 사용자를 일반 대중이 아닌 산업군으로 타겟팅했습니다. 아직 대중이 HoloLens를 사용하기에는 비싸며 대중에게 친화적인 서비스를 제공하지 못했기 때문입니다. Microsoft는 복잡한 기계 부품을 정비하는 산업을 위주로 부품의 상태를 증강현실AR로 파악하고 수리하는 과정을 증강현실AR로 설명하는 서비스를 제공했습니다. 그래서 HoloLens를 착용한 기술자는 기계 부품을 증강현실AR로 파악하고 3차원에 화상채팅 및 설명서를 띄워 기계 상태를 관리 책임자와 공유하고 소통하며 기계를 수리했습니다.

Microsoft가 도전한 3차원 증강 회의

정비 산업에 투입된 HoloLens는 여전히 몇가지 불편한 점이 많았지만 그래도 두 손이 자유로운 상태에서 실시간으로 부품 상태를 관리자와 공유하고 공중에 뜬 참고서를 보며 수리할 수 있다는 점에서 좋은 평가를 받았습니다. 정비 산업에서 예상대로 성공을 거둔 Microsoft는 HoloLens를 증강 회의에 적용하려고 했습니다. QR code 등 마커를 두고 HoloLens를 쓰면 마커 위에 3차원 이미지가 떠 HoloLens를 착용한 사람들끼리 공유할 수 있었습니다. 그래서 일부 3차원으로 보며 회의를 진행해야 하는 경우에 HoloLens는 좋은 회의도구가 되었습니다.

의료현장은 HoloLens가 역량을 가장 잘 발휘하는 분야였다

이는 특히 의료 실습 환경에서 역량을 가장 잘 드러냈습니다. 인체를 파악하고 인체 내부의 질병을 검토 및 치료하는 의료 산업은 그 어떤 현장보다도 3차원이 가장 필요한 현장이었습니다. Microsoft 역시 이를 잘 알았고 인체를 3차원 모델링한 의료 실습 프로그램들을 만들어 HoloLens의 소프트웨어로 탑재한 뒤 병원에 판매했습니다. 그래서 레지던트들은 HoloLens를 착용한 상태에서 교수와 함께 인체를 공부하고 치료 실습을 수행했습니다.

HoloLens 기술은 실제 인체에 가상 물체를 입혀 수술 실습 및 수술 진행을 도왔다

현실 사물을 파악하고 그 사물에 3차원 가상을 입히는 HoloLens의 기술은 수술 및 수술 실습에 기능을 맘껏 발휘했습니다. 레지던트들은 HoloLens를 착용한 뒤 마네킹에 HoloLens가 입힌 가상 이미지를 보며 수슬 연습을 진행했고 우수한 성적을 낸 레지던트들은 실제 수술에 HoloLens를 이용해 수술을 관찰 및 진행했습니다. 일부 의사들도 HoloLens를 착용한 상태에서 3차원 이미지를 보며 수술을 진행했습니다. 덕분에 2015년 이후 병원에서 HoloLens를 이용한 교육 및 실제 의료 업무가 등장했고 의사들에게 HoloLens가 알려졌습니다.

 

 

 

• HoloLens 이후 시장에 등장한 HMD

2016년 등장한 Oculus Rift

2015년 갑자기 등장한 HoloLens는 산업군에서 꽤 유의미한 성공을 거두며 HMD 시장을 되살렸습니다. 2015년 1월 HoloLens가 깜짝 등장한 이후 2015년 6월 스타트업인 Oculus는 Oculus Rift라는 HMD를 공개하며 HoloLens를 추격했습니다. Oculus가 개발한 Oculus Rift는 여전히 컨트롤러를 이용한 조작에 의존했으나 VR 멀미도 상당히 없고 장비도 꽤 가벼워 세간의 주목을 받았습니다.

삼성 기어 VR

또한 2014년부터 Oculus와 협업하며 HMD 기술을 발전시키던 삼성 역시 2015년 기어 VR을 출시하며 HMD 시장에 도전장을 내밀었습니다. 삼성은 갤럭시 스마트폰과 갤럭시 기어 스마트와치 등 삼성 호환 장비의 파워를 자랑하며 삼성 기어 제품과 기어 VR이 호환됨을 강조했습니다.

가상현실 게임시장을 지배한 Playstation VR

Oculus도 등장하자 이어 많은 기업에서도 HMD와 가상/증강현실 소프트웨어를 출시했습니다. 특히 2016년 시장에 수많은 HMD들이 쏟아져나왔습니다. 타이완의 HTC는 HTC Vive를 출시했고 일본 게임사인 ソニー는 Playstation VR을 출시했습니다. 중국의 PIMAX에서도 PIMAX 8K를 출시했고 Tiktok으로 성장한 字节跳动 역시 Pico를 개발해 시장에 선보이며 HMD 시장을 둔 각축전을 벌였습니다.

 

 

 

• 여전히 차가운 시장

HMD를 착용하고 이용하는 VRChat

2015년과 2016년 많은 HMD가 등장하자 이어 가상현실VR 및 증강현실AR 게임이나 소프트웨어가 등장하며 1990년대에 상상하던 3차원 디지털 시대가 열리는 듯 했습니다. 2014년 출시된 VR 라이프 플랫폼인 VRChat이 HMD 등장과 함께 활성화되어 많은 사람들이 HMD를 착용한 상태에서 아바타를 꾸미고 그 아바타에 빙의해 VRChat 환경에서 사람들을 만나고 가상의 삶을 살았습니다. 이처럼 HMD가 등장하자 Second Life에서 못 이룬 꿈이었던 3차원 가상환경에서의 삶이 현실이 되었습니다.

VR 게임의 현실을 잘 보여주는 짤

그러나 눈 주변을 완전히 덮는 HMD는 여전히 불편했습니다. 무게도 나가며 눈 주위를 압박하기에 장시간 착용하면 머리가 아프고 안압이 높아져 눈이 아파지는 단점이 있었습니다. 또한 2015-2016년에 등장한 HMD는 대부분 가상현실을 지원했기에 현실과 완전히 단절된 상태였습니다. 그래서 HMD를 착용한 상태로 가상현실VR 서비스를 이용하는 사람을 밖에서 보면 우스꽝스러운 이미지가 펼쳐졌습니다. 그래서 가상현실VR에 대한 대중의 인식은 아직은 좀 사용하기 꺼려지는 서비스로 굳혀졌습니다. 또한 가상현실VR은 처음에는 신기하지만 익숙해지면 스마트폰보다도 더 안 좋은 성능이 드러나 굳이 이용할 이유를 찾지 못했습니다.

HoloLens 역시 아주 특수한 경우에 사용할 뿐 보편적으로 사용하기에는 무리가 많았다

그렇다고 증강현실AR 서비스가 좋은 것인가 하면 그것도 아니었습니다. 증강현실AR 서비스는 이미 컴퓨터, 스마트폰, 태블릿 PC가 자리잡은 상태에서 이 장비들이 아닌 HMD를 착용하며 증강현실AR을 이용해야 되는 이유를 제시하지 못했습니다. HoloLens 역시 정비 산업이라는 아주 특수한 환경에서 사용하는 것을 벗어나지 못했으며 이 때문에 2019년 HoloLens 2를 출시해 더 우수한 성능을 서비스했음에도 처참한 판매량을 기록하며 실패했습니다.

HoloLens의 디스플레이 시야각은 매우 좁아 화면이 잘려 보였다

무엇보다도 Microsoft에서 출시한 HoloLens와 HoloLens 2는 매우 좁은 시야각이라는 치명적인 한계점이 존재했습니다. 그래서 한 화면 전체가 보이지 않고 일부가 잘려 보였기에 사용자들은 이 점을 매우 불편하게 여겼습니다. 거기에 홀로그램 기반 기술이다보니 화면이 애매하게 흐려 잘 보이지 않았고 빛이 강한 곳에서는 안보이는 현상을 해결하지 못했습니다. 때문에 기업은 처음에는 HoloLens를 구매해 산업 현장에서 사용했으나 불편하다는 의견을 받아 이후로 구매하지 않았습니다. 이처럼 HMD를 이용한 확장현실XR(가상현실VR 및 증강현실AR) 서비스는 여전히 넘어야 하는 문제들이 많았습니다.