롱카이 복귀 기념 Youtube 소개

• 8월 복귀

XR 기반 X-ray 의료기기 실습도구 개발

안녕하세요, 오랜만에 인사드립니다. 저번에 예고한데로 8월에 딱 복귀했네요. 그 동안 많은 일이 있었습니다. 사실 4월부터 여러가지를 개발하고 컨펌받고 반영하고 실험하고 하느라 정신이 없었네요. 그래도 이제 여유가 생겼으니 다시 티스토리를 진행할 겁니다. 그 전에 4월부터 7월까지 무슨 일이 있었는지 간단히 소개해보죠.
 
 
 

• Youtube 채널과 개발한 사항들

https://www.youtube.com/@04ZeroWest

04ZeroWest

사실 저는 Meta Quest 시리즈, Xreal 스마트 안경 등으로 3차원 기반 콘텐츠를 개발하는 연구를 해왔어요. 그리고 작년부터 거기에 이제 인공지능을 담아 XR + AI 시스템을 구축해왔답니다. 그 개발한 내용들을 Youtube 채널인 04ZeroWest에 기록했고요.
https://www.youtube.com/watch?v=6f12cMGFBdE&t=55s

Meta Quest 3으로 이용하는 XR 기반 X-ray 의료기기 실습 도구

https://www.youtube.com/watch?v=yMsIaICEFB8

XR 기반 X-ray 의료기기 실습 도구 설명 영상

가장 먼저 한 건 순수 XR 개발이었어요. Meta Quest 3의 Passthrough 기능을 이용해 현실에 가상 물체를 띄우고, Hand Tracking 기능으로 손으로 가상 물체를 잡고 상호작용하는 걸 개발했답니다. Unity 게임엔진으로 개발했고요, Meta XR Interaction SDK 개발도구로 개발했어요. 암튼 이건 작년부터 한 활동이었고, 아마 XR 개발 중 그래도 처음으로 끝까지 해 완성한 프로젝트였네요.
https://www.youtube.com/watch?v=CsbbQUDS1oM

OpenXR의 XRHands로 만든 미니 게임(?)

그리고 Meta Quest 3에서 실제 손을 추적하는 Hand Tracking 기능을 이용해 쬐끄만한 게임도 만들어보고요. XRHands에서 지원하는 손 관절 추적과 특정 제스처를 취할 때 이벤트를 실행하는 기능을 이용해 빵야빵야 게임도 만들어봤네요.
https://www.youtube.com/watch?v=t5okkPjsAzI&t=60s

Wikipedia를 XR에 적용해 본 실험

이런 아주 간단한 것도 만들어봤어요. 한창 공간 컴퓨팅 이야기가 나올 때 Wikipedia 같이 하이퍼링크를 통해 여러 페이지를 오가는 웹서비스를 공간 컴퓨팅을 이용해 한번 여러 페이지를 동시에 띄워보려는 시도도 해봤고요. 근데 렌더링 부분에서 아직은 그리 좋지는 않았네요.
https://www.youtube.com/shorts/JYjLMqmVojM

Meta Quest에 OpenAI realtime api를 연결해 대화하는 NPC를 구현한 프로젝트

https://www.youtube.com/watch?v=QFq3cFylTfc&t=5s

동일한 콘텐츠를 태블릿으로 이용하는 버전

그 외에도 XR All-in-One SDK 개발도구와 OpenAI realtime api를 Unity에서 연결해 LLM 기반 NPC 캐릭터도 만들어봤고요. 이건 여러 사람이 함께 만든 대형 프로젝트인데 여기서 저는 XR + AI 구현을 담당했어요. 그래서 Meta Quest를 착용하거나 태블릿으로 접속한 뒤, 가상현실에서 NPC와 영어로 대화할 수 있어요. 상황은 미국 입국심사장에 도착한 것이고, NPC는 까칠한 미국입국심사원이에요. 그래서 영어로 미국 방문 목적을 말하고 시비 거는 NPC와 말로 싸우면 됩니다 ㅋㅋㅋㅋㅋㅋ. 이건 서비스 종료되었어요. 저거 OpenAI realtime api 이용하는 비용이 너무 비싸서 감당이 안되거든요.
https://github.com/YongseoKim

YongseoKim - Overview

이 중에 몇가지 공개할 수 있는 건 제 Github에 공개해놨어요. 뭐 딱히 관리를 안해놔서 github에 올린 프로젝트를 사용할 수 있을지 장담은 못하겠는데 참고 정도는 할 수 있을거에요. 소소하게 작은 프로젝트들을 담아논 겁니다.
 
 
 

• Xreal air 2 Ultra 테스트

Xreal air 2 Ultra 스마트 안경과 Beam Pro 단말기

그리고 작년 9월에 Xreal 코리아에서 개발자 전용 스마트 안경인 Xreal air 2 Ultra를 출시하고, 이어 컨트롤러 겸 본체 역할을 하는 Beam Pro를 출시했어요. 그래서 그거 구해서 스마트 안경으로 개발도 조금 해봤고요.
https://www.youtube.com/watch?v=dYUcTINcUM8

Xreal air 2 Ultra 뷰

https://www.youtube.com/watch?v=LuwyMZFO8as

Xreal air 2 Ultra의 Hand-tracking 테스트

Xreal은 NRSDK라는 개발도구를 제공해요. 그래서 저는 Unity에 NRSDK를 설치해서 Xreal이 준 샘플에 몇가지만 좀 추가하고 빌드해서 테스트해봤어요. 아래 영상인 Hand-tracking 테스트가 그 영상이에요. 신기하긴 한데 증강현실로 보여주는 시야각이 좀 좁은 게 아쉽네요.

TCL RayNeo X3 Pro 스마트 안경

최근 6월 18일부터 20일까지 코엑스에서 열린 MVEX 2025에 TCL RayNeo X3 Pro가 전시되었길래 가서 써보니 안경은 일반 뿔테안경과 너무 똑같이 생기고 무게도 비슷해서 놀랐어요. 거기에 플레이 된 소프트웨어도 보니 보는데 방해되지 않고 적당히 작고 컴팩트하더군요. TCL에 따르면 올해 11월 쯤 나온다는데, 물론 늦춰질 가능성이 높지만 만일 한국에 출시되면 저거 구해서 개발 좀 해봐야겠네요.
 
 
 

• 다시 시작하는 04의 작고 큰 세상

문화기술연구소에서 디지털 복원한 황룡사 9층 목탑 내부

이제 일도 안정되었으니 04의 작고 큰 세상 다시 시작합니다. 8월부터 10월까지는 말 그대로 아무거나 하다가, 11월부터는 예고한데로 <고려高麗> 이야기 시작합니다.