[세상을 바꾼 IT: 미래] NPU, 전자기기 안에 인공지능을 탑재하라

• 컴퓨터 그래픽을 처리하는 GPU

복잡한 연산을 담당하는 CPU

초기 컴퓨터는 복잡한 연산을 처리하는 CPU가 컴퓨터의 핵심 소자였습니다. 존 폰 노이만은 컴퓨터의 구조를 설계할 때 CPU를 복잡한 연산을 담당하는 컴퓨터의 두뇌로 설계했습니다. 때문에 컴퓨터는 CPU가 모든 복잡한 연산을 담당했습니다. 애초에 초창기 컴퓨터는 코더가 뚫은 천공카드를 읽어 명령에 따른 연산을 한 뒤 결과값만 출력했기에 CPU만으로 충분했습니다. 그러나 천공카드에 불편함을 느낀 사람들은 모니터라는 단말기를 만들고 CLI를 만들어 인간의 문자로 명령을 내렸고 컴퓨터는 인간의 문자를 모니터 화면에 송출해야 했습니다. 하지만 문자는 단순했기에 CPU로도 충분히 처리할 수 있었습니다.

컴퓨터 그래픽이 발전하며 점차 CPU로 모두 처리하기 버거워졌다

그러나 인류는 CLI로도 만족하지 못했습니다. 그래서 문자가 아닌 그림을 클릭하는 GUI를 개발했고 컴퓨터 모니터를 GUI로 채웠습니다. 이 때부터 CPU는 복잡한 연산도 해야 하고 단순한 연산인 GUI 계산도 해야 했습니다. 1980년대의 GUI는 변하지 않는 2차원 그림이었기에 이 정도 GUI는 CPU가 그럭저럭 연산할 수 있었습니다. 하지만 1990년대 3차원 게임이 등장하며 3차원 이미지를 연산해야 하자 CPU로는 무리였습니다. 그래서 등장한 것이 GPU입니다.

여러 마이크로프로세서를 설치해 단순하지만 많은 계산을 병렬 연산하게 한 초기 GPU 모델

그래픽을 연산해 출력하는 것은 그리 어렵지 않은 계산이었습니다. 다만 픽셀마다 색을 프레임 단위로 출력해야 했기에 연산할 양이 무지막하게 많을 뿐이었습니다. 그래서 GPU는 단순하지만 막대한 계산을 신속하게 처리하기 위해 CPU보다 연산 능력은 좀 떨어지는 소자들을 병렬로 배치해 여러 연산을 병렬 연산하는 구조로 설계되었습니다. 이렇게 단순한 연산인 그래픽 연산만 담당하는 GPU가 탄생했습니다.

GPU 덕에 그래픽 성능은 빠르게 향상되었다

GPU가 탄생하자 CPU는 복잡한 핵심 연산에만 집중하고 그래픽 연산은 GPU만 담당하는 식으로 분업이 이루어졌습니다. 덕분에 게임사 등 컴퓨터 그래픽과 관련된 업종은 GPU에 호환되는 소프트웨어를 개발하고 이용하며 원하는 그래픽을 마음껏 구현하고 그래픽 발전에 투자할 수 있었습니다.

 

 

 

• NVIDIA에서 탄생한 GPGPU

설립 당시 NVIDIA 로고

그래픽 연산을 담당하는 GPU는 Intel에서 처음 개발하며 CPU만큼 수요가 높을 칩에 대한 연구개발이 시작되었습니다. 그리고 그 흐름을 읽은 자들이 있습니다. Intel처럼 반도체 칩을 개발하는 AMD의 연구원인 젠슨 황, 커티스 프리엠, 크리스 말라코스키 세 사람이었습니다. 그들은 1993년 AMD에서 나와 CPU를 생산하는 기업을 설립했습니다. 허나 CPU 시장은 이미 Intel과 AMD, Qualcomm 등 쟁쟁한 기업이 꽉 잡고 있었기에 그들은 CPU 대신 떠오르는 비디오 게임 시장에 발맞추어 GPU 개발로 사업 방향을 바꿨습니다.

NVIDIA 시대를 연 GeForce 256

1999년 상반기 NVIDIA는 RIVA TNT2라는 GPU를 출시했습니다. 그리고 RIVA TNT2를 개발하며 얻은 노하우를 바탕으로 1999년 하반기에 GeForce 256을 출시했습니다. NVIDIA는 GeForce 256을 세계 최초의 GPU라고 홍보했으며 게임사와 컴퓨터에 관심을 가진 사람들의 이목을 끌어모았습니다. 이로서 NVIDIA는 GPU 기업으로 유명해졌고 GPU 시장에서 점차 점유율을 높여갔습니다.

반도체 칩 분야에서 압도적인 점유율을 차지한 Intel은 GPU 시장도 장악했다

허나 GPU 시장의 절대 강자는 CPU 강자로 유명한 Intel이었습니다. Intel은 CPU를 판매하며 GPU도 함께 판매했기에 대부분의 컴퓨터는 Intel의 CPU와 GPU가 함께 들어가 있었습니다. 특히 조립이 불가능한 랩탑은 무조건 Intel의 CPU와 GPU를 사용해야 했습니다. 때문에 NVIDIA는 Intel이라는 거대한 벽을 뛰어넘지 못했습니다. 이에 젠슨 황은 GPU를 단순히 그래픽만 연산하는 장치에서 멈추는 것이 아닌 어느정도의 연산을 스스로 할 수 있는 반도체 칩으로 발전시키자는 아이디어를 냈습니다.

GPU를 여러 개 병렬로 연결해 방대한 계산을 한번에 처리하는 GPGPU

GPU를 특정 연산을 하는 반도체 칩으로 발전시키는 개념은 단순했습니다. GPU는 입력값을 주면 특정한 계산을 거쳐 출력값을 내기 때문에 함수와 동일했습니다. 그래서 요구되는 계산이 동일한 조건이면 특정한 계산을 하는 GPU 칩을 여러 개 넣으면 하나의 GPU가 할 수 있는 양보다 더 방대한 양의 계산도 충분히 할 수 있다는 점에 주목했습니다. 그래서 실제로 GPU 여러 개를 병렬로 처리하는 구조로 설계해 그래픽 뿐만 아니라 더 다양한 연산도 처리할 수 있는 반도체 칩을 만들었습니다. 그 칩이 GPGPU입니다.

NVIDIA의 GPGPU는 계산 자체는 단순한 편이지만 처리해야 할 데이터가 막대한 경우에 힘을 발휘했다

정확히 말하면 연산 작업을 담당하는 Thread 여러 개가 모인 SM(Streaming Multiprocessor)이 하나의 연산을 담당하는데 그 SM을 엄청나게 많이 모아둔 반도체 칩이 GPGPU입니다. GPGPU는 막대한 SM 덕에 막대한 양의 데이터를 순식간에 처리할 수 있었습니다. NVIDIA의 GPGPU는 더 사실적인 고화질 3차원 게임을 구현하는데 힘을 발휘했습니다. 또한 2020년 Bitcoin이 유행하며 Bitcoin을 채굴하기 위해 NVIDIA의 GPGPU를 대량 구매하며 수요가 폭증했습니다. 하지만 GPGPU가 가장 큰 위력을 발휘하는 분야는 따로 있었습니다.

 

 

 

• 인공지능 도래와 폭증하는 GPGPU

Stable Diffusion 등의 생성형 인공지능을 이용하려면 GPGPU가 반드시 필요하다

2022년 Stable Diffusion이 오픈소스, 즉 무료로 공개되자 많은 사람들은 Stable Diffusion을 이용해 쉽게 실사 이미지를 생성하려고 했습니다. 그리고 생성형 인공지능이 세계적인 트렌드가 되었고 개인이나 연구실에서 Stable Diffusion을 이용한 생성형 인공지능 연구가 폭증했습니다. 그리고 Stable Diffusion을 사용하려면 GPGPU가 반드시 필요했습니다. 동일한 연산이지만 방대한 데이터를 학습시키고 결과물을 출력시키는 일은 오직 GPGPU만이 가능했기 때문입니다.

인공지능 상용화와 함께 부상한 NVIDIA

그리고 그 GPGPU를 생산하는 기업은 NVIDIA가 유일했습니다. 그래서 개인과 연구소, 기업은 Stable Diffusion이나 다른 생성형 인공지능을 이용 또는 연구개발하기 위해 NVIDIA의 제품을 사용해야 했습니다. NVIDIA는 2022년 생성형 인공지능 시대의 주역으로 부상했고 그 어떤 기업도 NVIDIA의 독주를 막을 수 없었습니다.

 

 

 

• 네트워크로 전송해야 하는 인공지능의 응답

WiFi를 이용한 무선 통신은 근본적으로 시간이 걸릴 수 밖에 없다

한편 chatGPT로 전세계를 장악한 Microsoft는 웹사이트에 chatGPT 웹사이트를 설립해 사람들이 chatGPT를 이용하게 했습니다. 그리고 사람들은 WiFi 또는 이더넷 케이블로 Web과 연결한 상태에서 chatGPT를 이용했습니다. 그리고 이는 사용자가 프롬프트로 질문을 던지면 네트워크로 chatGPT 서버에 전달한 뒤 chatGPT 서버에서 응답을 생성하면 그 응답을 네트워크를 통해 사용자에게 전송됨을 의미했습니다. 이는 필연적으로 응답 속도의 지연을 야기했습니다.

chatGPT는 Web으로 이용하는 서비스이기에 네트워크가 끊기거나 불안정하면 chatGPT를 이용하지 못한다

때문에 사용자는 프롬프트를 친 뒤 잠시 응답을 기다려야 했습니다. 그래도 네트워크 전송속도가 빨라 2초, 길어도 10초 이내에 답변하며 사람들이 크게 불편함을 느끼지 않는 속도로 응답했습니다. 허나 네트워크가 불안정하거나 아예 끊겨버리면 chatGPT로 응답을 전송하고 받는 것이 불가능해 chatGPT를 이용하지 못했습니다.

게임 NPC에 chatGPT를 입혀 대화하게 하면 응답속도가 느림이 잘 보인다

또한 chatGPT를 게임 NPC에 적용하는 등 커스터마이징을 하면 느린 응답속도가 눈에 잘 띄었습니다. 사람이 키보드 또는 음성으로 질문을 던지면 NPC가 약 2초에서 10초 사이 동안 가만히 있다가 응답하는데 그 가만히 있는 시간이 정말 눈에 잘 띄었습니다. 그래서 chatGPT를 이용한 응용 서비스는 필연적으로 느린 응답속도라는 문제에 직면했습니다.

 

 

 

• On-Device AI, 장비에 인공지능을 달자

장치 안에 인공지능을 탑재하면 네트워크가 없어도 인공지능을 빠르게 이용할 수 있다

응답속도 지연을 해결하는 방법 자체는 간단합니다. 사용자가 이용하는 장치에 인공지능을 넣으면 됩니다. 그럴 경우 사용자가 질문을 던지면 장치 안의 인공지능이 빠르게 연산한 뒤 대답을 출력하면 되기에 사용자와 서버 간 먼 거리를 이동할 필요 자체가 없습니다. 또한 네트워크 통신이 필요없기 때문에 WiFi가 연결되지 않는 환경에서도 인공지능을 잘 이용할 수 있습니다.

인공지능만 담당하는 NPU

그리고 장치 안에 인공지능을 탑재하기 위해 주목받은 기술이 있습니다. 그것은 인공지능만 전문적으로 연산하는 반도체 칩인 NPU입니다. CPU가 그래픽도 처리할 때 GPU가 그래픽만 처리하기 위해 탄생했듯이 GPU가 인공지능도 처리할 때 인공지능만 처리하는 NPU의 필요성이 부각되었습니다. 그래서 반도체 기업들은 생성형 인공지능이 등장하자 빠르게 NPU 개발에 박차를 가했습니다.

 

 

 

• NPU 시장을 잡기 위한 경쟁

새로 설계되는 NPU 구조

2010년대부터 본격적으로 발전한 인공지능 구조에 대한 연구가 성숙된 지금 GPU보다 더 좋은 인공지능 전용 반도체 구조를 새로 짤 필요성이 대두되었습니다. 그래서 인공지능의 구조에 따라 반도체 칩의 물리적 구조를 새로 설계하고 있습니다. 그리고 성능이 우수한 NPU를 개발하고 생산하기 위해 여러 기업이 경쟁하고 있습니다.

NVIDIA GPU를 이용해 게임 속 인공지능 NPU와 실시간으로 대화할 수 있다

NPU의 선도 기업은 당연히 GPGPU 노하우를 가진 NVIDIA입니다. NVIDIA의 H100 Tensor core GPU는 지금까지 가장 우수한 성능을 인정받는 NPU로 가장 널리 사용되고 있습니다. chatGPT의 주역 Microsoft도 Azure MAIA를 개발하며 NVIDIA의 독주에 대항해 하드웨어 부분에서도 Microsoft가 인공지능 시대의 주인이 되려고 준비하고 있습니다.

삼성전자는 자체 개발한 Exynos 9820을 Galaxy S24에 탑재해 통화 자동 번역 서비스를 제공한다

삼성전자는 Exynos 9820을 독자 개발한 뒤 Galaxy S24에 탑재해 외국어를 실시간으로 번역하는 서비스를 제공하고 있습니다. 이는 삼성전자가 Galaxy S24를 공개할 때 강조한 기능으로 삼성전자의 경쟁사인 Apple을 비롯한 많은 스마트폰 기업과 기술격차를 벌리겠다는 삼성전자의 포부를 담은 첨단기술입니다. 이에 Apple도 A14 등 Apple 독자개발 NPU를 출시하며 인공지능 시대에 뒤떨어지지 않겠다는 의지를 보여주었습니다.

 

 

 

• 로봇의 두뇌가 될 NPU

스스로 판단해 작전을 수행하는 기계는 군사적으로 매우 매력적인 기게이다

한편 생성형 인공지능이 일상을 바꾸고 NPU가 부상하기 전부터 정부와 기업은 인공지능을 기계에 탑재하는 시도를 해왔습니다. 대표적인 예시가 로봇에 인공지능을 탑재하는 것이었습니다. 특히 군대는 스스로 판단해 작전을 수행하는 기계에 큰 흥미를 느꼈고 2000년대 초반부터 그런 기계를 연구해 개발했습니다. 이스라엘, 미국, 중국 등 강대국을 중심으로 인간이 별도의 추가 명령 없이 작전만 명령하면 스스로 판단해 작전을 완수하는 인공지능 무기에 대한 연구개발이 이루어졌습니다.

OpenAI를 탑재해 스스로 상황을 판단하고 행동하는 Figure 01

그리고 기업 역시 물리적인 힘은 인간 노동자를 대체했지만 변수에 취약한 로봇을 보완하기 위해 로봇에 인공지능을 탑재해 스스로 판단하게 하려는 연구에 투자하고 있습니다. 특히 무거운 물품을 취급하는 제조업체 기업들이 인간처럼 생각하고 행동하는 로봇에 큰 투자를 했습니다. 그 결과 2024년 OpenAI의 GPT를 탑재해 생각하고 행동하는 Figure 01 로봇이 등장했습니다. Figure 01의 변하는 상황에 대한 자연스럽고 정확한 인식과 적절한 행동은 로봇이 인간처럼 생각하고 행동할 수 있음을 눈으로 보여준 사례입니다.

로봇에 NPU가 탑재되면 어떤 환경에서도 스스로 작동하는 로봇으로 발전하는 것이 가능하다

이에 기업들은 로봇의 두뇌가 될 인공지능으로 비용이 많이 드는 학습보다는 즉각적인 상황을 빨리 파악하고 적절한 행동을 하도록 판단하는 인공지능이 가장 적합하다고 판단했고 그 판단력을 가진 로봇 전용 NPU를 개발하려고 하고 있습니다. 특히 사고 현장에 투입되는 로봇 등 예측불가능하고 위험천만한 임무에 투입되는 로봇을 중심으로 로봇이 스스로 사고하고 행동할 수 있게 하는 NPU에 대한 연구가 진행되고 있습니다.

 

 

 

• NPU로 열릴 인간-인공지능 세상

NPU는 인공지능이 인류 옆에 항상 있게 할 기술이다

이처럼 생성형 인공지능이 일상에 침투한 지금 반도체 기업들은 NPU를 개발하려고 경쟁하고 있습니다. 전력소모가 상당한 NPU를 독자 개발해 사람들이 유용하게 오래 사용할 수 있는 NPU를 개발하기는 쉽지 않지만 그만큼 사람들이 자주 사용할 미래 핵심기술이기에 기업들은 NPU에 사활을 걸고 있습니다. 그리고 더 작고 가벼워지며 성능이 좋아지는 NPU는 우리 옆에 인공지능이 있는 시대를 열 것입니다.