엔비디아 더 오를까?

요약

• 금융 미디어와 투자자들은 NVIDIA가 CUDA 소프트웨어를 통해 구축한 AI 칩 주변에 혜자를 형성하고 있다고 반복하고 있지만, 사실 NVIDIA의 혜자는 그 이상으로 확장된다.
• 경쟁 업체들이 대항할 AI 칩과 그와 함께 제공되는 소프트웨어 패키지를 구축하려는 동안, CEO 제인슨 황은 더 큰 기회인 데이터 센터를 제품으로 집중하고 있다.
• NVIDIA는 데이터 센터 솔루션 전체에 걸쳐 동시에 다중 네트워크 효과를 누리고 있다.
  
  

인공지능(AI) 분야에서의 창조적 AI 열풍 속에서 투자 커뮤니티는 Nvidia Corporation (NASDAQ:NVDA)의 AI 칩 시장에서의 우위 점유율에 열광하고 있습니다. Nvidia의 시장 점유율을 깎아내려는 경쟁 업체들이 나타나는 가운데, 엔비디아의 주가상승은 Nvidia의 혜자를 구축하는 데에는 A100과 H100 칩의 우수한 성능뿐만 아니라, 특히 Nvidia의 칩에 최적화된 CUDA 소프트웨어 패키지도 큰 역할을 한다고 강조합니다.

그러나 이는 그저 빙산의 일각에 불과합니다. Nvidia는 데이터 센터 솔루션 전체에 걸쳐 다중 네트워크 효과를 누릅니다. 경쟁 업체들이 자체 AI 칩을 개발하여 이 기술 거물과 경쟁하려는 동안, Nvidia는 점점 "데이터 센터를 제품으로" 초점을 맞추고 있어서 주식에 대한 매수 케이스를 더욱 강화하고 있습니다.

Nvidia의 효과적인 경쟁을 원하는 반도체 기업들은 단지 비교 가능한 AI 칩을 개발하는 것뿐만 아니라, 개발자들을 위해 응용 프로그램 개발 과정을 가속화하는 칩 주변의 상응하는 소프트웨어 생태계를 구축해야 합니다. Nvidia는 실제로 CUDA(또는 Compute Unified Device Architecture) 주변에 강력한 생태계를 구축했으며, 이는 대규모 개발자 커뮤니티, 제3자 소프트웨어 및 하드웨어 공급업체, 학술 기관 등을 포함하고 있습니다. 이러한 생태계는 가상의 순환 과정을 겪으며, CUDA를 사용하는 사람들이 더 많아질수록 제3자 개발자와 다른 파트너들이 Nvidia의 GPU를 위한 더 많은 프로그램을 작성하여 지원하는 동기가 강화되고, 이는 더욱더 생태계를 강화시킵니다.

대부분의 투자자들은 이러한 혜자 요소를 이미 인식하고 있습니다. 그러나 이는 빙산의 일각에 불과하며, Nvidia의 데이터 센터 산업에서의 혜자는 우수한 AI 칩과 CUDA 소프트웨어 패키지를 훨씬 넘어서 확장됩니다. 경쟁 업체들이 AI 칩과 동반되는 소프트웨어 패키지를 구축하려는 가운데, CEO Jensen Huang은 보다 큰 기회인 "데이터 센터 제품"에 초점을 맞추고 있습니다.

 

CEO Jensen Huang는 2024년 1분기 실적 발표 콜 내용;

"가속화 컴퓨팅은 전체 스택 문제이며, 전체 스택 도전에 직면해 있다는 것은 오랫동안 알려져 왔습니다. 그러나 우리가 15년이라는 긴 시간 동안 다양한 응용 도메인에서 성공적으로 수행할 수 있다면, 대부분의 데이터 센터의 주요 응용 프로그램을 가속화시킬 수 있을 만큼 충분합니다. 이를 통해 에너지 소비량과 데이터 센터의 비용을 10배 정도로 줄일 수 있습니다. 이를 수행하기 위해 많은 비용이 들어갑니다. 소프트웨어와 시스템 구축 등을 모두 수행해야 하기 때문입니다. 하지만 우리는 15년 동안 지속적으로 이를 추구해 왔습니다."

 

 

젠슨황은 가속화된 컴퓨팅이 전체 스택 문제(full stack problem)이며 전체 스택 도전(full stack challenge)이라고 자주 언급합니다. 이는 가속화된 컴퓨팅에서 최적의 성능과 효율성을 달성하기 위해서는 기술 스택의 모든 레이어에 대한 처리와 최적화가 필요하다는 것을 의미합니다. 이러한 기술 스택에는 GPU와 SmartNIC와 같은 하드웨어 구성 요소와 CUDA와 같은 라이브러리와 프레임워크와 같은 소프트웨어 구성 요소가 포함됩니다.

Nvidia의 경우, 하드웨어 구성 요소로는 고성능 컴퓨팅 기능을 제공하기 위해 설계된 GPU와 SmartNIC가 있습니다. 소프트웨어 측면에서는 CUDA와 같은 특수화된 소프트웨어 라이브러리, 프레임워크 및 도구 개발이 포함되며, 이를 통해 개발자들이 가속화된 컴퓨팅의 하드웨어의 모든 잠재력을 활용할 수 있습니다.

가속화된 컴퓨팅의 전체 스택적인 특성을 강조함으로써 황씨는 원하는 결과인 데이터 센터 응용 프로그램에서의 개선된 성능, 에너지 효율성, 비용 절감을 달성하기 위해 기술 스택의 모든 측면을 고려하고 최적화하는 것의 중요성을 강조합니다. 이는 하드웨어와 소프트웨어 구성 요소가 상호작용하여 효율적인 동작을 이루는 것을 인식하며, 이러한 목표를 달성하기 위해서는 종합적인 접근 방식이 필요하다는 것을 의미합니다.

 

 

가속화된 컴퓨팅이 전체 스택 문제(full stack problem)와 전체 스택 도전(full stack challenge)인 이유는 가속화된 컴퓨팅이 여러 개의 기술 레이어를 포함하고 있으며, 이러한 각 레벨에서 개별적으로와 통합적으로 솔루션을 요구하기 때문입니다.

"가속화된 컴퓨팅이 전체 스택 문제(full stack problem)라고 할 때, 이는 컴퓨팅 스택의 각 수준에서 솔루션을 요구한다는 의미입니다. 빠른 하드웨어 개발 뿐만 아니라 소프트웨어 최적화, 다양한 하드웨어 구성 요소의 성능을 최대한 활용할 수 있는 프로그래밍 프레임워크 설계 등이 포함됩니다.

그리고 동시에 전체 스택 도전(full stack challenge)으로 언급함으로써, 가속화된 컴퓨팅의 성능을 종합적으로 최대화하기 위해 스택의 각 수준이 효율적으로 함께 작동해야 하는 복잡성을 다루고 있습니다. 이 모든 별개의 하드웨어 구성 요소와 그에 따르는 소프트웨어 구성 요소는 데이터 센터 전체의 최적 성능을 위해 효과적으로 통합되어야 합니다.

 

네트워킹 솔루션은 가속화된 컴퓨팅의 다양한 스택 레이어를 통합하는 데 중요한 역할을 합니다. 이를 통해 데이터 센터 인프라 내의 다양한 구성 요소 간의 효율적인 데이터 전송과 통신이 가능해집니다. Nvidia의 최신 10-K 보고서에는 다음과 같이 언급되어 있습니다(강조 추가):

"네트워킹 솔루션에는 InfiniBand 및 이더넷 네트워크 어댑터와 스위치, 관련 소프트웨어 및 케이블이 포함됩니다. 이로써 우리는 수천 개의 컴퓨팅 노드를 고성능 네트워킹으로 상호 연결할 수 있는 데이터 센터 규모의 컴퓨팅 플랫폼을 설계할 수 있었습니다. 과거에는 서버가 컴퓨팅의 단위였지만, 인공지능 및 HPC 워크로드가 수천 개의 컴퓨팅 노드에 걸쳐 규모가 매우 커지면서 데이터 센터가 새로운 컴퓨팅 단위로 등장하였고, 네트워킹은 그 핵심적인 부분이 되었습니다"

 

InfiniBand 경과 기록은 역대 최고를 기록했습니다. 우리는 거대한 실적을 기록할 것입니다. 그리고 InfiniBand는 NVIDIA의 Quantum InfiniBand로 놀라운 로드맵을 가지고 있습니다. 정말 놀라울 것입니다. 그러나 두 네트워크는 매우 다릅니다. InfiniBand는 일종의 AI 공장을 위해 설계되었습니다. ... InfiniBand와 이더넷 간의 차이는 전체 처리량에서 15%, 20% 정도 될 수 있습니다. 그리고 5억 달러의 인프라에 10%에서 20%의 차이가 있고, 이것이 1억 달러라면, InfiniBand는 사실상 무료입니다. 그것이 사람들이 InfiniBand를 사용하는 이유입니다. InfiniBand는 사실상 무료입니다. 데이터 센터 처리량의 차이는 그냥 무시할 수 없을 정도로 큽니다.

 

따라서, Nvidia의 AI 칩의 우위성은 잠시 제쳐두고, InfiniBand와 같은 네트워킹 기술도 Nvidia의 데이터 센터의 장벽을 유지하는 데 주요한 역할을 합니다. 실제로, Nvidia의 InfiniBand는 데이터 센터의 다양한 구성 요소를 매우 효율적으로 통합하여 빠른 데이터 전송과 낮은 지연 연결을 제공하여 데이터 센터 처리량(주어진 시간 내에 데이터 센터에서 전송되거나 처리될 수 있는 데이터 양)의 20% 향상을 실현합니다.

이로 인해 두 가지 이점이 제공됩니다. 첫째, Nvidia의 데이터 센터 솔루션의 놀라운 비용 효율성은 경쟁 업체가 Nvidia의 시장 점유율을 침투하는 것을 점점 어렵게 만듭니다. 둘째, InfiniBand가 데이터 센터 처리량의 비용 효율성을 더욱 향상시키면서, 데이터 센터 고객은 결과적인 비용 효율성으로 충분히 커버될 경우 높은 가격을 지불하는 데 상관하지 않습니다. 이는 Nvidia에 더 큰 가격 결정력을 제공합니다.

 

네트워킹에 대해 더 깊이 파고들면, Nvidia는 데이터 센터의 성능을 최적화하기 위해 다양한 네트워킹 솔루션을 제공합니다. 이에는 Smart Network Interface Cards (SmartNICs)도 포함됩니다. SmartNICs는 CPU로부터 일부 네트워크 관련 작업을 오프로드하여 다른 작업을 위한 처리 능력을 확보합니다. SmartNICs는 네트워크 성능을 향상시키고 지연 시간을 줄이며 전체 데이터 센터의 효율성을 향상시키도록 설계되었습니다. 이들은 NVIDIA Mellanox 소프트웨어 개발 키트 [SDK]와 Mellanox Messaging Accelerator (MMA) 소프트웨어와 함께 제공됩니다. 개발자들은 MMA를 기반으로하여 데이터 센터 환경에서 애플리케이션의 성능을 최적화하고 향상시킬 수 있습니다. MMA는 효율적인 메시지 패싱과 네트워크 통신을 위한 기반을 제공하며, 개발자들은 해당 기능을 활용하여 애플리케이션을 특정 요구 사항에 맞게 추가로 사용자 정의하고 조정할 수 있습니다.

 

네트워킹 솔루션에는 네트워킹 스위치도 포함됩니다. 이는 데이터 센터 내의 장치, 서버, 저장 시스템 및 기타 구성 요소 간의 네트워크 트래픽을 연결하고 전송하는 중앙 집중식 장치입니다. 이들은 NVIDIA Cumulus Linux 소프트웨어와 함께 제공됩니다. NVIDIA Cumulus Linux는 오픈 네트워킹 스위치에서 실행되도록 설계된 네트워크 운영 시스템입니다. 이는 개발자들에게 데이터 센터 환경에서 네트워킹 스위치의 기능을 최적화하고 향상시킬 수 있는 유연하고 사용자 정의 가능한 플랫폼을 제공합니다.

다른 데이터 센터 하드웨어 솔루션 관점에서, Nvidia는 NVIDIA Bluefield Data Processing Units (DPUs)도 제공합니다. 이는 전통적인 CPU와 GPU가 수행하는 것 이상의 다양한 데이터 처리 작업, 네트워킹, 저장 및 보안 기능을 가속화하기 위해 설계된 장치입니다. Nvidia의 최신 연례 보고서에서는 다음과 같이 명시되어 있습니다(강조 추가):
"NVIDIA Bluefield DPU는 DOCA(데이터 센터 인프라를 위한 온-어-칩 소프트웨어)로 지원됩니다. 이를 통해 개발자들은 Bluefield DPU를 위한 소프트웨어 정의 네트워킹, 하드웨어 가속화된 보안, 저장 및 관리 응용 프로그램을 구축할 수 있습니다. Bluefield를 지원하는 파트너에는 많은 최고의 보안, 저장 및 네트워킹 회사들이 포함됩니다. 우리는 컴퓨팅, 네트워킹 및 저장 스택 전체에서 최적화를 수행하여 데이터 센터 규모의 컴퓨팅 솔루션을 제공할 수 있습니다."

 

BlueField DPUs와 그에 따른 소프트웨어는 Nvidia의 데이터 센터 솔루션의 포괄성을 향상시켜 시장에서의 경쟁력을 강화합니다.

따라서, 투자자들이 Nvidia의 GPU에 최적화된 잘 알려진 CUDA 소프트웨어 패키지에 주목하는 동안, Nvidia는 또한 DOCA와 MMA와 같은 다른 소프트웨어를 통해 데이터 센터 구축에 관련된 다른 구성 요소를 최적화하여 동시에 발생하는 다른 네트워크 효과에서 이익을 얻고 있습니다. CEO Jensen Huang은 이번 통화에서 강조했습니다.

따라서 거의 대부분의 사람들은 AI에 대해 생각할 때 가속화 칩, 그 가속화 칩에만 집중하며 사실상 전체적인 관점을 거의 완전히 놓치고 있습니다. 그리고 저는 이전에 가속화 컴퓨팅이 스택, 소프트웨어 및 네트워킹에 관한 것이라고 언급한 적이 있는데요, 기억하세요. 저희는 DOCA라는 매우 초기의 이 네트워킹 스택을 발표했으며 Magnum IO라는 가속 라이브러리도 발표했습니다. 이 두 가지 소프트웨어는 우리 회사의 보석 같은 존재입니다. 이해하기 어려워서 사람들이 잘 언급하지 않지만, 이를 통해 수만 개의 GPU를 연결할 수 있게 됩니다.

최적의 종합적인 성능을 위해 모든 데이터 센터 구성 요소를 통합하는 것은 Nvidia의 데이터 센터 성공의 핵심적인 특징입니다. Nvidia의 우수한 AI 칩에 관심이 있는 데이터 센터 고객들은 이에 따라 최적의 성능을 위해 Nvidia의 다른 데이터 센터 솔루션도 구매합니다. 이것이 Nvidia가 2023년 제2분기에 110억 달러의 경이로운 매출 예측을 제공할 수 있는 이유입니다. 수요가 AI 칩에만 국한되는 것이 아니라 모든 다른 데이터 센터 솔루션에 대한 견고한 수요도 있기 때문입니다. 통합이 더욱 깊어질수록 Nvidia는 인접한 데이터 센터 솔루션을 함께 크로스셀할 수 있는 더 좋은 위치에 있게 됩니다.

 

엔비디아 리스크

 

Nvidia의 강세에 대한 위험 요소로는 Advanced Micro Devices, Inc. (AMD)가 있다. AMD는 포괄적인 데이터 센터 솔루션을 제공하며 AI 분야에서 Nvidia에 따라잡기 위해 노력하고 있다. 2023년 1분기에 AMD는 거의 13억 달러의 데이터 센터 수익을 기록했으며, 이는 전체 수익의 24%에 해당한다. 반면 Nvidia의 최신 분기 보고서인 2024년 1분기에는 약 43억 달러의 데이터 센터 수익이 발표되었으며, 이는 회사 전체 수익의 60%에 해당한다.

하지만 AMD의 최근 AI 칩인 MI300X의 발표는 성능 사양이 부족하여 실망스러웠다. 또한 AMD는 새로운 칩에 대한 주요 고객 파트너십을 발표하지 못했는데, 이는 Nvidia가 이 시장에서 얼마나 강력한 입지를 가지고 있는지를 보여준다.

그럼에도 불구하고 Nvidia가 "데이터 센터를 제품으로" 하는 더 큰 기회로 나아가는 것을 목격함에 따라 AMD도 Pensando Systems, Inc. (2022년 5월에 인수 완료)를 인수하여 자체 데이터 센터 솔루션을 강화하고 있다. Pensando Systems은 네트워킹 칩을 생산하는 기업으로, 이는 AMD가 데이터 센터 시장에서 자신의 위치와 경쟁력을 향상시키기 위한 노력임을 보여준다.

"Pensando의 분산 서비스 플랫폼은 골드만 삭스, IBM Cloud, Microsoft Azure 및 Oracle Cloud를 포함한 클라우드 및 기업 고객을 통해 이미 대규모로 배포된 고성능 데이터 처리 장치(DPU)와 소프트웨어 스택을 통해 AMD의 데이터 센터 제품 포트폴리오를 확장할 것입니다."

AMD는 실제로 Nvidia에 따라잡기 위해 M&A 전략을 적극적으로 추진할 수 있습니다. 결국 Nvidia는 Mellanox와 Cumulus Networks와 같은 기업을 인수함으로써 자체 데이터 센터 네트워킹 솔루션을 구축했습니다.

AMD는 데이터 센터 고객들이 점점 확장되는 솔루션 스위트를 사용하도록 유혹하기 위해 가격 경쟁을 진행할 수 있습니다. 그러나 Nvidia의 지배력에 가격 경쟁을 통해 도전하는 것은 어려울 것입니다. Nvidia는 데이터 센터 인프라 전반에 걸친 심층적인 통합을 통해 데이터 센터 아키텍처를 완벽하게 구축했기 때문에 이러한 복잡한 통합 혜택과 이에 따른 비용 절감이 Nvidia의 데이터 센터의 견고한 기반을 형성하고 있습니다. 가속화된 컴퓨팅을 전체 스택 문제와 전체 스택 도전으로 접근하는 Jensen Huang의 오랜 접근 방식으로 인해 Nvidia는 경쟁적인 위협에 대응하는 강력한 입지에 있습니다. 이에 대해 Jensen Huang은 다음과 같이 확인했습니다.

"우리는 항상 경쟁을 주시하고 경쟁을 경험하고 있습니다. 그러나 NVIDIA의 가장 핵심적인 가치 제안은 우리가 가장 저렴한 솔루션이라는 것입니다. 우리는 가장 저렴한 총 소유 비용(TCO) 솔루션입니다. 그 이유는 가속화된 컴퓨팅이 두 가지로 이루어져 있기 때문입니다. 저는 이를 자주 언급하는데, 첫째로, 이는 전체 스택 문제이고, 전체 스택 도전입니다. 모든 소프트웨어, 라이브러리, 알고리즘을 엔지니어링하고, 하나의 칩뿐만 아니라 전체 데이터 센터의 아키텍처에 대해 통합하고 최적화해야 합니다. 이는 프레임워크까지, 모델까지 완벽하게 최적화된다는 것입니다."

AMD는 데이터 센터 고객의 TCO를 최적화하기 위해 자사의 솔루션 스위트 전반에 걸친 심층적인 통합을 추구할 것입니다. 그러나 이는 힘든 과제일 것입니다. 그럼에도 불구하고 AMD가 Nvidia의 영역으로의 강화된 진출을 지속한다면, 시간이 지남에 따라 Nvidia의 가격 협상력을 약화시킬 수 있으며, 이는 Nvidia의 주식 가격에 영향을 미칠 수 있습니다. 현재 Nvidia의 주식 가격은 강력한 가격 협상력을 반영하고 있습니다.

그렇다고 해도, AMD가 따라잡기 위해 전진하는 동안 Nvidia는 멍청히 가만히 있지 않을 것입니다. Nvidia는 자사 솔루션의 비용 효율성과 성능을 계속해서 향상시켜 리드를 유지할 것입니다. 게다가 CUDA 이외의 주요 데이터 센터 솔루션들을 통해 동시에 진행되는 다양한 네트워크 효과는 Nvidia 제품 주위에 강력한 생태계를 형성하여 AMD에 대한 경쟁을 더욱 힘들게 만들고 있습니다.

 

참고 :엔비디아 더 오를까?