VAST Data의 DataEngine 출시 준비 중 – AI를 더 빠르고 반응적으로 만드는 솔루션
VAST Data는 AI 파이프라인을 자동화하여 AI 응답성을 향상시키는 새로운 소프트웨어인 DataEngine의 출시를 앞두고 있습니다. 이 소프트웨어는 VAST의 Data 플랫폼을 기반으로 하며, 기존의 스토리지 솔루션을 넘어선 혁신적인 기능을 제공합니다.
최근 업데이트: 2024년 8월 13일, VAST의 공동 설립자는 Cosmos 이벤트가 단순히 DataEngine에 국한되지 않을 것이라고 밝혔습니다. 또한, VAST DataEngine의 컴퓨팅은 Data 플랫폼의 컨트롤러 및 컴퓨팅 노드(C-노드)를 활용합니다.
DataEngine은 VAST Data 플랫폼의 최신 소프트웨어 레이어로, 시스템 상태에서 컴퓨팅 논리를 분리한 DASE(Disaggregated and Shared-Everything) 아키텍처를 기반으로 합니다. 이 아키텍처는 인피니밴드(InfiniBand) 또는 RoCE를 통해 연결된 x86 기반의 컨트롤러 노드(C-노드)와 데이터 저장용 올플래시 D-노드로 구성됩니다. 이 소프트웨어는 표준 산업 서버에서 실행 가능하여 유연성을 제공합니다.
VAST는 Nvidia의 BlueField-3 DPU(데이터 처리 장치)를 활용하여 컨트롤러 소프트웨어를 포팅하였고, 이를 통해 저장 장치와 컨트롤러에 위치한 BlueField-3 DPU에서 VAST의 컨테이너화된 VastOS 소프트웨어가 실행됩니다. 이 DPU는 Nvidia GPU 서버의 DPU와도 연결될 수 있어, AI 및 데이터 처리에 강력한 성능을 발휘합니다.
VAST의 Data 플랫폼은 DASE 하드웨어/소프트웨어 DataStore 기반 위에 AI 중심의 데이터 인프라 스택을 구축했으며, 이 스택은 다음과 같은 구성 요소로 이루어져 있습니다:
- DataCatalog: 시스템 내 모든 파일과 객체에 대한 메타데이터 관리
- DataBase: 트랜잭션 데이터 웨어하우스
- DataSpace: 글로벌 네임스페이스
- DataEngine: AI 파이프라인 인프라 운영
DataEngine은 단순한 스토리지 배열 수준의 소프트웨어가 아닙니다. 이 소프트웨어는 이벤트 트리거를 기반으로 AI 파이프라인의 다양한 작업과 기능을 자동으로 실행하고 조정합니다. 예를 들어, 특정 폴더에 새로운 .jpg 파일이 저장되면 메타데이터 수집 작업이 자동으로 시작될 수 있습니다. 이와 같은 방식으로, AI 개발자는 직접 코드를 작성하거나 루틴을 명시할 필요 없이 AI 작업을 수행할 수 있습니다.
VAST의 DataEngine은 AI 파이프라인의 이벤트와 기능을 관리하며, 이러한 기능의 실행 환경을 최적화합니다. VAST의 글로벌 워크플로 최적화 엔진은 이벤트 트리거에 반응하여 최적의 하드웨어 및 위치에서 기능을 실행하도록 지시합니다. 예를 들어, 저비용 하드웨어에서 얼굴 인식을 수행하는 GPU 기반 추론 엔진을 실행하는 방식입니다.
DataEngine은 단일 서버 풀에 걸쳐 모든 컴퓨팅 기능을 최적화하여 관리하며, VAST Execution Environment는 이 모든 작업을 처리합니다. 고객은 이 환경에서 AI 모델 학습, 얼굴 인식 등의 다양한 작업을 수행할 수 있습니다.
향후, VAST는 더 강력한 기능을 제공할 계획이며, 10월에 열리는 Cosmos Online 이벤트에서 VAST의 AI 데이터 파이프라인이 어떻게 작동하는지 실시간으로 확인할 수 있습니다. VAST 공동 설립자인 Jenn Denworth는 “우리가 발표하려는 내용은 더 큰 그림의 일부입니다.”라고 밝혔습니다.
