반도체 전문 온라인 매거진 - 올포칩

업계 선도적인 데이터 및 AI 기업 데이터브릭스(Databricks)가 자사 레이크하우스의 실시간 진화 버전인 ‘Lakehouse//RT, Real-time’를 전격 발표했다. 이번에 공개된 레이크하우스//RT는 기업이 거버넌스가 확보된 델타 레이크(Delta Lake) 및 아파치 아이스버그(Apache Iceberg) 데이터에서 직접 실시간 분석을 수행할 수 있도록 지원하는 혁신적인 플랫폼이다. 데이터브릭스는 밀리초(ms) 단위의 성능을 확보하기 위해 별도의 독립된 서빙 시스템을 구축해야 했던 번거로움을 완전히 해소했으며, 현대적인 에이전트 중심 기업(Agentic Enterprises)의 요구사항을 충족하는 차세대 컴퓨팅 아키텍처를 확립하는 기술적 성과를 달성했다.

실시간 서빙 레이어 파편화의 한계와 단일 개방형 아키텍처로의 전환 요구

그동안 높은 동시성 환경에서 초저지연 데이터 처리를 필요로 하는 기업들은 레이크하우스와 병행하여 별도의 실시간 서빙 레이어를 구축하는 외에 대안이 없었다. 그러나 이러한 이종 서빙 레이어는 특정 벤더에 대한 종속성을 유발하고, 데이터 복사본 생성으로 인한 인프라 비용 상승 및 동기화 파이프라인의 복잡성을 가중시켰으며, 전사적 데이터 거버넌스를 파편화하는 문제를 야기했다. 데이터의 맥락 격차와 지연 시간은 실시간 추론을 수행해야 하는 AI 에이전트 환경에서 치명적인 걸림돌이자 제약 요인으로 작용해 왔다. 이에 따라 데이터를 복사하거나 이동하지 않고도 개방형 스토리지 포맷에서 직접 신뢰할 수 있는 진실의 근간(Ground Truth)을 검색하는 기술의 확보가 데이터 민주화의 필수 선결 과제로 부각되는 추세다.

레이든 비동기 컴퓨팅 엔진과 유니티 카탈로그 통합을 구현하는 기술적 특징

레이크하우스//RT의 핵심은 현대적인 에이전틱 엔터프라이즈의 높은 동시성과 낮은 대기 시간 요구사항을 충족하도록 설계된 새로운 컴퓨팅 엔진 ‘레이든(Reyden)’이다. 레이든의 완전 비동기식 실행 모델은 소규모 데이터 세트에서 최저 10밀리초, 대규모 데이터 세트에서는 100밀리초 수준의 초저지연 응답 속도를 보장하며, 복잡한 분석 쿼리 전체에 최첨단 성능 제어 기술을 적용한다.

표준 분석 벤치마크 기준 초당 12,000 쿼리 처리 시에도 100ms 미만의 지연 시간을 기록, 기존 실시간 서빙 스택 대비 최대 16배 향상된 데이터 처리율을 달성했다. 또한, 모든 시스템은 유니티 카탈로그(Unity Catalog)의 거버넌스 프레임워크 내에서 단일 정책 및 권한 제어로 안전하게 실행된다. 데이터브릭스 공동창립자 겸 CEO 알리 고드시(Ali Ghodsi)는 “Lakehouse//RT는 엔진의 전체 스펙트럼을 완성하여 사람들이 원하고 에이전트가 필요로 하는 밀리초 단위의 속도 레이어를 제공한다”며, “우리가 가장 우수한 데이터 웨어하우스가 곧 레이크하우스임을 증명했듯이, 이제 가장 뛰어난 실시간 분석 엔진 역시 레이크하우스라는 점을 보여줄 것”이라고 강조했다.

CDC 파이프라인 제거와 밀리초 단위 에이전틱 엔터프라이즈의 미래 비전

데이터브릭스는 이번 레이크하우스//RT 출시를 통해 데이터 복사, 수집(Ingestion) 파이프라인, CDC(변경 데이터 캡처) 및 동기화 과정에 수반되는 거버넌스 공백과 벤더 종속성 문제를 근본적으로 해결했다. 사용자는 기존의 어떤 테이블이든 지정하기만 하면 불과 몇 분 만에 실시간 데이터를 바로 쿼리할 수 있는 고도의 엔드투엔드 인텔리전스 계층을 확보하게 되었다. 향후 데이터브릭스는 베타 버전을 기반으로 글로벌 에코시스템 전반의 도입을 가속화하는 한편, 단일 개방형 기반 위에서 데이터 엔지니어링과 초저지연 서빙을 융합하여 상시 가동되는 자율형 AI 에이전트 중심의 스마트 비즈니스 솔루션 시장을 전방위로 선도해 나갈 비전이다.