반도체 전문 온라인 매거진 - 올포칩

업계 선도적인 데이터 및 AI 기업 데이터브릭스(Databricks)가 레이크 내 단일 스토리지 사본을 기반으로 트랜잭션, 분석, 스트리밍 및 운영 데이터를 하나로 통합하는 새로운 데이터 처리 아키텍처인 ‘LTAP(Lake Transactional/Analytical Processing)’를 발표했다. 이를 통해 기업들은 지난 수십 년간 데이터 인프라 구축 시 불가피하게 수반되던 파이프라인, 데이터 복제본, ETL(추출·변환·적재) 부담 없이 데이터를 읽고 추론하며 실행할 수 있는 단일 거버넌스 기반을 확보할 수 있게 되었다. 레이크베이스(Lakebase)의 혁신적인 기술 발전을 바탕으로 구현된 LTAP는 AI 애플리케이션 시대를 위한 새로운 데이터 기반을 제시한다.

기존 아키텍처의 한계 극복과 에이전트 시대의 도래

지난 40년간 트랜잭션과 분석 워크로드는 서로 단절된 시스템에서 운영되어 왔다. 운영 데이터베이스는 애플리케이션을 구동했고 분석 시스템은 비즈니스 질문에 답하는 구조였으며, 이 둘을 연결하려면 데이터 흐름이 취약하고 부하에 끊어지기 쉬운 CDC(변경 데이터 캡처) 파이프라인을 구축해야만 했다. 과거 단일 엔진에서 이를 통합하려던 HTAP(하이브리드 트랜잭션·분석 처리)는 워크로드 격리가 무너져 성능 저하를 초래했고, 제로 ETL 역시 파이프라인을 완전히 제거하기보다는 숨기는 데 그쳐 근본적인 문제를 해결하지 못했다.

하지만 오늘날 AI는 개발자가 과거보다 약 50배 더 많은 애플리케이션을 제작할 수 있도록 지원하며, 이 중 상당수는 실시간으로 데이터를 읽고 추론하며 실행해야 하는 에이전트에 의해 구동된다. 데이터브릭스 공동창립자 겸 CEO 알리 고드시(Ali Ghodsi)는 "에이전트 시대가 도래하면서 불과 몇 달 만에 기업들은 AI를 통해 실질적인 인력을 두 배로 늘리게 됐다"며 "이전 컴퓨팅 시대를 지탱했던 인프라는 이제 감당할 수 없는 병목 현상이 되었으며, LTAP는 바로 이 병목 현상을 완전히 제거한다"고 강조했다.

레이크베이스의 진화와 엔터프라이즈 기능 확장

LTAP를 향한 첫 단추는 레이크하우스를 구동하는 동일한 레이어인 오브젝트 스토리지에 포스트그레스 네이티브 트랜잭션을 도입한 레이크베이스였다. 레이크베이스는 컴퓨팅과 스토리지를 분리함으로써 수천 개의 애플리케이션과 에이전트를 동시에 구동하는 데 드는 비용 구조를 근본적으로 혁신했다. 지난해 출시된 레이크베이스는 이미 블록(Block), 앙상블(Ensemble), 슈퍼휴먼(Superhuman), 질로우(Zillow) 등 수천 개의 고객사를 확보하며 일일 1,200만 건의 데이터베이스 실행을 처리하고 있다.

데이터브릭스는 엔터프라이즈급 AI를 대규모로 확장할 수 있도록 레이크베이스의 기능을 한층 넓히는 신규 역량들을 추가로 발표했다. 새롭게 추가된 크로스 클라우드 및 크로스 리전 재해 복구 기능은 데이터 아키텍처의 회복탄력성을 극대화한다. 또한 깃(Git) 스타일의 브랜칭 및 스냅샷 기능을 통해 운영 데이터에 영향을 주지 않고 안전하게 테스트를 진행할 수 있으며, 자율형 데이터베이스 운영 기능으로 에이전트가 스스로 시스템 상태를 모니터링하고 인덱스를 제안하며 장애 복구를 지원하도록 돕는다.

아키텍처를 완성하는 LTAP의 세 가지 핵심 특징

기존에 레이크베이스와 레이크하우스는 스토리지 레이어를 공유하면서도 각자의 포맷으로 데이터 사본을 별도 관리해왔으나, LTAP는 이 격차를 완벽히 메운다. 레이크베이스는 레이크하우스와 동일한 개방형 포맷을 사용해 유니티 카탈로그(Unity Catalog)에 데이터를 직접 저장함으로써 다음과 같은 세 가지 핵심 가치를 제공한다.

첫째, 통합 거버넌스 기반의 단일 진실 공급원을 구현한다. 모든 운영, 분석 및 스트리밍 데이터는 변환 없이 델타(Delta)와 아이스버그(Iceberg) 등 개방형 포맷 형태로 개방형 오브젝트 스토리지에 저장된다. 유니티 카탈로그를 통해 단일 ID, 권한 및 감사 모델로 거버넌스를 보장받기 때문에 모든 엔진이 동일한 사본을 읽을 수 있다.

둘째, 워크로드별 성능 저하 없는 실행이 가능하다. 트랜잭션 워크로드는 완전한 ACID 트랜잭션을 보장하는 표준 포스트그레스에서 실행되고, 분석 워크로드는 전체 레이크하우스 전반에서 구동된다. 각 워크로드는 독립적으로 확장되며, 시스템 간 데이터 이동이 없기 때문에 운영 및 분석 결과가 별도의 복제본 없이 실시간으로 동기화된다.

셋째, ETL 파이프라인을 원천 제거한다. 운영 및 분석 스토리지를 동기화하는 파이프라인이나 유지 관리해야 할 복제본, 커넥터가 존재하지 않는다. 아키텍처에서 ETL 레이어를 완전히 제거함으로써 시스템 동기화에 드는 운영 비용을 절감하는 동시에 데이터의 최신성을 보장한다.

의료 시스템을 지원하는 앙상블의 그랜트 비지(Grant Veazey) 최고기술책임자(CTO)는 "레이크베이스와 LTAP는 운영 및 분석 워크로드를 단일 레이어 위에 통합함으로써 수익 주기 관리(RCM) 특화 AI가 실제 운영 환경에서 제 성능을 발휘하는 데 필요한 실시간 데이터 접근성을 제공한다"며 "이는 결과적으로 의료 제공자의 재무 성과 향상으로 이어져 필수 의료 서비스로 수익이 재투자되는 선순환을 만들어내고 있다"고 평가했다.