반도체 전문 온라인 매거진 - 올포칩

데이터브릭스(Databricks)는 AI 인사이트를 위해 설계된 최초의 완전 관리형 포스트그레(Postgres) 데이터베이스인 레이크베이스(Lakebase)를 공개했다. 레이크베이스는 데이터브릭스의 데이터 인텔리전스 플랫폼(Data Intelligence Platform)에 운영 데이터베이스 계층을 추가하여, 개발자와 기업은 하나의 멀티클라우드 플랫폼에서 데이터 애플리케이션과 AI 에이전트를 더욱 빠르고 쉽게 구축할 수 있도록 지원한다. 레이크베이스는 현재 퍼블릭 프리뷰(Public Preview)형태로 제공된다. 

운영 데이터베이스(OLTP)는 1,000억 달러 이상의 시장 규모를 가진 핵심 기술로, 거의 모든 애플리케이션의 기반이 된다. 하지만 기존 OLTP 시스템은 변화가 느린 애플리케이션을 위한 수십 년 전의 아키텍처를 기반으로 하고 있어, 관리가 어렵고 비용이 많이 들며 특정 벤더에 종속되기 쉽다는 한계를 안고 있다. AI는 이와는 전혀 다른 새로운 요구사항을 만들어 내고 있다. 오늘날의 모든 데이터 애플리케이션, 에이전트, 추천 시스템, 자동화된 워크플로우는 AI의 속도와 규모에 맞춰 빠르고 신뢰성 있는 데이터를 필요로 한다. 이를 위해서는 운영 시스템과 분석 시스템이 통합되어야 하며, AI 시스템 간 지연을 최소화하고 기업이 실시간 의사결정을 내릴 수 있도록 최신 정보를 제공해야 한다. 

레이크베이스는 네온(Neon)의 기술 기반으로, 운영 데이터를 레이크하우스로 가져오고, 에이전트 워크로드를 지원하기 위해 컴퓨팅을 자동으로 확장하며, 운영 데이터와 분석 데이터를 통합한다. 이를 통해 개발자는 더 빠르게 개발하고, 유연하게 확장하며, 차세대 지능형 애플리케이션을 제공할 수 있다. 

알리 고드시(Ali Ghodsi) 데이터브릭스 공동창립자 겸 CEO는 “지난 몇 년간 데이터브릭스는 기업들이 데이터 인텔리전스 플랫폼을 기반으로 자체 데이터를 활용해 AI 애플리케이션과 에이전트를 구축할 수 있도록 지원해 왔다”라며, “이제 레이크베이스를 통해 우리는 데이터베이스 시장에 새로운 카테고리를 제시하고자 한다. 이는 레이크하우스 및 최신 개발 스택과 긴밀하게 통합된 차세대 포스트그레 기반 데이터베이스다. AI 에이전트가 기업의 운영 방식을 바꾸어 가는 지금, 포춘 500대 기업들은 낡은 시스템을 대체할 준비가 되어 있다. 우리는 레이크베이스를 통해 AI 시대의 요구를 충족할 수 있는 데이터베이스를 제공한다”라고 말했다. 

레이크베이스는 차세대 애플리케이션 개발을 위해 설계되었으며, 개발자와 AI 에이전트가 보다 효율적으로 작업할 수 있도록 지원한다. 레이크베이스의 주요 특징은 다음과 같다:

• 컴퓨팅과 스토리지 분리: 레이크베이스는 네온 기술 기반으로 컴퓨트와 스토리지를 분리해 독립적인 확장성을 제공한다. 클라우드 네이티브 아키텍처를 기반으로, 10밀리초 미만의 지연 시간, 초당 1만 건 이상의 쿼리 처리, 높은 가용성의 트랜잭션 처리를 지원한다.
• 오픈 소스 기반: 포스트그레는 최근 몇 년 간 빠르게 채택되어온 개발자 친화적인 오픈소스 데이터베이스로, 다양한 커뮤니티 확장 기능과 파트너 생태계를 보유하고 있다. 또한 대부분의 최신 LLM(대규모 언어 모델)은 데이터베이스 시스템의 방대한 정보를 기반으로 학습되어, AI 에이전트 워크플로우에 이상적이다.
• AI 친화적 설계: 레이크베이스는 1초 이내에 실행 가능하며, 사용한 만큼 비용을 지불하는 유연한 과금 구조를 채택하고 있다. 특히, 고유의 브랜칭(branching) 기능은 ‘카피 온 라이트(Copy-on-write)’ 방식의 데이터베이스 복제를 통해 개발자 테스트나 에이전트 기반 개발에 위험 없이 실험이 가능한 안전한 환경을 제공한다.
• 레이크하우스와 통합: 레이크베이스는 레이크하우스 테이블과 자동 동기화되며, 모델 서빙을 위한 온라인 피처 스토어(online feature store)도 함께 제공한다. 또한, 데이터브릭스 앱 및 유니티 카탈로그와도 원활하게 통합되어 있다.
• 엔터프라이즈 환경 지원: 레이크베이스는 데이터브릭스에서 완전 관리형 서비스로 제공되며, 보안 강화된 컴퓨팅 인프라, 정지 시 데이터 암호화, 고가용성, 시점 복구 기능 등을 갖추고 있다. 또한, 네트워크 보안부터 규정 준수에 이르기까지 데이터브릭스의 엔터프라이즈 기능들과 통합되어 있다. 

디지털 리더들은 운영과 분석 워크로드를 단일 플랫폼에서 통합하는 가치에 주목하고 있으며, 이미 수백 개의 기업들이 프라이빗 프리뷰 상태로 레이크베이스를 활용하고 있다. 레이크베이스는 다양한 산업에 적용 가능하며, 맞춤형 상품 추천, AI 에이전트를 활용한 쇼핑 경험, 임상 시험 워크플로우 관리 등 여러 분야에 적용 가능하다. 

옐레 반 에텐(Jelle Van Etten) 하이네켄(Heineken) 글로벌 데이터 플랫폼 부문 책임자는 “하이네켄의 목표는 세계에서 가장 잘 연결된 맥주 브랜드(The best-connected brewer)가 되는 것이다. 이를 위해, 우리는 모든 데이터세트를 통합하고 데이터를 빠르게 가치로 전환할 수 있는 방법이 필요했다. 데이터브릭스는 오랜 기간 동안 제품 추천, 공급망 개선 등 다양한 인사이트를 도출해내는 분석 기반 역할을 해왔다”며, “이제 우리의 분석 데이터 플랫폼은 운영 중심의 AI 데이터 플랫폼으로 진화하고 있으며, 이러한 인사이트를 애플리케이션에 지연 없이 전달하는 것이 요구되고 있다”고 말했다. 

데이터브릭스의 강력한 파트너 네트워크는 레이크베이스 고객이 시스템 통합업체(SI)와 협력하거나, 기존의 엔터프라이즈 데이터 통합, 비즈니스 인텔리전스, 거버넌스 도구를 계속 활용할 수 있도록 지원한다. 레이크베이스의 출시 파트너로는 액센츄어(Accenture), 에어바이트(Airbyte), 아틀란(Atlan), 클라우드플레어(Cloudflare), 다타이쿠(Dataiku), 딜로이트(Deloitte), EPAM, 인포매티카(Informatica), 시그마(Sigma), 스팟파이어(Spotfire) 등이 있다.