반도체 전문 온라인 매거진 - 올포칩

퀀텀코리아(www.quantum.com/kr 이강욱 지사장)는 영상관제, 대규모 데이터 스토어, 콘텐츠 및 미디어의 3개 부문에 대한 ‘2023 데이터 관리 시장 전망’을 발표했다. 

‘2023 데이터 관리 시장 전망’의 주요 내용은 ■영상관제 - 데이터 폭증에 맞춰 현대화된 관리 인프라 구축해야, 비즈니스 통찰력 확보를 위한 중요한 비즈니스 자산으로 인식될 것, 포렌식 분석이 부상하면서 데이터 장기 보존 요구사항 증가, ■대규모 데이터 스토어 및 아카이브 - ESG 경영 전략에 맞춰 테이프 스토리지 사용의 증가, 퍼블릭 클라우드에서 온프레미스로 다시 데이터 이동, 플래시 및 테이프 스토리지 사용량 증가와 디스크 미디어 사용의 하락세, 대용량의 안정적인 관리가 필요한 오브젝트 증가에 따라 테이프 스토리지 각광받아, NVMe, 새로운 데이터센터 방식 선도할 것, ■콘텐츠 및 미디어 - ‘데이터 레이크’를 넘어 안전한 엑세스와 고급 분석 기능을 제공하는 ‘콘텐츠 레이크(Content Lakes)’ 부상, AI/ML 기반 맞춤화된 콘텐츠 제작 기반 마련, 틱톡(TikTok) 등의 영상 콘텐츠 활용의 증가, 사용자 맞춤의 개인화된 ‘콘텐츠 캐싱 서비스’ 제공 등이다. 주요 내용은 다음과 같다. 

영상관제

데이터 폭증에 맞춰 현대화된 관리 인프라 구축해야

점차 카메라 해상도가 높아지고 데이터 보존 기간이 늘어나면서 더 많은 데이터가 생성되고 있다. 그러나 데이터 유지와 확장을 위해 서버를 추가 증설하는 것은 진정한 해법이 될 수 없다. 관리 복잡성과 하드웨어 오류, 데이터 손실 위험만을 높이기 때문이다. 영상관제 데이터가 급증하고 있는 가운데, 이 데이터는 보안 이상의 용도로 사용되고 있다. 기업들은 쇼핑객들의 중요 환경을 분석하기 위해 NVR 랙의 대안으로 현대화된 통합 인프라를 구축함으로써 위험 상황에 대비하고, 관리 복잡성을 줄이고, 비용을 절감할 수 있을 것이다. 

영상관제 데이터, 비즈니스 통찰력 확보를 위한 중요한 비즈니스 자산으로 인식될 것

유통 및 호스피탈리티(hospitality, 접객업), 안전 도시(safe cities)와 같은 다양한 산업 분야의 기업들은 관제 영상을 단순한 물리적 보안 기능을 위한 용도를 넘어, 기업의 중요 자산으로 인식하게 될 것이다. 영상 분석(실시간 분석 및 포렌식 분석)에 대한 관심과 투자가 늘어남에 따라 기업들은 비디오 데이터를 이용해 비즈니스 과제를 해결하고, 쇼핑객 행동 분석, AI 기반 인식을 통한 얼굴 및 물체 식별, 인구 밀집 지역의 교통 패턴 분석과 같은 통찰력을 확보할 수 있다. 

포렌식 분석이 부상하면서 데이터 장기 보존 요구사항 증가

실제로 포렌식 분석의 채택이 증가함에 따라 기업들은 수집된 데이터를 분석하여 성과 및 비즈니스 효율성에 대한 통찰력을 확보하고 이를 개선하는데 활용하고 있다. 그만큼 기업들은 이 데이터에서 더 많은 가치를 얻기 위해 데이터를 더 오래 보관할 것이다. 패턴을 파악하고 보안을 강화하며 손실 방지에 대한 투자를 늘리고자 하는 니즈는 결국 데이터 세트를 몇 주, 몇 달 심지어 수십년간 보존해야 하는 결과로 이어질 것이다. 

대규모 데이터 스토어 및 아카이브

ESG 경영 전략에 맞춰 테이프 스토리지 사용의 증가

데이터 저장을 위해 테이프를 사용하는 기업들이 크게 증가할 것이다. 기업들은 테이프 기반 전략에 재투자하여 사이버 보안을 강화하고, 스토리지 비용을 줄이며, 에너지 소비를 최소화하게 될 것이다. 데이터가 기하급수적으로 증가하고, 사이버 범죄 위협이 지속되면서 2023년은 테이프 사용이 크게 증가하는 해가 될 것이다. 전력 사용 및 냉각 비용이 증가하고 기업들이 ESG(환경, 사회 및 기업 지배구조)에 중점을 두고 있는 만큼, 장기 아카이빙을 위해 디스크 드라이브를 사용하는 전략은 지양하게 될 것이다. 테이프는 가장 안정적이고, 지속 가능하며, 안전하고, 비용 효율적인 저장 매체로서의 역할을 다할 것으로 전망된다. 

퍼블릭 클라우드에서 온프레미스로 다시 데이터 이동

기업들은 운영 비용을 줄이기 위해 데이터를 퍼블릭 클라우드에서 다시 온프레미스로 전환하게 될 것이다. 기업들은 컴플라이언스(규제 준수)를 위해 장기간 보관해야 하는 데이터의 경우, 온프레미스로 전환함으로써 비용을 절감할 수 있다는 점을 인식하고 있다. 이미지, 비디오를 포함한 디지털 데이터 소스가 기하급수적으로 증가함에 따라 기업들은 퍼블릭 클라우드를 통해 모든 데이터를 관리, 저장할 때의 단점에 대해 인식하고 있다. 비용 제약, 액세스 제어, 데이터 주권(data sovereignty), 대용량 데이터 장기 보존 등의 이유로 대기업들은 전체 조직에서 사용자들이 액세스하고 사용할 수 있도록 고유의 저비용 스토리지 클라우드를 내부적으로 구축하는 방안을 고려하게 될 것이다. 

플래시 및 테이프 스토리지 사용량 증가와 디스크 미디어 사용의 하락세

스토리지의 미래는 "플래시 + 테이프"에 있다. 에너지 및 데이터 센터 비용 증가, 데이터 보존 기간 증가, 데이터 집약적인 최신 워크로드를 위해 대용량 데이터 세트에 신속하게 액세스하고자 하는 요구사항의 증가 등으로 인해 기업 데이터 센터의 속도가 점점 느려지고 있다. 지속적인 SSD 가격 하락과 테이프의 비용적 이점으로 인해 디스크 미디어 사용이 하락세를 맞고 있다. 

대용량의 안정적인 관리가 필요한 오브젝트 증가에 따라 테이프 스토리지 각광받아

테이프는 성숙도, 비용효율성, 낮은 전력 소비, 장기적인 내구성을 특징으로 하는 미디어로서 이미 많은 기업들이 사용하고 있다. 특히 대기업, 하이퍼스케일 데이터센터, 연구 기관들은 대용량의 개체 및 파일 기반의 PB(페타바이트)급, EB(엑사바이트) 급의 데이터 스토어이자 원활한 액세스를 지원하는 활성 아카이브로서 테이프를 점점 더 많이 사용하게 될 것이다. 계층형 스케일-아웃 병렬 아키텍처 및 어드밴스드 와이드 스트라이프 이레이저 코딩(erasure coding)을 기반으로 하는 새로운 솔루션들은 성능, 내구성, 스토리지 효율성을 극대화하여 용량이나 오브젝트 수가 증가하는 경우에도 간편한 확장을 지원한다. 

NVMe, 새로운 데이터센터 방식 선도할 것

CTO와 CIO들은 전력, 냉각, 데이터 센터 사용량과 그에 따른 비용을 잘 알고 있다. 그들은 급증하는 사용자 요구에 부응하면서도 복잡성 감소, 공간 절약, 더 적은 시스템 사용 등의 과제도 해결해야 한다. 고용량 NVMe(Non-Volatile Memory Express, 비휘발성 기억장치 익스프레스) 드라이브를 저렴한 비용으로 이용할 수 있게 되면서 C-레벨급 임원들은 데이터 센터 공간(최대 80%) 및 에너지 예산(최대 70%)을 크게 절감할 수 있게 되었다. 또한 여러 스토리지 유형을 그들이 선택한 프라이빗 또는 퍼블릭 클라우드에 보관하는 단일 NVMe 플래시 계층으로 대체함으로써 관리 부담도 크게 줄일 수 있다. 

콘텐츠 및 미디어

‘데이터 레이크’를 넘어 안전한 엑세스와 고급 분석 기능을 제공하는 ‘콘텐츠 레이크(Content Lakes)’ 부상

'데이터 레이크(data lakes)'는 기업들이 검토 및 분석을 위해 활용할 수 있는 대규모 데이터 리포지토리로서, 최근 자주 사용되는 개념이다. 오브젝트 스토리지는 이 애플리케이션에서 자주 사용되는 옵션으로, 인터넷 연결이 가능하고 인증을 받은 사용자라면 누구나 쉽게 액세스할 수 있는 아키텍처이다. 여기서 한발 나아가 최근 많이 쓰이고 있는 변형된 개념이 '콘텐츠 레이크(content lake)'로서, 언어 기반 콘텐츠를 저장하고 분석할 뿐만 아니라 원본 콘텐츠에 대한 광범위한 사용 액세스를 제공하는 특수한 형태의 데이터 레이크다. 여러 지역에 분산되어 있고 여러 사이트를 보유한 미디어-리치(Media-rich) 기업들은 콘텐츠 제작 속도를 높이기 위해 비디오, 이미지와 같은 콘텐츠와 메타데이터를 원활히 전송하는데 많은 어려움을 겪어 왔다. 기업들은 자산 관리 시스템(Asset Management Systems)을 통해 오브젝트 기반 아카이브 콘텐츠를 인덱싱(적합 데이터 선별)하고 공유된 ‘콘텐츠 레이크’에서 콘텐츠를 이동, 통합할 수 있으며, 이를 통해 대규모 글로벌 조직들도 운영 전반에서 '단일 뷰'를 확보할 수 있다. 

AI/ML 기반 맞춤화된 콘텐츠 제작 기반 마련

AI가 대중화되고 있으나, 여전히 콘텐츠를 제작하는 대부분의 조직에서 AI 기술을 적용하는 것은 쉽지 않은 일이다. 영상 편집 및 압축하는 업-레스(Up-Res)나 오디오 트랜스크립션을 위한 AI 도구는 웹 도구, 커스터마이즈된 애플리케이션에 적용되거나 편집 제품군에 내장되고 있다. 콘텐츠 제작자들은 데이터 과학자, 컴퓨터 비전 전문가와 협력하여, AI 기반의 맞춤화된 영상 제작 솔루션을 적용하여 고객사의 특정 콘텐츠 제작에 대한 요구사항을 해결하고, 작업을 자동화하게 될 것이다. 콘텐츠 제작 책임자들은 이러한 AI 도구를 개발하고 구현하는 것에서 비즈니스 경쟁력을 갖출 수 있다는 점을 인식해야 한다. 

최근에는 대규모 스포츠 콘텐츠 브랜드와 경기 리그에서도 AI/ML 도구를 통해 개체 인식, 오디오 트랜스크립션(전사, transcription), 비디오 및 오디오 업-레스(Up-Res) 및 정리와 같은 즉각적인 결과를 얻고 있다. 이제 제작사들은 영상 콘텐츠 영역에 특화된 AI 기반 엔진을 구축하여 수작업보다 시간을 크게 절감하고 흥미롭고 관련성 있는 콘텐츠를 즉시 찾을 수 있도록 지원하며, 독특한 콘텐츠를 신속하게 만들 수 있어, 경쟁사 대비 비교우위를 확보할 수 있다. 

틱톡(TikTok) 등의 영상 콘텐츠 활용의 증가

틱톡(TikTok)이 엄청난 중독성과 흡인력이 있다는 것은 의심할 여지가 없는 사실이다. 사용자나 주제에 관계없이 틱톡(TikTok)의 스마트한 알고리즘을 통해 다음 흥미로운 콘텐츠가 사용자에게 제공되고 사용자는 콘텐츠에 바로 영향을 끼친다. 이는 모든 스포츠 콘텐츠 제작자들, 심지어 유명 스포츠 브랜드 관계자들에게도 강력한 시사점을 제공한다. 첫째, 이들은 틱톡의 짧은 영상을 통해 보다 긴 콘텐츠로의 유입을 원할 것이다. 둘째, 스마트한 콘텐츠 제작자는 이 짧은 영상이 브랜드 고유의 콘텐츠로 유입된 경우 그 이유를 분석하고 다시 적용하게 될 것이다. 어느 기업이나 몰입도 높은 경험을 제공하고 브랜드에 대한 호감을 높이고 싶어한다. 캡처에서 아카이빙, 회수에 이르기까지 콘텐츠에 대한 완벽한 제어와 정교한 로깅 및 콘텐츠 태깅을 강화함으로써 기업들은 계속 커지는 콘텐츠 라이브러리에서 흡입력 있는 팬 경험을 제공할 수 있다. 

사용자 맞춤의 개인화된 ‘콘텐츠 캐싱 서비스’ 제공

완성된 콘텐츠를 다양한 플랫폼에 여러 포맷으로 제공해야 한다는 점은 모두가 잘 알고 있다. 고객 맞춤화된 워크플로우를 통해 이러한 포맷을 프로그래밍 방식으로 제공할 수 있다. 그러나 엣지 웹 서비스는 다른 방법을 제시한다. 웹에서 단일 콘텐츠를 제공할 때에 모든 시점에서 빠른 액세스를 위해 데이터와 파일을 일시적으로 저장하는 캐시를 두고 사용자의 위치나 선호도에 따라 즉시 개인화한 다음, 위치 기반 관련성이 높은 더 많은 콘텐츠를 제시해 사용자를 유입할 수 있다. 콘텐츠 캐싱 서비스가 제공하는 새로운 도구를 사용한다면 이것이 가능하다. 콘텐츠가 캐싱 서버로 이동함에 따라 간단한 'if/then' 로직을 통해 콘텐츠를 개인화하고, 사용자의 위치에 따라 다양한 오디오 및 UI 등을 제공할 수 있다. 효율성과 생산성을 더 많이 확보하기 위한 경쟁이 치열해질수록 콘텐츠 워크플로우와 코드 간 경계는 모호해질 될 것이다.