반도체 전문 온라인 매거진 - 올포칩

엔비디아(www.nvidia.co.kr CEO 젠슨 황)가 새로워진 네모(NeMo) 서비스를 공개했다. 새로운 네모 서비스는 대규모 언어 모델(LLM)이 독점 데이터 소스에서 정확한 정보를 검색하고 사용자 쿼리에 대해 사람과 같은 대화형 답변을 생성할 수 있도록 지원한다. 또한 기업들은 독점 데이터로 LLM을 보강해 추가적인 학습을 하거나 처음부터 다시 시작할 필요 없이 모델의 지식 베이스를 자주 업데이트할 수 있다. 

오늘날 사용 가능한 대규모 언어 모델은 풍부한 지식을 갖추고 있지만, 마치 타임캡슐과 같은 특성을 가지고 있다. LLM이 확보한 정보는 처음 훈련될 당시 사용된 데이터로 제한되기 때문이다. 예를 들어, 1년 전에 훈련된 기업의 AI 챗봇을 구동하는 LLM은 기업의 최신 제품 및 서비스에 대한 정보를 갖지 못한다. 

엔비디아 네모 서비스를 활용하면 이러한 격차를 해소할 수 있다. 엔비디아 네모는 새롭게 발표된 엔비디아 AI 파운데이션(Foundation) 클라우드 서비스 제품군의 일부로, 기업들은 독점 데이터로 LLM을 보강해 추가적인 학습을 하거나 처음부터 다시 시작할 필요 없이 모델의 지식 베이스를 자주 업데이트할 수 있다. 

네모 서비스의 새로운 기능을 사용하면 LLM이 독점 데이터 소스에서 정확한 정보를 검색하고 사용자 쿼리에 대해 사람과 같은 대화형 답변을 생성할 수 있다. 기업들은 해당 기능으로 네모를 통해 애플리케이션에 맞게 정기적으로 업데이트되는 도메인별 지식으로 대규모 언어 모델을 사용자 지정할 수 있다. 이를 통해 기업은 재고, 서비스 등 다양한 분야에서 지속적으로 변화하는 환경에 발맞춰 정확도 높은 AI 챗봇, 엔터프라이즈 검색 엔진, 시장 인텔리전스 도구 등의 기능을 활용할 수 있다. 

한편 네모는 언어 모델의 응답에 대한 출처를 인용하는 기능이 포함돼 출력물에 대한 사용자의 신뢰를 높인다. 또한 네모를 사용하는 개발자는 가드레일을 설정해 AI의 전문 영역을 정의함으로써 생성된 응답을 보다 잘 제어할 수 있다. 

다크 데이터의 본격 활용

분석가들은 기업 데이터의 약 3분의 2가 활용되지 않는 것으로 추정한다. 소위 ‘다크 데이터(Dark Data)’라고 불리는 이러한 데이터는 방대한 정보에서 의미 있는 인사이트를 얻기 어렵다는 이유로 활용되지 않는다. 이제 기업들은 네모를 사용하여 자연어 쿼리를 통해 다크 데이터로부터 인사이트를 얻을 수 있다. 

네모는 모델이 처음에 학습한 기존 데이터 세트와 관계없이, 기업이 진화하는 지식 베이스를 학습하고 대응할 수 있는 모델을 구축할 수 있도록 지원한다. 새로운 정보를 반영하기 위해 LLM을 재학습할 필요 없이, 네모는 엔터프라이즈 데이터 소스를 활용해 최신 세부 정보를 가져올 수 있다. 언어 처리 및 텍스트 생성의 핵심 기능을 수정하지 않고도 추가 정보를 추가하여 모델의 지식 베이스를 확장할 수 있다. 

또한 기업은 네모를 사용해 생성형 AI 애플리케이션이 정의된 전문 영역을 벗어난 주제에 대해 의견을 제공하지 않도록 가드레일을 구축할 수 있다.