반도체 전문 온라인 매거진 - 올포칩

AI 데이터 및 솔루션 전문 기업 에이아이웍스(AIWORKX)가 AI 에이전트의 신뢰성을 정밀하게 검증하는 평가 솔루션 ‘AgentRigor(에이전트리거)’를 정식 출시했다. 이번 솔루션은 국내 AI 평가 도구 중 최초로 소프트웨어 분야 KOLAS(한국인정기구) 공인시험기관이 설계 단계부터 참여하여, 공신력 있는 평가 인프라를 구축했다는 점에서 업계의 주목을 받고 있다.

최근 금융, 의료, 법률 등 전문 분야를 중심으로 버티컬 AI 시장이 급성장함에 따라 산업별 특화 검증 수요가 폭발하고 있다. 특히 ‘AI 기본법’ 시행과 금융·공공 분야의 컴플라이언스 강화 흐름 속에서, 기존의 범용 벤치마크 방식은 실제 서비스 환경의 맥락을 반영하지 못한다는 한계가 있었다. AgentRigor는 이러한 문제를 해결하기 위해 “AI가 틀린 말을 했는가”라는 단순 콘텐츠 평가를 넘어, “서비스 관점에서 올바르게 행동했는가”를 따지는 컴플라이언스 중심의 평가 패러다임을 제시한다.

AgentRigor의 핵심 차별점은 에이전트의 ‘대응 방식(Behavior)’과 ‘리스크(Risk)’를 서비스 맥락에 맞춰 종합적으로 진단한다는 것이다. 에이아이웍스가 자체 구축한 한국어 특화 평가 자산 데이터(Asset Library)를 활용해 도메인별 실서비스 환경을 정밀하게 재현하며, 단순히 비허용 정보 포함 여부를 가리는 이진 분류를 넘어 서비스 수준의 안전성을 체계적으로 검증한다. 이를 통해 기업은 AI 도입에 따른 리스크를 사전에 점검하고 배포 전 안정성을 확보할 수 있다.

핵심 기능으로는 ▲LLM 응답 품질 및 평가 신뢰도 정량 검증 ▲실제 사용자 시나리오 기반 안전성 검증 ▲공인 프레임워크 기반 컴플라이언스 대응 지원 등 세 가지가 꼽힌다. 이 외에도 시나리오 기반 테스트 데이터 자동 생성, 자동화 평가와 인적 평가(Human Evaluation)의 통합 관리, 시각화 대시보드 및 리포트 자동 생성 기능을 갖춰 수동 검증 대비 준비 시간을 획기적으로 절감해 준다.

이미 AgentRigor는 국내 대형 IT 서비스 기업의 검증 자동화 프로젝트를 수행했으며, 최근 영유아 스킨케어 플랫폼 ‘새록(BAMBIT)’의 베타 테스트에서 화장품 도메인 특화 케이스 1,440건을 단기간에 검증하며 실무 역량을 입증했다. 보안이 민감한 금융 및 공공 산업을 위해 온프레미스와 클라우드 환경을 모두 지원하는 점도 강점이다.

윤석원 에이아이웍스 대표는 “AI 에이전트가 실제 업무를 수행하는 시대에 배포 전 신뢰성 검증은 이제 필수”라며, “에이아이웍스의 품질 DNA를 바탕으로 설계된 AgentRigor가 AI 에이전트 신뢰성의 새로운 기준이 될 것”이라고 강조했다. 한편, AgentRigor는 오는 5월 코엑스에서 열리는 ‘제9회 AI 엑스포 코리아 2026’에서 라이브 데모를 통해 공개되며, 하이반기 중 다중턴 대화 검증 및 워크플로우 연동 등 기능을 확장해 글로벌 표준화를 선도할 계획이다.