반도체 전문 온라인 매거진 - 올포칩

테스트웍스(대표 윤석원, www.testworks.co.kr)는 구축된 데이터 셋의 오류를 검증 및 분석하는 인공지능 데이터 품질 검증 전문 도구인 ‘ADQ’ 베타버전을 발표했다. 

인공지능의 서비스 상용화 및 성능 향상을 위한 품질 좋은 데이터 확보를 위해서는 데이터 구축 시점부터 품질에 대한 지속적인 관리가 필요하지만, 국내 인공지능 데이터 품질 검증은 초기 단계이며 표준화된 방법이 없는 상황이다. 인공지능 데이터 셋 구축 업체들이 자체 개발한 다양한 라벨링 도구가 있지만 대부분의 도구는 데이터 라벨링과 라벨링 자동화 그리고 라벨러의 작업 관리에 초점이 맞춰져 있다. 데이터 품질에 대한 검증 및 지속적인 관리를 위해서는 구축 시점부터 데이터 검증을 위한 프로세스 수립을 시작으로 검증 작업 관리, 검증 후 결과 분석 보고서를 제공하는 전문 도구가 필요하다. 

테스트웍스의 ADQ는 인공지능 데이터 품질 검증에 최적화된 도구로 구축된 데이터 셋의 오류 여부를 검증하고 관련 분석 정보를 제공하여, 인공지능 모델의 고품질 학습 데이터 셋 구축 및 관리에 필요한 시간 및 비용 절감에 기여할 수 있을 것으로 기대하고 있다. ADQ는 인공지능 데이터 품질 검증을 수행해야 하는 기업과 기관들의 현업에서의 어려움을 반영하여 개발되었다. 

ADQ는 설정한 데이터 품질 검증 프로세스에 맞춰 작업을 진행할 수 있으며, 프로젝트 별로 검증 팀을 구성하여 원활한 작업 관리 및 협업이 가능하다. 또한 사용자 맞춤형 기능을 제공하여 편의성을 높였으며, 품질 검증 결과 보고서를 확인할 수 있어 전반적인 데이터 검증 업무의 생산성을 크게 높일 수 있다. 

테스트웍스 윤석원 대표는 “다년간 인공지능 데이터 품질 검증 노하우를 보유하고 있는 테스트웍스는 지속적으로 품질 높은 데이터를 인공지능 학습에 제공하기 위해 필요한 제3자 검증 도구인 ADQ 베타 버전을 출시하게 되었다”라고 말하며, 테스트웍스의 품질 검증 전문 도구를 통해 인공지능 서비스의 품질을 좌우하는 데이터 품질 검증에 대한 저변 확대가 이뤄지기를 기대한다.”라고 밝혔다. 

ADQ 베타 버전은 4가지 주요 기능과 함께 8가지 상세 기능을 제공한다. 

ADQ 베타 버전의 4가지 주요 기능 

1. 설정된 품질 검증 프로세스에 맞춰 학습 데이터의 품질 검증 진행: 신뢰 수준과 표본 오차를 기준으로 신뢰할 수 있는 검증 개수를 설정한 후 검증을 위한 샘플링 진행, 효율적 검증 작업의 진행을 위한 작업 분할, 검증 작업자 할당으로 이루어지는 일련의 프로세스를 검증 도구를 사용하여 순조롭게 진행할 수 있다. 
2. 프로젝트 별로 검증 팀을 구성하여 원활한 검증 작업 진행: 검증 작업자들의 작업 진행 상황과 오류에 대한 부분을 관리자 및 검수자가 체크하여 검증 작업에 대한 질은 높이고, 기본적으로 학습 데이터 셋 구축에 도움이 될 수 있도록 정보를 제공한다. 
3. 검증 작업을 위한 사용자 맞춤형 기능 제공: 오류 객체들에 대한 화면 표시, 객체 오류 종류 표시, 오류가 있는 다중 객체를 선택하여 한 번에 오류를 체크하는 기능 등 사용자 입장에서 검증 작업을 최대한 편리하게 진행할 수 있다. 
4. 품질 검증 결과 보고서 제공: 품질 검증 작업에 대한 결과를 보고서 형태의 파일로 다운로드 하여 볼 수 있다. 데이터 관련 증빙 자료가 필요하거나, 제3자 품질 검증 수행 시 활용 가능하다. 

ADQ 베타 버전의 8가지 상세 기능 

1. 프로젝트 현황 대시보드: 검증 프로젝트에 대한 프로젝트 진행률, 검증 데이터 도메인 분포, 검사자 현황, 어노테이션(원천 데이터에 주석 표기) 타입 분포를 알기 쉽게 그래픽으로 처리하여 전반적인 현황을 쉽게 파악할 수 있는 화면을 제공한다. 
2. 라벨링 결과 파일에 대한 데이터 포맷 변환: 여러 가지 데이터 포맷을 가지고 있는 결과 파일들을 ADQ로 로드하기 위한 데이터 형 변환이 가능하다. 현재 CVAT xml, COCO json, Pascal VOC xml 형태를 지원하고 있으며, 추후 다른 형태도 지원할 예정이다. 
3. 데이터 샘플링, 분할 작업 및 업로드: 일반적으로 품질 검증은 전체 구축 데이터 셋에서 샘플링을 하여 진행한다. 만일, 샘플링을 하여 한 개의 작업으로 진행하게 된다면 작업의 특성상 한 명이 진행하게 되고, 샘플 량이 많게 되면 작업 효율은 당연히 떨어지게 된다. ADQ는 이러한 관리의 효율성을 높이기 위해서 프로젝트를 여러 개의 작업으로 분할하고, 작업자들이 동시에 진행할 수 있다. 분할된 작업들이 서버로 업로드 되면 실제 작업을 시작할 수 있다. 
4. 동시 진행되는 멀티 검증 프로젝트 관리 및 작업 관리: 여러 개의 프로젝트를 동시에 검증 진행이 가능하며, 작업자별 검증 Task 할당 현황, 검증 진행 현황을 모니터링할 수 있다. 
5. 검증 작업 화면 내 오류 설정 및 오류 목록 설정: 실질적인 검증 작업을 하는 화면으로 각 객체에 대해서 오류 설정을 할 수 있으며, 객체 종류별 작업한 오류 객체들을 손쉽게 파악할 수 있다. 작업 전체의 오류 개수 및 각 오류 객체의 종류도 파악할 수 있다. 오류 객체가 있는 페이지로 바로 이동도 가능하다. 
6. 라벨링 데이터 분석: 품질 검증 결과뿐만 아니라 라벨 분포 및 객체 크기 분포에 대한 분석 결과도 제공한다. 
7. 검증 결과(의미 정확성) 확인 및 리포팅: 의미 정확성 검증 프로젝트에 대한 진행 상황 및 검증 결과 확인이 가능하며, 검증 데이터 셋에 대한 최종 검증 결과 리포트 출력 기능도 제공한다. 
8. 관리자/검수자/작업자별 사용 권한: 검증 작업의 효율성을 위해서 ADQ는 세 가지의 권한에 따라 품질 검증 작업/검수/사용자 계정 생성, 프로젝트 생성 및 관리, 검증 결과 확인 등 메뉴 및 기능의 사용을 제한할 수 있다.