과학기술정보통신부와 한국지능정보사회진흥원이 「독자 AI 파운데이션 모델」 프로젝트 5개 정예팀이 확보한 AI 학습용 데이터 29종을 27일 ‘AI 허브’ 누리집에 개방했다. 약 3,544만건, 1.56조 토큰(추정) 규모로, 국내 기업과 연구자·학생 등 국민 누구나 무료로 내려받아 활용할 수 있다.
 [코리안투데이] 과기정통부 「독자 AI 파운데이션 모델」 학습용 데이터 29종 개방 © 장형임 기자 |
과학기술정보통신부(부총리 겸 과학기술정보통신부 장관 배경훈)와 한국지능정보사회진흥원(원장 김형철)은 「독자 AI 파운데이션 모델」 프로젝트 5개 정예팀이 1차 단계평가 과정에서 확보한 총 29종의 데이터를 AI허브 누리집(aihub.or.kr)에 공개한다고 27일 밝혔다.
개방 규모는 약 3,544만건, 토큰으로 환산하면 약 1.56조 토큰(추정)에 이른다. 이론적으로 약 70~80B 수준의 대형 AI 모델 학습에 사용될 수 있는 분량이다. 참여 정예팀은 컨소시엄 주관기관 기준으로 네이버클라우드, 업스테이지, 에스케이텔레콤, 엔씨에이아이, 엘지경영개발원 AI연구원(엘지AI연구원) 등 5곳이다.
이번 데이터는 각 정예팀이 개발 전략에 맞춰 기획해 2025년 데이터 구축·가공 예산 150억원으로 확보한 것으로, 사전학습용 대규모 데이터셋부터 영상·음성 등 멀티모달, 안전성 확보를 위한 레드티밍 데이터까지 폭넓게 구성돼 있다.
팀별로 보면 네이버클라우드는 공개 영상 234만건과 방송 영상 52만건, 영상클립 기반 텍스트 1,550만건과 음성 질의응답 1,200만건을 구축했다. 텍스트는 장면을 문장 단위로 기술한 캡션 등으로 이뤄져 AI 모델의 영상 이해 능력 학습과 이미지 생성 모델 학습에 활용될 수 있다.
업스테이지는 1조 토큰 규모의 대규모 사전학습 데이터와 50만건의 사후학습 데이터를 구축했다. 사전학습 데이터셋은 대규모 AI 모델을 처음부터 새로 학습(from scratch)하는 데, 사후학습 데이터는 추론·판단·실행 등 AI 에이전트 개발에 쓰일 수 있다.
에스케이텔레콤은 수학·과학·법률 등 전문 도메인의 고난도 다단계 추론 데이터와 음성·이미지 사후학습용 데이터, 국내 법령과 한국 사회의 보편적 가치관을 반영한 한국형 레드티밍 데이터 약 1만건을 구축했다. AI 모델의 실무 해결 역량 강화와 안전성·신뢰성 향상에 활용될 수 있다.
엔씨에이아이는 제조 분야 기술문서와 민원 상담 음성 등 현장의 실제 데이터를 바탕으로 긴 문맥 이해, 단계별 추론, 멀티턴 대화, 질의응답, 멀티 모달리티 등 LLM 핵심 역량 데이터 7종을 구축했다. 엘지AI연구원은 국내 50개 실제 가정환경에서 50종 이상의 가사 활동을 촬영해 17만개 이상의 영상 클립을 확보하고 객체·분할·자세·맥락 정보를 다층 라벨링한 한국 가정환경 최적화 피지컬AI 멀티모달 데이터셋을 구축했다.
데이터 개방에 앞서 NIA와 한국정보통신기술협회(회장 손승현)는 1차 단계평가 완료 후 각 정예팀으로부터 데이터 전체를 제공받아 품질검증, 개인정보·유해성 검증, 라이선스 제약 데이터 제외 등의 조치를 진행했다. 사업 공고상 참여조건에 따라 확보 데이터의 50% 이상을 개방해야 하는 가운데, 네이버클라우드·업스테이지·에스케이텔레콤·엔씨에이아이는 품질검증을 거친 데이터 전체를 개방하기로 했으며, 엘지AI연구원은 의무개방량을 준수해 공개 대상 데이터를 통계적으로 선별·개방하기로 했다.
공개된 29종 데이터는 대한민국 국민이라면 누구나 AI허브의 ‘독자AI모델 데이터’ 항목에서 팀별·종류별로 검색해 무료로 내려받을 수 있다. 일부 데이터는 보안이 보장된 온라인 환경인 ‘안심존’에서 별도 신청을 거쳐 이용할 수 있다. 그동안 대규모 학습 데이터 확보에 어려움을 겪어 온 중소기업과 연구자, 학생에게 실질적인 개발 기반이 될 것으로 보인다.
과기정통부는 향후 2차 단계평가 과정에서 구축되는 데이터도 품질검증을 거쳐 개방할 예정이다. 김경만 인공지능정책실장은 “「독자 AI 파운데이션 모델」 프로젝트는 단순히 AI 모델 개발을 넘어, 개발 과정에서 축적된 경험과 노하우를 통해 AI 생태계 전반의 질적 성장에 기여한다는 점에서 큰 의미”라며 “오늘 개방된 데이터는 정예팀의 AI 학습 전략이 담긴 귀중한 자산인 만큼 AI 생태계의 성장과 자생력 강화를 이끄는 밑거름이 될 것”이라고 밝혔다.
지역 홍보대사 신청 기자양성과정 신청 코리안투데이 지부장 신청 코리안투데이 인천강화
THE KOREAN TODAY × WIA CODE
이 기사의 WIA Code
WIA Code 스캐너로 비추면 인터넷 없이 발행 사실과 위·변조 여부를 확인할 수 있습니다.
휴대폰 기본 카메라로 찍으면 스캐너 안내 페이지가 열립니다 — 기사 바로 열기
움직이는 코드(스트림) 한 장에 기사 전문(사진 포함)이 담겨 있습니다 — WIA Code 스캐너로 약 23초 비추면 폰에 저장되어 인터넷 없이도 읽을 수 있습니다. Stream.mp4 도 여기서 받습니다.
WIA Code · 코리안투데이
답글 남기기