'독자 파운데이션 모델'이 뭔가요?

'독파모'는 대한민국이 세계 최고의 인공지능(AI) 생태계를 갖기 위한 시도다…'독파모' 프로젝트가 시작한 지 4개월 만에 전 세계 Top 20에 한국 모델이 몇이나 들어갔다. '주목할 만한 모델'에는 5개 모델이 발표와 동시에 모두 포함됐다. 올해 말에 어떤 모델이 나올지 기대를 걸어볼 만하다. 우리는 충분히 할 수 있다.

'파운데이션(Foundation) 모델'부터 시작해 보자. '파운데이션'은 '기반'을 뜻한다. 모델은 뭘까? '모델하우스'란 말을 떠올리면 쉽다. 현실 세계의 복잡한 현상을, 수학적이고 논리적으로 추상화해서 구현했다는 뜻이다. 파운데이션 모델은 '방대한 데이터를 통해 세상의 패턴을 학습한 다음, 그것에 관해 질문하면 지능적인 답을 내놓는' 거대 AI 모델을 말한다. 그 분야에 관해 두루 잘 기능한대서 기반 모델이다.

'독자'는 우리가 스스로 이걸 만든다는 뜻이다. 이 셋을 합하면 '독자 파운데이션 모델'은 우리가 우리 힘으로 (세계 최고 수준의) 거대 AI 모델을 만들자는 것이다.

'독파모(독자 파운데이션 모델)'는 오는 2027년까지 세계 최고 수준의 거대언어모델(LLM)과 멀티모달(여러 개의 모드를 가진 것, 언어뿐 아니라 그림, 동영상 등을 처리할 수 있는 모델을 말한다) 모델을 확보하자는 국가 프로젝트다. 

5개 정예 팀을 선발해 최신 그래픽처리장치(GPU)를 비롯해 연구개발을 지원해 준다. 단계마다 한 팀씩을 떨어트리고 마지막 남은 2팀에는 수천 장의 최신 GPU를 몰아준다. 결과물은 '오픈 웨이트(가중치 공개)'로 공개해 누구나 쓸 수 있게 한다.

독파모를 개발하려면 어떻게 하면 될까. 엔비디아 CEO 젠슨 황의 말을 들어보자. 지난 21일 스위스 다보스에서 열린 세계경제포럼에서 그는 AI를 '5단 레이어 케이크'에 비유했다. 에너지, 칩과 컴퓨팅 인프라, 클라우드 데이터센터, AI 모델, 그리고 궁극적으로 애플리케이션 레이어로 구성된 구조라는 것이다. 

독파모는 이중 에너지를 제외한 넷을 목표로 한다. 단순히 모델만 만들자는 게 아니다. 젠슨 황의 말처럼 AI는 원래 이렇게 다섯 계층으로 이뤄져 있기 때문이다. 다음과 같다. 

AI 풀스택 생태계
• 인프라 및 하드웨어층: AI 반도체, AI 데이터센터, 초고속네트워크분산컴퓨팅 최적화/저전력 고효율 설계/국산 칩 생태계
• 데이터 파운데이션층: 데이터 수집, 정제 및 레이블링, 합성데이터 생성데이터 큐레이션/저작권 및 윤리 가이드라인/멀티모달 정렬
• 모델 훈련 및 최적화층: 모델 아키텍트 설계, 사전학습, 미세조정모델 아키텍터 원천기술/학습효율화/각 억제
• 추론 및 서비스층: MLOps(AI 운영 자동화)/경량화/API 서비스실제 AX 경험(가전, 조선, 물류…)/실시간 서비스 최적화

독파모가 'from scratch(바닥부터 제대로)'를 원칙으로 하는 건 이 때문이다. 그래야 인프라부터 서비스 단계까지 풀스택 생태계를 아우를 수 있다.

인프라를 예로 들어보자. GPU를 이 팀에 4개, 저 팀에 4개를 할당했다고 하자. 그러면 분명히 어떤 때는 이 팀 GPU는 노는데, 저 팀 GPU가 모자라고, 어떤 땐 다 모자라는 일이 생길 것이다. 

만약 실시간으로 GPU 자원을 재할당해 줄 수 있다면, 즉 고성능 GPU 하나를 다수의 사용자가 나눠 쓰거나, 반대로 다수의 GPU를 하나로 묶어 쓰는 일을 실시간으로 해줄 수 있으면 효율이 엄청나게 올라갈 것은 쉽게 알 수 있다. 이런 'GPU 분할 및 동적 할당' 기술이 함께 발전해야 AI 개발을 제대로 할 수 있다. 

같은 일을 절반의 전기만 쓰고도 해줄 수 있는 AI 칩을 만들 수 있다면 역시 효율이 크게 올라갈 것이다. 같은 전기료로 2배의 칩을 돌릴 수 있기 때문이다. AI개발 시간의 80%는 데이터 정제에 들어간다고 한다. 데이터 처리 기술이 크게 올라간다면 역시 경쟁력이 높아질 것이다. 만든 다음에 즉시 서비스에 투입해 검증해 볼 수 있으면 역시 경쟁력이 높아질 것이다. 

독파모가 LG, 업스테이지, SKT, 네이버, 엔씨와 같은 모델개발회사만 뽑지 않은 게 그 때문이다. 인프라와 하드웨어의 퓨리오사, 리벨리온, 래블업, 데이터의 플리토, 셀렉트스타, 에이아이웍스, 라이너, 네이버, 서비스와 산업 확산의 한글과컴퓨터, 올거나이저, 포스코, 롯데, 크래프톤, 포티투닷이 모두 '독파모'다. 

여기에 대학교를 모든 팀에 필수로 포함시켰다. 대규모 GPU 클러스터를 활용해 1000억 개 이상의 매개변수를 가진 모델을 직접 학습시켜 본 경험은 도저히 책으로 배울 수 없기 때문이다. 

'독파모'는 대한민국이 세계 최고의 AI 생태계를 갖기 위한 시도다. 이런 풀스택에 도전할 수 있는 나라는 전 세계에서 몇이 안 된다. 한국은 그 자격을 갖춘 드문 곳중 하나다. '독파모' 프로젝트가 시작한 지 4개월 만에 전 세계 Top 20에 한국 모델이 몇이나 들어갔다. '주목할 만한 모델'에는 5개 모델이 발표와 동시에 모두 포함됐다. 올해 말에 어떤 모델이 나올지 기대를 걸어볼 만하다. 우리는 충분히 할 수 있다.

◆ 박태웅 녹서포럼 의장

한빛미디어 이사회 의장을 비롯해 KTH, 엠파스 등 IT 업계에서 오래 일했으며 현재 녹서포럼 의장으로 활동하고 있다. IT산업발전에 기여한 공로로 2021년 동탑산업훈장을 수훈했다. 저서로는 <눈 떠보니 선진국>, <박태웅의 AI 강의> 등이 있다.