일반 기업과 공기업 등 다양한 분야에서 대형언어모델(LLM, Large Language Model)의 활용이 커짐에 따라서, 전 세계 LLM 시장의 규모가 올해부터 2030년까지 연평균 성장률(CARG) 35.9%로 빠르게 확대될 것으로 전망된다.

이러한 가운데 인공지능(AI) 개발 및 클라우드 관리 플랫폼 전문기업 에이프리카(대표 강선근)가 오는 5월 1일부터 3일간 서울 삼성동 코엑스(COEX)에서 열리는 ‘국제인공지능산업대전(이하 AI EXPO KOREA 2024)’에 참가한다.

AI EXPO 2024는 단일 인공지능 행사로서 아시아 최대 규모이자 세계 5대 인공지능(AI) 전시회로 꼽힌다. 에이프리카는 이번 전시에서 프라이빗 LLM 서비스 가젤 RAG(Gazelle RAG)를 포함한 컨설팅부터 MLOps 플랫폼 치타를 기반으로 한 LLM 시스템 구축까지 LLM 관련 엔드투엔드 서비스를 모두 선보일 예정이다.

에이프리카의 프라이빗 LLM 서비스 가젤 RAG(Gazelle RAG)는 사용자에게 할루시네이션이 없는 정확한 답변을 제공하기 위해 RAG(Retrieval-Augmented Generation)를 적용하고, 임베딩 모델과 프라이빗 LLM을 파인튜닝해 내부지식에 기반한 정확한 답변을 제공하는 것이 큰 특징이다.

특히, 공공기관과 민간 기업이 우려하는 데이터 유출 위험을 방지할 수 있도록 폐쇄형 환경에 구축 가능하여 데이터 신뢰성과 보안을 모두 확보했다. 이 뿐 아니라 각 산업군 별로 도메인 특화 엔진 개발이 가능하도록 학습 데이터 구축부터 파인튜닝까지 전과정에 대한 컨설팅이 제공되어, 보다 더 신속하고 효과적인 LLM 도입이 가능하다.

치타(Cheetah)는 AI 모델 개발에 필요한 데이터 관리부터 모델 개발, 배포와 HPC 인프라 운영까지 전 과정을 지원하는 MLOps 플랫폼이다. 비개발자도 손쉽게 AI를 개발할 수 있는 편의성과 전문가를 위한 고성능 기능까지 모두 제공한다.

경찰청, 광주과학기술원, 현대글로비스 등 주요 공공기관과 기업에 공급되며 성능과 안정성을 이미 검증 받은 치타는 LLM 특화 기능을 추가하여 LLMOps 플랫폼으로 확장 중이다.

우선 RAG 기반의 LLM 모델을 배포하고 모니터링 하는 기능을 시작으로 LLM 모델 파인튜닝 기능, 프롬프트 관리 기능, 벡터데이터 관리 등이 순차적으로 지원될 예정이다. 이를 통해 폐쇄형 환경에서 내부 보안 데이터로 LLM 기술을 접목하고자 하는 기업이나 전문인력을 보유하고 있지 않은 기업들도 LLM를 도입하고 운영하기 위한 체계를 손쉽게 구축할 수 있게 될 전망이다.

에이프리카의 강선근 대표는 “LLM부터 LLMOps까지 생성형 AI 도입에 필요한 토탈 솔루션을 제공하는 AI 전문기업으로서의 기술과 비전을 이번 전시에 방문하는 국내외 관람객에게 적극 소개할 것”이라고 전했다.

한편, 에이프리카는 AI 관련 서비스뿐 아니라 멀티 클라우드 통합관리(CMP)와 클라우드 네이티브 정보시스템 구축 및 운영(PaaS)을 위한 올인원 플랫폼 ‘세렝게티’도 개발 및 공급하고 있다. 세렝게티는 다양한 클라우드 환경과 VM, 컨테이너를 표준화한 형식으로 관리하도록 지원한다. 현재 디지털플랫폼정부 허브 테스트베드, 한국산업단지공단, 한국고용정보원, 대전대학교 등에서 세렝게티를 활용중이다.

출처 : 인공지능신문(https://www.aitimes.kr)