2024년 새로 출시된 오픈소스 LLM 3가지 (LLM이란, 오픈소스 LLM)

생성형 AI의 기반, LLM은 무엇일까요? LLM의 개념과 눈여겨볼 만한 LLM을 알려드립니다.

Jun 22, 2024

Contents

LLM이란?

LLM은 Large Language Model 즉, 대규모 언어 모델을 의미합니다. LLM은 주로 기계 학습과 자연어 처리(NLP) 기술을 활용하여 인간의 언어를 이해하고 활용하는 데 사용되는데요. LLM의 실제 동작 방식을 더 자세히 알아볼까요? 1) 데이터 수집과 전처리 다양한 텍스트 데이터를 수집합니다. 수집된 데이터는 정제되어 모델이 학습 가능한 형태로 변환됩니다. 2) 모델 학습 모델은 대규모 신경망을 사용하여 데이터를 학습하게 됩니다. 수백만에서 수십억 개의 파라미터를 이용하여 언어의 구조와 패턴을 학습합니다. 3) 추론 및 작업 수행 학습된 모델은 텍스트 생성이나 질문 답변 등 다양한 분야에서 사용됩니다. 요즘 일상생활에서도 자주 사용되고 있는 생성형 AI도 LLM을 기반으로 만들어집니다.

👉 인공지능 및 대규모 신경망에 대한 자세한 설명이 궁금하다면?

오픈소스 LLM 란?

LLM을 가장 쉽게 활용할 수 있는 방법은 LLM 오픈소스를 활용하는 것입니다. LLM 오픈소스는 누구나 무료로 LLM을 수정하고 활용할 수 있도록 시중에 공유되어 있는데요. 활용 방식에 따라 챗봇, 콘텐츠 제작, 의견 수집 및 분류 등 다양한 작업이 가능하죠.

오픈소스 LLM 추천

2024년 떠오르는 오픈소스 LLM은 어떤 것들이 있을까요? 2024년 이후에 출시된 오픈소스 LLM 중 뛰어난 성능을 갖춘 모델을 소개해 드립니다.

1. LLaMA 3

LLaMA 3은 2024년 4월 메타 AI가 공개한 오픈소스 LLM입니다. 2023년 7월 출시하여 많은 인기를 얻은 LLaMA 2에서 더욱 발전된 모델인데요. LLaMA 3은 약 15조 개의 토큰이 사용되며 LLaMA 2에 비해 4배 더 많은 코드를 포함한 7배 이상의 데이터셋을 통해 훈련되었습니다. 모델 종류로는 파라미터 개수에 따라 8B(80억), 70B(700억) 모델이 있는데요. 400B 모델도 공개될 예정입니다.

모델 종류(파라미터 수)	컨텍스트 길이	토큰 개수(데이터셋 크기)	지식 기준일
Llama-3-8B	8K (8192)	15T (15조 개)	2023년 3월까지
Llama-3-70B	8K (8192)	15T (15조 개)	2023년 12월까지

친숙한 LLM 모델인 GPT와 비교해 봤을 때 Llama 3은 어느 정도의 성능을 갖추고 있을까요? Llama 3은 GPT의 기본 모델인 3.5에 비해 성능이 더 우수합니다. 그러나 고급 모델인 GPT-4에 비해서는 성능이 떨어지죠. 파라미터 수를 비교해 보아도 GPT-4가 약 1.7T(1.7조 개)로 훨씬 많은 것을 알 수 있습니다. 결과물 또한 Llama는 텍스트만, GPT-4는 텍스트와 시각적 결과물을 동시에 지원합니다.

하지만 Llama 3은 GPT-4와 달리 누구에게나 열려있는 ‘오픈소스’라는 점에서 유의미합니다. 오픈소스 LLM 중 뛰어난 성능을 보이는 Llama는 챗봇, 텍스트 번역 및 요약 등 다양한 분야에서 활용할 수 있습니다. 더불어, Llama 2와 달리 비영어권의 언어도 지원합니다.

Llama 3는 현재 공식 사이트에서 신청이 가능합니다. 메타 AI에서 Llama 3을 체험할 수 있지만, 현재 한국에서는 지원하지 않는 상태인데요. 구글 코랩과 같은 클라우드 컴퓨팅 시스템을 통해 설치 없이 체험해 볼 수 있습니다.

2. Falcon 2

Falcon 2는 2024년 5월에 출시된 오픈소스 LLM으로 아랍에미리트의 정부 연구기관 TII에서 개발한 모델인데요. Falcon은 2023년 9월 처음으로 선보인 Falcon에 비해 상당 부분 업데이트 되었습니다. 이전 Falcon은 파라미터 수가 7B(70억)이 최대였지만, Falcon 2는 11B(110억)의 파라미터를 가지는데요. 또, 5.5T(5조 5000억 개)의 토큰이 사용되었습니다. 이미지와 같은 시각적 입력을 텍스트로 변환하여 출력하는 모델인 ‘Falcon 2 11B VLM(vision-to-language model)’도 출시 예정입니다.

미국의 AI 모델 플랫폼인 Hugging Face(허깅 페이스)에서 실시한 독립 검증에 따르면, 앞서 소개한 Llama 3 8B의 성능을 뛰어넘고 Gemma 7B와 동등한 성능을 발휘한다고 발표했습니다. Falcon 2 11B 모델은 출시된 5월, 허깅 페이스에서 52,000개 이상의 다운로드 수를 기록했습니다.

Falcon 2는 영어를 비롯하여 독일어, 스페인어, 불어 등 약 11개의 언어를 지원합니다. 요약, 텍스트 생성, 챗봇 등에 사용할 수 있습니다. Falcon 2를 사용하기 위해서는 파이썬 기반의 오픈소스 머신 러닝 라이브러리인 Pytorch가 필수적으로 필요합니다.

3. Gemma

Gemma는 2024년 2월 구글 AI가 출시한 오픈소스 LLM입니다. Gemma는 파라미터 수에 따라 Gemma 2B와 Gemma 7B가 있는데요. 구글이 공개한 일반 LLM인 Gemini의 파라미터 수가 1조 개를 뛰어넘는 것으로 알려진 것으로 보아, Gemini의 경량 버전으로 알려져 있습니다.

Gemma는 LLM의 지식수준과 문제 해결 능력을 평가하는 MMLU 벤치마크에서도 뛰어난 성능을 증명했는데요. 같은 파라미터 수를 가진 LLM 모델인 Mistral 7b, Llama-2 7b와 견주어 보았을 때 20-5점 더 높은 점수인 64.3점을 획득했습니다.

Gemma는 대표 모델인 Gemma에서 변형된 CodeGemma, PaliGemma, RecurrentGemma 등 다양한 변형 모델을 제공합니다. 그중에서도 PaliGemma는 비전 언어 모델로, 이미지 속 텍스트 이해, 이미지에 대한 질의응답, 비디오 캡션 등에 대한 작업이 가능합니다. 젬마는 Google Cloud에서 최적화되며, 학습 및 배포할 수 있습니다.

더불어 최근 구글 AI는 파라미터 수가 270억 개인 Gemma 2의 출시를 예고하기도 했습니다.