라마(Llama) 3.1 어떤 점이 달라졌을까? 성능부터 설치까지 한 번에 알아보기

“최근까지 오픈소스 LLM은 기능과 성능 면에서 폐쇄형 모델보다 뒤처져 있었다. 이제는 오픈소스가 선두를 달리는 새로운 시대를 열고 있다. 메타의 Llama 3.1 405B는 서계에서 가장 크고 유능한 오픈소스 기반 LLM이라고 믿는다.” - Llama 3.1 소개 아티클(https://ai.meta.com/blog/meta-llama-3-1/)

Llama 3.1 살펴보기

모델 종류

• 405B 405B 모델은 모델명처럼 4050억 개의 파라미터 수를 가지고 있는데요. 15조 개 이상의 토큰으로 학습된 405B는 Llama 3.1 시리즈 중 최고 성능을 자랑합니다. 한 번에 처리할 수 있는 텍스트의 최대 길이, 즉 컨텍스트 길이는 128K로 약 128,000의 단어를 처리할 수 있습니다. 또, 8개 언어에 대한 지원을 추가했습니다. 405B 모델은 폐쇄형 소스 모델과 경쟁할 수 있을 정도의 성능을 가지고 있는데요, 실제 데이터를 모방하여 가상의 데이터를 만들어내는 합성 데이터 생성(Synthetic Data Generation)과 큰 모델의 지식을 작은 모델로 전이하는 모델 디스틸레이션(Model Distillation)도 가능합니다. 405B는 워낙 큰 모델이기에 개인 컴퓨터보다는 주로 클라우드나 대규모 서버 환경에 적합합니다.

• 70B 70B 모델은 700억 개의 파라미터를 가지고 있는 중간 규모의 모델입니다. 높은 성능과 비용 효율성을 동시에 가지죠. 70B 모델 또한 여러 언어를 지원하고 긴 컨텍스트 길이 처리 능력을 가집니다.

• 8B 8B 모델은 시리즈 중 가장 경량 모델인데요, 상대적으로 적은 용량을 차지하기에 개인 컴퓨터에서도 사용이 가능합니다. 8B는 다른 두 모델에 비해 성능이 제한적이지만, 다국어 지원 및 기본적인 언어 처리 작업을 수행할 수 있습니다.

Llama vs GPT vs Claude

Ollama로 라마 3.1 사용해 보기

설치법

사용법