라마(Llama) 3.1 어떤 점이 달라졌을까? 성능부터 설치까지 한 번에 알아보기
Llama 3.1의 성능은 어떤지, 어떻게 사용할 수 있는지 알아보도록 하겠습니다.
Aug 05, 2024
“최근까지 오픈소스 LLM은 기능과 성능 면에서 폐쇄형 모델보다 뒤처져 있었다. 이제는 오픈소스가 선두를 달리는 새로운 시대를 열고 있다. 메타의 Llama 3.1 405B는 서계에서 가장 크고 유능한 오픈소스 기반 LLM이라고 믿는다.” - Llama 3.1 소개 아티클(https://ai.meta.com/blog/meta-llama-3-1/)
메타 AI는 이번 Llama 3.1 출시를 알리는 아티클에서 다음과 같은 이야기를 전했습니다. 한 발짝 뒤에 머물러있던 시기에서 벗어나 GPT, Claude 등 폐쇄형 모델과 견주어 볼만한 성능의 오픈소스 LLM을 개발했다는 이야기를 전했는데요. Llama 3.1의 성능은 어떤지, 어떻게 사용할 수 있는지 함께 알아보도록 하겠습니다.
Llama 3.1 살펴보기
모델 종류
Llama 3.1은 총 3개의 모델로 출시되었습니다. 각 모델에 따른 특징을 알아보도록 하겠습니다.
- 405B 405B 모델은 모델명처럼 4050억 개의 파라미터 수를 가지고 있는데요. 15조 개 이상의 토큰으로 학습된 405B는 Llama 3.1 시리즈 중 최고 성능을 자랑합니다. 한 번에 처리할 수 있는 텍스트의 최대 길이, 즉 컨텍스트 길이는 128K로 약 128,000의 단어를 처리할 수 있습니다. 또, 8개 언어에 대한 지원을 추가했습니다. 405B 모델은 폐쇄형 소스 모델과 경쟁할 수 있을 정도의 성능을 가지고 있는데요, 실제 데이터를 모방하여 가상의 데이터를 만들어내는 합성 데이터 생성(Synthetic Data Generation)과 큰 모델의 지식을 작은 모델로 전이하는 모델 디스틸레이션(Model Distillation)도 가능합니다. 405B는 워낙 큰 모델이기에 개인 컴퓨터보다는 주로 클라우드나 대규모 서버 환경에 적합합니다.
- 70B 70B 모델은 700억 개의 파라미터를 가지고 있는 중간 규모의 모델입니다. 높은 성능과 비용 효율성을 동시에 가지죠. 70B 모델 또한 여러 언어를 지원하고 긴 컨텍스트 길이 처리 능력을 가집니다.
- 8B 8B 모델은 시리즈 중 가장 경량 모델인데요, 상대적으로 적은 용량을 차지하기에 개인 컴퓨터에서도 사용이 가능합니다. 8B는 다른 두 모델에 비해 성능이 제한적이지만, 다국어 지원 및 기본적인 언어 처리 작업을 수행할 수 있습니다.
Llama vs GPT vs Claude
라마와 지피티, 클로드의 성능은 어떻게 다를까요? 메타 AI가 공개한 자료에 따르면 다음과 같은 결과가 나왔습니다.
ㅤ | Llama 3.1 405B | GPT-4 Omni | Claude 3.5 Sonnet |
일반 지식
(General) | 88.6 | 88.7 | 88.3 |
코드
(Code) | 89.0 | 90.2 | 92.0 |
수학
(Math) | 96.8 | 96.1 | 96.4 |
추론
(Reasoning) | 96.9 | 96.7 | 96.7 |
도구 사용
(Tool use) | 88.5 | 80.5 | 90.2 |
컨텍스트 길이
(Long context) | 95.2 | 90.5 | 90.5 |
각 카테고리마다 여러 평가 방식이 적용되기에, 완벽한 결과라고 단정 지을 수는 없지만, 라마 3.1 405B는 6개 중 3개의 카테고리에서 가장 좋은 성능을 보이고 있습니다. 라마 3.1이 오픈소스 LLM이라는 것을 감안했을 때, 폐쇄형 LLM과 견줄 수 있다는 것을 보여주는 결과죠.
405B 뿐만 아니라 다른 모델도 평가에서 좋은 점수를 받았습니다. 70B 모델은 GPT 3.5 Turbo와 비교했을 때 도구 사용의 한 항목을 제외한 모든 항목에서 더 높은 점수를 얻었습니다. 8B 모델도 Gemma 2 9B IT, Mistral 7B Instruct와 비교했을 때 추론을 제외한 항목에서 더 높은 점수를 획득했죠.
메타 AI는 인간 평가 결과도 공개했는데요, GPT-4-0125-Preview, Claude 3.5 Sonnet과 비슷한 성능을 입증했습니다.
*자세한 결과는 https://ai.meta.com/blog/meta-llama-3-1/에서 확인할 수 있습니다.
Ollama로 라마 3.1 사용해 보기
Llama는 오픈소스로 열려있지만, 사용하기 위해 많은 용량이 필요하고 설치 방법이 복잡하여 많은 분들이 어려움을 겪으셨을 텐데요. 라마의 간편한 설치를 도와주는 오라마(Ollama)라는 사이트를 이용하여 Llama를 쉽게 사용해 보겠습니다.
설치법
오라마 사이트(https://ollama.com/)에 접속합니다.
하단의 다운로드 버튼을 클릭하여 오라마를 다운로드합니다.
자신의 운영체제에 맞는 버전으로 다운로드합니다.
설치 후, 다음과 같이 Next와 Install 버튼을 클릭하면 오라마 설치가 완료됩니다.
이제 라마 3.1을 설치해 볼 차례인데요, 우측 상단의 Models 버튼을 눌러줍니다.
llama3.1을 찾아서 클릭합니다. 가장 최근에 출시된 모델이라 가장 상단에 위치해 있기에 쉽게 찾을 수 있습니다.
오라마에서 405B, 70B, 8B 모델을 모두 다운 받을 수 있는데요. 405B는 231GB, 70B는 40GB로 용량이 큰 편입니다. 8B는 4.7GB로 비교적 가볍기에 8B를 설치해 보겠습니다.
아래 이미지의 명령어를 복사해 줍니다.
터미널에 접속하여 해당 명령어를 그대로 붙여넣기 한 후에 엔터를 누릅니다.
기다리면 다음과 같이 라마가 설치되는데요, 시간은 대략 5분 정도 소요됩니다
사용법
/? 를 입력하면 아래 이미지처럼 사용 가능한 명령어들을 알려줍니다. 모델 정보나 내용 지우기, 나가기 등을 실행할 수 있습니다.
터미널 창에 질문을 입력하면 답변을 받을 수 있는데요, HRD 교육이 무엇인지 알려달라고 했을 때의 결과는 다음과 같습니다.
이렇게 최근 출시된 라마 3.1 성능부터 사용법까지 알아봤는데요. 오픈소스 LLM의 발전 가능성을 보여주는 모델이었습니다.
라마, 지피티 등 계속해서 발전하는 LLM을 효율적으로 사용하고 싶으신가요? 팀스파르타 AI 기업 교육에서는 직무에서의 LLM 활용법을 교육합니다. 마케팅 직무뿐 아니라 기획, 경영지원, 데이터 분석 등 여러 직무에 대한 커리큘럼이 준비되어 있습니다. AI 교육을 고민 중이라면, 아래 버튼을 통해 컨설팅을 받아보세요.
Share article
Subscribe to our newsletter