메타(Meta)가 차세대 오픈소스 대규모 언어 모델(LLM) '메타 라마3(Meta Llama 3)'를 발표했습니다. 메타 라마3는 현재 공개된 LLM 중 가장 뛰어난 성능을 보여주는 최첨단 모델로 평가받고 있습니다.
메타는 라마3를 통해 개발자 커뮤니티에 최고 수준의 오픈소스 LLM을 제공하고, AI 혁신을 가속화하는 것을 목표로 하고 있습니다. 이번 포스트에서는 메타 라마3의 특징과 활용 방안에 대해 자세히 알아보겠습니다.
메타 라마3(Llama 3)란?
메타 라마3는 메타의 차세대 오픈소스 대규모 언어 모델(LLM)입니다. 8B와 70B 파라미터 규모의 사전학습 및 instruction-tuned 모델로 제공되며, 다양한 활용 사례를 지원할 수 있습니다.
메타는 라마3가 현존하는 동급 규모의 최고 오픈소스 모델이라고 자신하고 있습니다. 사전학습과 사후학습 과정의 개선을 통해 reasoning, 코드 생성, 지시 수행 등의 능력이 크게 향상되었다고 합니다.
또한 라마 3는 공개와 동시에 AWS, GCP, Databricks 등 주요 클라우드 업체들과 협력해 바로 사용할 수 있도록 했습니다. 또한 검열 수준을 낮추고, 몇 달 내 더 긴 컨텍스트와 추가 모델 크기도 공개할 예정이라고 합니다. 라마3의 주요 특징은 다음과 같습니다:
- 8B, 70B 등 다양한 모델 크기 제공
- 기존 모델 대비 성능 대폭 향상
- 오픈소스로 공개되어 누구나 사용 가능
- 로컬 PC에서 실행 가능
라마3(Llama 3)에서 새로운점
라마3는 라마2 대비 여러가지 개선점이 있습니다:
- 토크나이저 개선: 128K 토큰의 vocabulary로 언어를 더 효율적으로 인코딩해 성능 향상
- 추론 효율성 개선: 8B, 70B 모델 모두 Grouped Query Attention(GQA) 적용
- 대규모 사전학습 확장: 15조 토큰 이상으로 학습, 라마2 대비 7배 이상 데이터셋 증가
- Instruction-tuning 혁신: SFT, Rejection Sampling, PPO, DPO 기법 활용한 정교한 모델 얼라인먼트
이미지 출처: Meta AI Blog
라마3(Llama 3)의 목표
메타는 라마3 개발에 있어 다음과 같은 목표를 가지고 있습니다:
- 현존 최고 수준의 독점 모델에 필적하는 최상의 오픈소스 모델 구축
- 개발자 피드백을 반영해 라마3의 전반적인 유용성 증대
- LLM의 책임감있는 사용과 배포를 주도하는 역할 수행
- 개발 중인 모델을 조기에 공개해 커뮤니티의 접근성 향상
메타는 텍스트 기반 라마3 모델을 시작으로, 향후 다국어/멀티모달 지원, 컨텍스트 확장, 전반적 성능 고도화 등을 계획하고 있습니다.
라마3 (Llama 3) 사용법
라마3의 강력한 기능을 실제로 활용하고자 할 때, 다양한 방식으로 Llama3을 사용하는 방법을 참조할 수 있습니다. 이 글에서는 메타가 제공하는 서비스 외에도, 허깅페이스와 같은 오픈소스 커뮤니티를 통해 어떻게 라마3를 사용할 수 있는지 소개하고 있습니다. 로컬 PC에서 직접 실행하는 방법부터 클라우드 환경에서의 구현까지, 라마3를 활용할 수 있는 다양한 경로를 제공하여 사용자가 선택할 수 있는 폭을 넓혀 줍니다.
허깅페이스에서 라마3 사용하기
허깅페이스(Hugging Face)는 대표적인 오픈소스 AI 커뮤니티로, 다양한 언어 모델을 직접 사용해볼 수 있는 기회를 제공합니다. 허깅페이스의 허깅챗(HuggingChat) 사이트에 접속해 라마3 모델을 선택하면, 챗GPT처럼 자연어로 입력하고 응답을 받을 수 있습니다. 이를 통해 사용자는 다양한 주제에 대해 대화를 나눌 수 있으며, 한국어 질문에도 답변을 할 수 있습니다. 아래 이미지는 허깅챗에서 라마3 모델을 선택하는 화면을 보여줍니다.
현재 라마3의 한국어 성능은 영어에 비해 다소 부족하지만, 한국어 데이터 파인튜닝이 이뤄지면 성능이 향상될 것으로 기대됩니다. 라마3 모델을 직접 체험해보고 싶다면 아래 링크를 통해 허깅페이스의 라마3 채팅 페이지에 접속해보세요.
허깅페이스에서는 라마3 모델을 이용하여 간단하게 대화형 AI를 경험할 수 있으며, 개발자들이 쉽게 접근하여 실험할 수 있도록 지원하고 있습니다. 메타는 이를 통해 LLM의 적용 범위를 확장하고자 하며, 더 많은 사용자가 AI의 혜택을 경험할 수 있도록 하고 있습니다. 이 글을 통해 라마3의 다양한 사용법을 알아보고, 여러분의 프로젝트에 어떻게 적용할 수 있는지 탐색해 보세요. 여기를 클릭하여 라마3 사용법을 확인해 보세요.
라마3(Llama 3) 모델 아키텍처
라마3는 비교적 표준적인 디코더 전용 트랜스포머 아키텍처를 채택했습니다. 주요 특징은 다음과 같습니다:
- 128K 토큰의 vocabulary로 언어를 효율적으로 인코딩
- 8B, 70B 모델 모두 Grouped Query Attention(GQA) 적용해 추론 효율성 개선
- 8,192 토큰 시퀀스로 학습, self-attention이 문서 경계를 넘지 않도록 마스킹 처리
학습 데이터로는 공개 출처에서 수집한 15조 이상의 토큰을 활용했습니다. 30개 이상 언어의 고품질 비영어 데이터도 5% 이상 포함되어 있습니다.
품질 관리를 위해 휴리스틱/NSFW 필터링, 시맨틱 중복제거, 텍스트 분류기 등을 활용한 정교한 데이터 필터링 파이프라인을 개발 적용했습니다.
라마3(Llama 3)로 개발하기
메타는 라마3 모델이 최대한 유용하면서도 책임감있게 배포될 수 있도록 업계를 선도 할만한 접근 방식을 채택했습니다. 이를 위해 라마 개발과 배포에 있어 새로운 시스템 레벨의 접근법을 도입했습니다.
이미지 출처: Meta AI Blog
메타는 라마 모델을 개발자가 주도권을 갖는 더 큰 시스템의 일부로 생각합니다. 개발자는 라마 모델을 기반으로 자신만의 고유한 목표에 맞는 시스템을 설계할 수 있습니다.
Instruction-tuning도 모델의 안전성 확보에 중요한 역 할을 합니다. 메타의 instruction-tuned 모델은 내외부의 red teaming을 통해 안전성을 테스트 받았습니다.
Red teaming에서는 전문가와 자동화 방법을 활용해 문제가 될 만한 프롬프트를 생성하고 모델의 응답을 평가합니다. 화학, 생물학, 사이버 보안 등 다양한 분야에서의 오용 리스크를 종합적으로 평가하고, 이를 반영해 모델을 안전하게 파인튜닝 합니다. 자세한 내용은 모델 카드에서 확인할 수 있습니다.
Llama Guard 모델은 프롬프트 및 응답 안전성을 위한 기반이 되며, 애플리케이션 필요에 따라 새로운 분류체계를 만들도록 쉽게 파인튜닝 될 수 있습니다.
Llama Guard 2는 업계 표준 수립을 지원하기 위해 최근 발표된 MLCommons 분류체계를 사용합니다.
CyberSecEval 2는 LLM의 코드 인터프리터 악용 가능성, 공격적인 사이버 보안 기능, 프롬프트 인젝션 공격 취약성 등을 평가하는 기능을 추가했습니다. (기술 논문 참고)
Code Shield는 LLM이 생성한 안전하지 않은 코드를 추론 시점에 필터링하는 기능을 제공합니다. 이를 통해 안전하지 않은 코드 제안, 코드 인터프리터 악용, 안전한 명령 실행 등의 리스크를 완화할 수 있습니다.
생성형 AI 분야가 빠르게 발전하고 있는 만큼, 메타는 오픈 접근법이 생태계를 하나로 모으고 잠재적 위험을 완화하는 중요한 방법이라고 믿습니다.
이에 LLM을 책임감있게 개발하기 위 한 포괄적인 가이드인 Responsible Use Guide를 업데이트 했습니다.
RUG에서 권장하는 바와 같이, 모든 입력과 출력은 애플리케이션에 적합한 콘텐츠 가이드라인에 따라 검사되고 필터링 되어야 합니다. 또한 많은 클라우드 서비스 제공업체들이 콘텐츠 중재 API 등 책임감있는 배포를 위한 도구를 제공하므로, 개발자들이 이를 활용하는 것도 좋습니다.
확장 가능한 라마3(Llama 3) 배포
라마3는 AWS, Google Cloud, Azure, Hugging Face 등 주요 플랫폼에서 곧 사용 가능할 예정입니다.
개선된 토크나이저 효율성과 GQA 적용으로 라마2 대비 추론 속도를 유지하면서도 더 큰 모델 활용이 가능해졌습니다.
파인튜닝, 배포, 평가 등에 활용할 수 있는 오픈소스 코드는 Llama Recipes에서 확인할 수 있습니다.
라마3 시작해보기
메타는 최신 라마3 모델을 자사 AI 어시스턴트인 Meta AI에 통합했습니다. 현재 Meta AI는 전세계 주요 국가에서 페이스북, 인스타그램, 왓츠앱, 메신저 등을 통해 사용 가능합니다.
라마3 모델은 라마3 웹사이트에서 다운로드 받을 수 있으며, Getting Started 가이드를 참고해 개발을 시작해볼 수 있습니다.
"우리는 라마3의 지속적인 성장과 발전을 위해 오픈소스 AI 생태계에 전념하고 있습니다. 개방성이 더 나은 제품, 빠른 혁신, 건강한 시장으로 이어진다고 믿습니다." - Meta AI 블로그
메타 라마3의 등장으로 자연어 AI 기술이 한층 더 발전할 것으로 기대됩니다. 개발자 여러분도 라마3를 활용해 혁신적인 제품과 서비스를 만들어보시기 바랍니다!
본 문서는 Meta AI 블로그의 내용을 기반으로 작성되었습니다.