# 태그: llama2

이 튜토리얼은 MoAI Platform에서 오픈 소스 LLama3-70B 모델을 fine-tuning하는 예시를 소개합니다.

이제 실제로 fine tuning을 실행해 보겠습니다.

이 튜토리얼은 MoAI Platform에서 오픈 소스 Llama2 13B 을 fine-tuning하는 예시를 소개합니다. 튜토리얼을 통해 아래와 같은 MoAI Platform이 제공하는 여러 기능을 체험하며, AMD GPU 클러스터를 사용하는 방법을 익힐 수 있습니다.

MoAI Platform에서 PyTorch 스크립트 실행 환경을 준비하는 것은 일반적인 GPU 서버에서와 크게 다르지 않습니다. 단, 튜토리얼 진행을 위해 아래의 사양들이 권장됩니다:

학습 데이터를 모두 준비하셨다면 다음으로는 실제 fine-tuning 과정을 실행할 train_llama2.py 스크립트의 내용에 대해 살펴보겠습니다.

이제 실제로 fine tuning을 실행해 보겠습니다.

앞 장과 같이 train_llama2.py 스크립트를 실행하면 결과 모델이 llama2_summarization 디렉토리에 저장됩니다. 이는 순수한 PyTorch 모델 파라미터 파일로 MoAI Platform이 아닌 일반 GPU 서버에서도 완벽하게 호환됩니다.

앞과 동일한 fine-tuning 작업을 GPU 개수를 바꾸어 다시 실행해 보겠습니다. MoAI Platform은 GPU 자원을 단일 가속기로 추상화하여 제공하며 자동으로 병렬 처리를 수행합니다.

지금까지 MoAI 플랫폼에서 Llama2 13B 로 텍스트 요약 작업을 할 때 fine-tuning 하는 과정을 살펴보았습니다. Llama와 같은 오픈 소스 대형 언어 모델(LLM)은 요약, 질문 답변 등 다양한 자연어 처리 작업에 활용될 수 있습니다.