#
태그: baichuan2
모두 보기 태그.
Fine-tuning 튜토리얼
Baichuan2 Fine-tuning
이 튜토리얼은 MoAI Platform에서 오픈 소스 Baichuan2 13B 모델을 fine-tuning하는 예시를 소개합니다.
Fine-tuning 튜토리얼 • Baichuan2 Fine-tuning
1. Fine-tuning 준비하기
MoAI Platform에서 PyTorch 스크립트 실행 환경을 준비하는 것은 일반적인 GPU 서버에서와 크게 다르지 않습니다. 단, 튜토리얼 진행을 위해 아래의 사양들이 권장됩니다:
Fine-tuning 튜토리얼 • Baichuan2 Fine-tuning
2. Moreh의 학습 코드 톺아보기
학습 데이터를 모두 준비하셨다면 다음으로는 실제 fine-tuning 과정을 실행할 train_baichuan2_13b.py
스크립트의 내용을 살펴 보겠습니다. 이번 단계에서는 MoAI Platform은 pytorch와의 완전한 호환성으로 학습 코드가 일반적인...
Fine-tuning 튜토리얼 • Baichuan2 Fine-tuning
3. 학습 실행하기
이제 실제로 fine tuning을 실행해 보겠습니다.
Fine-tuning 튜토리얼 • Baichuan2 Fine-tuning
4. 학습 결과 확인하기
앞 장과 같이 train_baichuan2_13b.py
스크립트를 실행하면 결과 모델이 baichuan_code_generation
디렉토리에 저장됩니다.
Fine-tuning 튜토리얼 • Baichuan2 Fine-tuning
5. GPU 개수 변경하기
앞과 동일한 fine-tuning 작업을 GPU 개수를 바꾸어 다시 실행해 보겠습니다. MoAI Platform은 GPU 자원을 단일 가속기로 추상화하여 제공하며 자동으로 병렬 처리를 수행합니다.
Fine-tuning 튜토리얼 • Baichuan2 Fine-tuning
6. 마무리
지금까지 MoAI Platform에서 HuggingFace에 공개된 Baichuan2 13B 모델을 fine-tuning하는 과정을 살펴 보았습니다.