#
태그: llama3_70b
모두 보기 태그.
Fine-tuning 튜토리얼 • Llama3 70B Fine-tuning
1. MoAI Platform 병렬화 - Llama3 70B
Llama3 70B 모델 전체를 파인튜닝하기 위해서는 필수적으로 다중 GPU를 사용해야 하며, 텐서 병렬화(Tensor Parallelism), 파이프라인 병렬화(Pipeline Parallelism), 데이터 병렬화(Data Parallelism) 등의 병렬화를...
Fine-tuning 튜토리얼 • Llama3 70B Fine-tuning
2. Fine-tuning 준비하기
원활한 튜토리얼 진행을 위해 아래의 사양들이 권장됩니다.
Fine-tuning 튜토리얼 • Llama3 70B Fine-tuning
4. 마무리
지금까지 MoAI Platform에서 Llama3-70b 모델을 fine-tuning하는 과정을 살펴 보았습니다. MoAI 플랫폼을 사용한다면 여러분이 1개, 4개, 100개 등 모든 개수의 GPU를 코드 변경 없이 손쉽게 설정할 수 있습니다.