# LLM Fine-tuning 파라미터 가이드

이 가이드는 MoAI Platform에서 제공하는 최적의 파라미터이며 사용자 학습시 참고 정보로만 사용해주시기 바랍니다.

MoAI Accelerator 에 명시된 명칭은 사용자가 이용하는 CSP에 따라 다를 수 있습니다.

Model	MoAI Platform version	MoAI Accelerator	Advanced Parallelism is applied	batch size	sequence length	vram Usage	Training Time
Llama3 8B	24.5.0	2xlarge	True	128	1024	867,021 MiB	220m
Llama3 8B	24.5.0	4xlarge	True	256	1024	1,366,564 MiB	140m
Llama3 8B	24.5.0	8xlarge	True	1024	1024	2,089,476 MiB	78m
Llama2 13B	24.5.0	2xlarge	True	128	1024	699,751 MiB	560m
Llama2 13B	24.5.0	4xlarge	True	256	1024	1,121,814 MiB	249m
Llama2 13B	24.5.0	8xlarge	True	512	1024	1,853,432 MiB	144m
Mistral 7B	24.5.0	2xlarge	True	256	1024	762,652 MiB	19m
Mistral 7B	24.5.0	4xlarge	True	512	1024	1,147,841 MiB	15m
Mistral 7B	24.5.0	8xlarge	True	1024	1024	1,112,135 MiB	16m
Qwen1.5 7B	24.5.0	2xlarge	True	128	1024	758,555 MiB	30m
Qwen1.5 7B	24.5.0	4xlarge	True	256	1024	1,403,640 MiB	15m
Qwen1.5 7B	24.5.0	8xlarge	True	512	1024	1,899,079 MiB	14m
Baichuan2 13B	24.5.0	2xlarge	True	128	1024	866,656 MiB	30m
Baichuan2 13B	24.5.0	4xlarge	True	256	1024	1,541,212 MiB	28m
Baichuan2 13B	24.5.0	8xlarge	True	512	1024	2,845,656 MiB	17m
Cerebras GPT 13B	24.5.0	4xlarge	True	16	1024	1,764,955 MiB	81m
Cerebras GPT 13B	24.5.0	8xlarge	True	32	1024	3,460,240 MiB	62m
Cerebras GPT 13B	24.5.0	8xlarge	True	16	2048	1,951,344 MiB	100m

guide