코드

• 주요 소스 코드 예시

1. LLM 학습 메인 함수

상위 디렉토리의 모듈을 import 가능하도록 경로 설정

sys.path.append(os.path.abspath(os.path.join(os.path.dirname(file), "..")))

def main():

print("LLM 학습 시작")

try:

1. 토크나이저 로딩 (HuggingFace AutoTokenizer)

tokenizer = get_tokenizer()

2. 전처리된 데이터셋 로딩 (tokenized dataset 반환)

dataset = get_tokenized_dataset(tokenizer)

3. LoRA 적용 모델 로딩 (기존 모델에 adapter 적용)

model = get_model()

4. 학습 파라미터 로딩 (batch_size, lr 등 포함)

training_args = get_training_arguments()

5. HuggingFace SFTTrainer 생성

trainer = SFTTrainer(

model=model,