실습 1 — LoRA 붙여 보기

import torch
from transformers import AutoModelForCausalLM

name = "Qwen/Qwen2.5-0.5B-Instruct"
# fp16 으로 불러 메모리를 절반으로 줄인다(4장 "GPU 메모리 어림하기")
model = AutoModelForCausalLM.from_pretrained(name, dtype=torch.float16)
total = sum(p.numel() for p in model.parameters())
print(f"전체 파라미터: {total:,}")

# 어텐션 층의 이름을 확인한다. 첫 블록의 어텐션만 찍어 본다
print(model.model.layers[0].self_attn)

from peft import LoraConfig, get_peft_model

config = LoraConfig(r=8, lora_alpha=16, lora_dropout=0.05,
                    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"], task_type="CAUSAL_LM")
model = get_peft_model(model, config)      # 원래 가중치는 얼리고 LoRA 를 붙인다

# 학습하는 파라미터 / 전체 / 비율을 한 줄로 알려 준다
model.print_trainable_parameters()

# 학습하는 파라미터의 자료형: peft 가 LoRA 만 float32 로 바꿔 둔다
print({p.dtype for p in model.parameters() if p.requires_grad})

# 이름에 lora 가 들어간 파라미터 가운데 첫 블록의 것만 찍는다
for n, p in model.named_parameters():
    if "lora" in n and ".layers.0." in n:
        print(n.replace("base_model.model.model.", ""), tuple(p.shape))

from transformers import AutoModelForCausalLM

base = AutoModelForCausalLM.from_pretrained(name, dtype=torch.float16)
for r in [4, 8, 16, 32]:
    cfg = LoraConfig(r=r, lora_alpha=2 * r, target_modules=["q_proj", "k_proj", "v_proj", "o_proj"], task_type="CAUSAL_LM")
    m = get_peft_model(base, cfg, adapter_name=f"r{r}")    # 같은 모델에 r 별로 따로 붙여 본다
    n = sum(p.numel() for name_, p in m.named_parameters() if f"r{r}" in name_)
    print(f"r = {r:2d}: LoRA 파라미터 {n:,}개")
    base = m.unload()                                        # 붙인 LoRA 를 떼어 원래 모델로 되돌린다