transformers, diffusers, peft Model

 

✅ 1. transformers: 언어 모델의 핵심 라이브러리

🔹 한 줄 설명:

BERT, GPT, LLaMA, Mistral 등 다양한 NLP 모델을 쉽게 불러와서 학습/추론할 수 있게 해주는 라이브러리

💡 주요 기능

• 모델 불러오기: from_pretrained()
• 토크나이저: 문장 → 숫자 토큰 변환
• 추론 / 파인튜닝 / 생성 모두 지원

예시:

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.2")
model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-Instruct-v0.2")

inputs = tokenizer("Hello, who are you?", return_tensors="pt")
outputs = model.generate(**inputs)
print(tokenizer.decode(outputs[0]))

---

✅ 2. diffusers: 이미지/영상 생성 모델 라이브러리

🔹 한 줄 설명:

Stable Diffusion, ControlNet, LoRA 등 텍스트-투-이미지/비디오 생성 모델을 쉽게 실행하고 확장할 수 있게 하는 라이브러리

💡 주요 기능

• 텍스트 → 이미지 생성 (Stable Diffusion)
• 이미지 → 비디오 (AnimateDiff 등)
• 이미지 편집 (Inpainting, Depth2Img 등)
• 모델 미세조정도 지원

예시:

from diffusers import StableDiffusionPipeline

pipe = StableDiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-2-1")
pipe.to("cuda")
image = pipe("a cat wearing sunglasses").images[0]
image.show()

---

✅ 3. peft: LoRA 기반 파인튜닝 전용 라이브러리

🔹 한 줄 설명:

LoRA(경량 파인튜닝)로 거대한 LLM이나 이미지 모델을 빠르고 효율적으로 미세조정할 수 있게 도와주는 Hugging Face 전용 라이브러리

💡 주요 기능

• LoRA / Prefix Tuning / Prompt Tuning 등 지원
• transformers와 통합 가능
• GPU 메모리를 적게 사용하며 고성능 모델 미세조정 가능

예시:

from peft import get_peft_model, LoraConfig, TaskType

config = LoraConfig(
    r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"],
    task_type=TaskType.CAUSAL_LM, lora_dropout=0.1
)

model = get_peft_model(base_model, config)

---

📊 비교 요약표

라이브러리 주요 역할 대표 사용 모델

transformers	NLP 텍스트 생성/이해	GPT, BERT, LLaMA
diffusers	이미지/비디오 생성	Stable Diffusion, ControlNet
peft	LoRA 기반 경량 미세조정	모든 모델 (텍스트/이미지 모두 가능)

---

🧠 공부 팁

단계 목표 리소스

1	transformers 기본 파이프라인 실행	공식 튜토리얼
2	diffusers로 이미지 생성해보기	diffusers quickstart
3	peft로 LoRA 적용된 모델 불러보기	peft docs

---

원하시면 이 3개를 연계한 통합 실습 코드 예제 또는 학습 로드맵 엑셀표도 만들어 드릴 수 있습니다. 어떤 형식이 더 도움이 될까요?