HF Hugging Face 완전 가이드

from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
import torch

# 텍스트 생성 파이프라인 — device_map="auto" 로 GPU/CPU 자동 할당
pipe = pipeline(
    "text-generation",
    model="meta-llama/Llama-3.1-8B-Instruct",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [{"role": "user", "content": "파이썬으로 퀵소트를 구현해줘"}]
result = pipe(messages, max_new_tokens=512, temperature=0.7)
print(result[0]["generated_text"][-1]["content"])

from huggingface_hub import InferenceClient

client = InferenceClient(api_key="hf_...")

# 스트리밍 응답 — 실시간 토큰 출력
response = client.chat_completion(
    model="meta-llama/Llama-3.1-70B-Instruct",
    messages=[{"role": "user", "content": "LLM 파인튜닝의 핵심 개념을 설명해줘"}],
    max_tokens=1024,
    stream=True,
)
for chunk in response:
    print(chunk.choices[0].delta.content, end="", flush=True)

from peft import LoraConfig, get_peft_model, TaskType
from transformers import AutoModelForCausalLM
import torch

# LoRA 설정 — r(rank)이 높을수록 표현력↑, 메모리↑
lora_config = LoraConfig(
    r=16,
    lora_alpha=32,                          # 스케일링 팩터 (보통 r의 2배)
    target_modules=["q_proj", "v_proj"],    # 어텐션 쿼리·값 레이어만 학습
    lora_dropout=0.05,
    bias="none",
    task_type=TaskType.CAUSAL_LM,
)

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3.1-8B",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# trainable params: 6,815,744 || all params: 8,036,966,400 || trainable%: 0.08%

from transformers import BitsAndBytesConfig, AutoModelForCausalLM
from peft import LoraConfig, get_peft_model, TaskType, prepare_model_for_kbit_training
import torch

# 4-bit NF4 양자화 설정
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",              # NF4가 fp4보다 성능 우수
    bnb_4bit_compute_dtype=torch.bfloat16,  # 연산은 bfloat16으로 수행
    bnb_4bit_use_double_quant=True,         # 이중 양자화로 추가 절약
)

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3.1-8B",
    quantization_config=bnb_config,
    device_map="auto",
)
# 4-bit 학습을 위한 그라디언트 체크포인트 활성화
model = prepare_model_for_kbit_training(model)

lora_config = LoraConfig(r=64, lora_alpha=16, task_type=TaskType.CAUSAL_LM)
model = get_peft_model(model, lora_config)

from datasets import load_dataset
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3.1-8B-Instruct")

# JSONL 파일 로드 — {"input": ..., "output": ...} 형식
dataset = load_dataset("json", data_files="train.jsonl", split="train")

def format_chat(example):
    messages = [
        {"role": "system",    "content": "당신은 친절한 AI 어시스턴트입니다."},
        {"role": "user",      "content": example["input"]},
        {"role": "assistant", "content": example["output"]},
    ]
    # 모델 전용 채팅 템플릿 적용 (토큰화 없이 문자열 반환)
    return {"text": tokenizer.apply_chat_template(messages, tokenize=False)}

dataset = dataset.map(format_chat, remove_columns=dataset.column_names)
print(dataset[0]["text"][:300])

# OpenAI 호환 클라이언트로 TGI 호출
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8080/v1", api_key="none")

response = client.chat.completions.create(
    model="meta-llama/Llama-3.1-8B-Instruct",
    messages=[{"role": "user", "content": "서울의 날씨는?"}],
    stream=True,
    max_tokens=512,
)
for chunk in response:
    print(chunk.choices[0].delta.content or "", end="", flush=True)

import evaluate

# 메트릭 로드 (최초 실행 시 자동 다운로드)
rouge     = evaluate.load("rouge")
bertscore = evaluate.load("bertscore")

predictions = ["모델이 생성한 요약문입니다."]
references  = ["참조 정답 요약문입니다."]

# ROUGE — 단어 겹침 기반 (빠른 계산)
rouge_result = rouge.compute(predictions=predictions, references=references)
print(rouge_result)
# {'rouge1': 0.82, 'rouge2': 0.71, 'rougeL': 0.79}

# BERTScore — 의미 임베딩 기반 (더 정확, GPU 권장)
bert_result = bertscore.compute(
    predictions=predictions, references=references, lang="ko"
)
print(f"F1: {bert_result['f1'][0]:.4f}")

from smolagents import CodeAgent, DuckDuckGoSearchTool, HfApiModel

# Inference API를 에이전트 LLM으로 사용
model = HfApiModel(model_id="meta-llama/Llama-3.1-70B-Instruct")

agent = CodeAgent(
    tools=[DuckDuckGoSearchTool()],  # 웹 검색 도구
    model=model,
    max_steps=10,
)

# 에이전트가 검색 → 분석 → 코드 생성 → 결과 반환
result = agent.run("최신 LLM 벤치마크 결과를 찾아서 표로 정리해줘")
print(result)