大语言模型微调实战指南

📖 概述

大语言模型（LLM）微调是将预训练的大模型适配到特定下游任务的关键技术。本教程将系统讲解当前最先进的参数高效微调（PEFT）方法，帮助你在有限计算资源下实现高质量的模型定制。

🎯 前置知识

⚙️ 环境准备

1. 安装依赖库

bash
pip install torch transformers datasets peft accelerate bitsandbytes
pip install trl wandb sentencepiece protobuf

2. 验证环境

python
import torch
print(f"PyTorch版本: {torch.__version__}")
print(f"CUDA可用: {torch.cuda.is_available()}")
print(f"CUDA版本: {torch.version.cuda}")
print(f"GPU数量: {torch.cuda.device_count()}")

📊 数据准备

高质量的数据是微调成功的关键。我们将使用Alpaca格式的指令微调数据。

数据格式示例

json
{
  "instruction": "解释什么是LoRA微调技术",
  "input": "",
  "output": "LoRA（Low-Rank Adaptation）是一种参数高效微调技术..."
}

python
from datasets import load_dataset, Dataset
import json

def format_alpaca_prompt(instruction, input_text, output):
    if input_text:
        prompt = f"### Instruction:\n{instruction}\n\n### Input:\n{input_text}\n\n### Response:\n"
    else:
        prompt = f"### Instruction:\n{instruction}\n\n### Response:\n"
    return {"text": prompt + output}

# 加载并处理数据
dataset = load_dataset("json", data_files="your_data.json")
formatted_dataset = dataset.map(lambda x: format_alpaca_prompt(
    x["instruction"], x.get("input", ""), x["output"]
))

🔧 LoRA微调

LoRA通过在原始权重矩阵旁路添加低秩矩阵来进行微调，大幅减少可训练参数。

LoRA配置

python
from peft import LoraConfig, get_peft_model, TaskType

# LoRA配置参数
lora_config = LoraConfig(
    r=16,                    # 低秩矩阵维度
    lora_alpha=32,          # 缩放参数
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
    lora_dropout=0.05,      # Dropout率
    bias="none",
    task_type=TaskType.CAUSAL_LM
)

# 应用LoRA到基础模型
model = get_peft_model(base_model, lora_config)
model.print_trainable_parameters()  # 查看可训练参数量

🚀 QLoRA高效微调

QLoRA结合4-bit量化和双量化技术，可在单张消费级GPU上微调65B参数模型。

4-bit量化配置

python
from transformers import BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,      # 嵌套量化
    bnb_4bit_quant_type="nf4",           # 4-bit量化类型
    bnb_4bit_compute_dtype=torch.bfloat16
)

# 加载量化模型
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b-hf",
    quantization_config=bnb_config,
    device_map="auto",
    trust_remote_code=True
)

📈 训练技巧

训练参数配置

python
from transformers import TrainingArguments
from trl import SFTTrainer

training_args = TrainingArguments(
    output_dir="./results",
    num_train_epochs=3,
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    learning_rate=2e-4,
    warmup_steps=100,
    logging_steps=10,
    save_strategy="epoch",
    fp16=True,
    optim="paged_adamw_8bit",  # 分页优化器减少内存
    lr_scheduler_type="cosine"
)

trainer = SFTTrainer(
    model=model,
    args=training_args,
    train_dataset=dataset,
    max_seq_length=512
)

trainer.train()

学习率调度策略对比

🎯 模型部署

合并并保存模型

python
# 合并LoRA权重到基础模型
merged_model = model.merge_and_unload()

# 保存完整模型
merged_model.save_pretrained("./merged_model")
tokenizer.save_pretrained("./merged_model")

# 或者只保存LoRA适配器（推荐）
model.save_pretrained("./lora_adapter")
# 使用时动态加载
model = PeftModel.from_pretrained(base_model, "./lora_adapter")

推理优化

python
# 使用vLLM加速推理
from vllm import LLM, SamplingParams

llm = LLM(model="./merged_model", tensor_parallel_size=1)
sampling_params = SamplingParams(
    temperature=0.7,
    top_p=0.9,
    max_tokens=512
)

outputs = llm.generate(["解释什么是深度学习"], sampling_params)

📦 配套资源