proto.lib

Multi-LoRA Batched Serving

Nhiều adapter LoRA khác nhau được gộp chung một batch trên cùng base model, mỗi request áp dụng adapter riêng qua kernel nhân ma trận phân biệt.

AI/ML SystemsNâng cao2026-07-15
Multi-LoRA Batched Serving

Tags

#lora#multi-tenant#batching#adapter-serving#gpu-kernel

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

Catastrophic Forgetting khi Fine-tune Liên Tục

Fine-tune trên một tác vụ hẹp dịch chuyển trọng số và làm suy giảm năng lực chung của model; để giảm quên, người ta trộn lại dữ liệu gốc (replay), dùng learning rate thấp với ít epoch, hoặc đóng băng base model và đặt năng lực mới vào adapter, đồng thời luôn chạy lại bộ eval tổng quát chứ không chỉ tác vụ vừa tune.

#catastrophic-forgetting#continual-learning#fine-tuning#replay-buffer
AI/ML SystemsTrung bình

QLoRA - Fine-tune 4-bit với LoRA

QLoRA lượng tử hóa base model về 4-bit và đóng băng, chỉ huấn luyện một adapter LoRA nhỏ ở độ chính xác cao hơn.

#qlora#lora#quantization#fine-tuning
AI/ML SystemsNâng cao

Chunked Prefill - chia nhỏ prefill để tránh chặn decode

Prefill của request dài được chia thành nhiều chunk nhỏ, xen kẽ với các bước decode của request khác để giảm độ trễ đuôi (tail latency).

#chunked-prefill#llm-serving#scheduling#latency