proto.lib

Tensor & Pipeline Parallelism

Chia sẻ model quá lớn cho một GPU: tensor parallelism xẻ ma trận từng layer, pipeline parallelism chia các layer thành stage chạy micro-batch.

AI/ML SystemsNâng cao2026-07-10
Tensor & Pipeline Parallelism

Tags

#tensor-parallelism#pipeline-parallelism#distributed-training#multi-gpu#llm

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Batch API cho Suy Luận Offline Khối Lượng Lớn

Batch API xử lý khối lượng lớn request không cần realtime: client nộp một file chứa nhiều yêu cầu, provider xử lý bất đồng bộ trong cửa sổ thời gian cam kết, client poll trạng thái rồi tải kết quả về; đổi lại chi phí thấp hơn nhiều, job phải được thiết kế idempotent và có cách xử lý phần thất bại riêng lẻ.

#batch-api#offline-inference#async-processing#cost-optimization
AI/ML SystemsTrung bình

Fine-tune hay RAG: Chọn đúng công cụ sửa lỗi

Retrieval bổ sung SỰ KIỆN thay đổi thường xuyên và cần trích dẫn được, còn fine-tuning định hình HÀNH VI (format, văn phong, quy ước ngầm của một domain, việc từ chối đúng thứ cần từ chối) và không theo kịp dữ liệu thay đổi; mặc định trung thực là prompt + retrieval trước, fine-tune khi lỗi mang tính văn phong/cấu trúc, và kết hợp cả hai cho tác vụ hẹp nhưng khối lượng lớn.

#rag#fine-tuning#llm#architecture-decision
AI/ML SystemsTrung bình

Checkpoint và Resume trong Training quy mô lớn

Ở quy mô nghìn GPU, phần cứng hỏng vài giờ một lần nên job phải định kỳ ghi checkpoint gồm trọng số mô hình, trạng thái optimizer, vị trí data loader và RNG state; checkpoint được sharded theo rank và ghi bất đồng bộ để GPU không chờ storage, cho phép resume chính xác sau sự cố.

#checkpointing#fault-tolerance#distributed-training#optimizer-state