proto.lib

Late Chunking - Embedding trước, cắt đoạn sau

Encode toàn bộ tài liệu bằng mô hình long-context trước, rồi mới pooling từng chunk để giữ ngữ cảnh toàn cục.

AI/ML SystemsTrung bình2026-07-15
Late Chunking - Embedding trước, cắt đoạn sau

Tags

#late-chunking#embeddings#long-context#rag#chunking

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsCơ bản

Chiến lược Chunking cho RAG

So sánh các cách chia nhỏ tài liệu cho hệ thống RAG: chia cố định, chia theo ngữ nghĩa, và chia có overlap để giữ ngữ cảnh.

#rag#chunking#embeddings#retrieval
AI/ML SystemsTrung bình

Suy giảm Retrieval khi Context quá dài

Cửa sổ ngữ cảnh lớn hơn không đồng nghĩa mô hình 'nhớ' tốt hơn: khi nhồi hàng trăm chunk, độ chú ý (attention) tới thông tin nằm ở GIỮA ngữ cảnh suy giảm, các đoạn gây nhiễu (distractor) cạnh tranh với đoạn đúng, còn chi phí và độ trễ tăng tuyến tính theo số token.

#long-context#retrieval#attention#context-window
AI/ML SystemsTrung bình

TTS Streaming Synthesis: Nói Trước Khi Câu Viết Xong

Text đến dần từ LLM được chunk tại các điểm ranh giới an toàn (sau dấu phẩy, hết một cụm từ, không cắt giữa từ), mỗi chunk được synthesize thành audio và stream ngay tới player, player buffer vừa đủ để chống jitter — nhờ vậy time-to-first-audio chỉ vài trăm milliseconds thay vì phải chờ hết cả câu.

#text-to-speech#streaming-synthesis#low-latency#chunking