proto.lib

RoPE - Rotary Position Embedding & YaRN

RoPE mã hóa vị trí token bằng phép xoay vector trong không gian embedding; YaRN mở rộng context window vượt độ dài huấn luyện ban đầu.

AI/ML SystemsNâng cao2026-07-17
RoPE - Rotary Position Embedding & YaRN

Tags

#rope#positional-encoding#yarn#context-extension#transformer

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

ALiBi - Attention Linear Bias

Thay vì cộng embedding vị trí, ALiBi trừ trực tiếp một độ lệch tuyến tính tỉ lệ với khoảng cách vào điểm attention, giúp ngoại suy tốt sang chuỗi dài hơn.

#alibi#positional-bias#attention#extrapolation
AI/ML SystemsNâng cao

FlashAttention - Attention IO-Aware theo Tile

FlashAttention chia ma trận attention thành các tile nhỏ, tính toán trong SRAM tốc độ cao và tránh phải ghi toàn bộ ma trận N×N ra HBM chậm.

#flash-attention#transformer#gpu-memory#attention
AI/ML SystemsNâng cao

KV Cache trong Attention

KV cache lưu lại key/value của các token trước đó nên mỗi bước decode chỉ cần tính attention cho token mới, thay vì tính lại toàn bộ chuỗi.

#kv-cache#attention#transformer#memory