RoPE - Rotary Position Embedding & YaRN
Xoay vector để mã hóa vị trí, YaRN kéo dài context
0.6×
1×
1.6×
2.4×
Phím tắt: ←/→ từng bước · Space tự chạy/tạm dừng