proto.lib

LLM Token Cost Budgeting & Metering

Gateway đo lường và giới hạn ngân sách token/chi phí theo từng khách hàng hoặc dự án, ngăn chặn vượt hạn mức trước khi gọi mô hình đắt tiền.

AI/ML SystemsTrung bình2026-07-15
LLM Token Cost Budgeting & Metering

Tags

#cost-metering#token-budget#llm-gateway#billing#rate-limiting

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Truncation & Pagination cho Tool Result quá lớn

Khi một tool call trả về hàng trăm nghìn token (log dài, file lớn, kết quả query), agent runtime không thể nhồi thẳng vào context; nó phải cắt bớt (head+tail), phân trang qua offset/limit, và trả kèm metadata cho model biết còn bao nhiêu để gọi tiếp.

#agent#tool-use#context-window#truncation
AI/ML SystemsTrung bình

VLM Image Tiling: Đọc Ảnh Độ Phân Giải Cao

Một vision-language model với input cố định 336px không đọc được chữ nhỏ trong screenshot dày đặc; ảnh được chia thành các tile ở độ phân giải gốc cộng một global view thu nhỏ, mỗi tile được encode riêng rồi nối token lại — chữ trở nên rõ nét nhưng số token tăng theo diện tích ảnh, đó là lý do một screenshot cả trang tốn token hơn một tấm ảnh chụp thường.

#vision-language-model#image-tiling#high-resolution#multimodal
AI/ML SystemsTrung bình

Frame Sampling cho VLM: nén 40 phút video vào token budget

Vision-language model chỉ xử lý ảnh tĩnh, nên video dài được rút gọn bằng frame sampling (uniform hoặc theo scene-change/keyframe) tới một token budget cố định, tuỳ chọn caption từng frame thành text để retrieval, và transcript audio được mang kèm song song vì gửi mọi frame là bất khả thi.

#video-understanding#frame-sampling#vlm#keyframe-detection