proto.lib

Constrained Decoding theo JSON/Grammar

Kỹ thuật ép mô hình chỉ sinh ra văn bản hợp lệ theo JSON schema hoặc grammar bằng cách che (mask) logits của mọi token vi phạm ở từng bước decode.

AI/ML SystemsTrung bình2026-07-13
Constrained Decoding theo JSON/Grammar

Tags

#structured-output#constrained-decoding#json-schema#grammar#llm

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Guided Decoding qua Finite-State Machine

Grammar hoặc JSON schema được biên dịch thành một FSM; tại mỗi bước decode, FSM chỉ cho phép các token hợp lệ theo trạng thái hiện tại.

#guided-decoding#fsm#structured-output#grammar
AI/ML SystemsCơ bản

LLM Tool / Function Calling

Mô hình phát ra một lời gọi hàm có cấu trúc với tên và tham số, ứng dụng thực thi hàm thật rồi đưa kết quả trở lại ngữ cảnh để mô hình tiếp tục trả lời.

#function-calling#tool-use#agent#structured-output
AI/ML SystemsTrung bình

Batch API cho Suy Luận Offline Khối Lượng Lớn

Batch API xử lý khối lượng lớn request không cần realtime: client nộp một file chứa nhiều yêu cầu, provider xử lý bất đồng bộ trong cửa sổ thời gian cam kết, client poll trạng thái rồi tải kết quả về; đổi lại chi phí thấp hơn nhiều, job phải được thiết kế idempotent và có cách xử lý phần thất bại riêng lẻ.

#batch-api#offline-inference#async-processing#cost-optimization