proto.lib

Guided Decoding qua Finite-State Machine

Grammar hoặc JSON schema được biên dịch thành một FSM; tại mỗi bước decode, FSM chỉ cho phép các token hợp lệ theo trạng thái hiện tại.

AI/ML SystemsTrung bình2026-07-15
Guided Decoding qua Finite-State Machine

Tags

#guided-decoding#fsm#structured-output#grammar#logit-masking

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Constrained Decoding theo JSON/Grammar

Kỹ thuật ép mô hình chỉ sinh ra văn bản hợp lệ theo JSON schema hoặc grammar bằng cách che (mask) logits của mọi token vi phạm ở từng bước decode.

#structured-output#constrained-decoding#json-schema#grammar
AI/ML SystemsCơ bản

LLM Tool / Function Calling

Mô hình phát ra một lời gọi hàm có cấu trúc với tên và tham số, ứng dụng thực thi hàm thật rồi đưa kết quả trở lại ngữ cảnh để mô hình tiếp tục trả lời.

#function-calling#tool-use#agent#structured-output
AI/ML SystemsNâng cao

Parse JSON Chưa Đóng Khi Stream Tool Arguments

Khi model trả tool arguments theo stream, JSON thường chưa đóng ngoặc tại mỗi chunk; client cần một parser gia tăng dựng dần object để hiện UI sớm, nhưng chỉ thực thi tool khi JSON đã hoàn chỉnh và hợp lệ theo schema.

#streaming#tool-use#json-parsing#function-calling