Phần tĩnh lên đầu — cache đọc rẻ hơn ~90%
Đặt system prompt, tài liệu nền, ví dụ lên đầu request và đánh dấu cache. Từ request thứ hai bạn chỉ trả giá phần thay đổi.
Chatbot có 20 trang tài liệu sản phẩm? Cache phần tài liệu — nghìn cuộc hội thoại sau chỉ trả phí câu hỏi mới của người dùng.