Claude cho Agent: Retrieval strategies cho Vietnamese content

Retrieval-Augmented Generation (RAG) là kỹ thuật quan trọng giúp AI agents truy xuất thông tin từ cơ sở dữ liệu riêng trước khi trả lời. Tuy nhiên, tiếng Việt có nhiều đặc điểm ngôn ngữ đặc thù — hệ thống dấu thanh, từ ghép nhiều âm tiết, và cấu trúc câu linh hoạt — khiến việc retrieval trở nên phức tạp hơn so với tiếng Anh. Bài viết này đi sâu vào các chiến lược retrieval tối ưu cho nội dung tiếng Việt khi xây dựng AI agents với Claude.

Thách thức của Retrieval tiếng Việt

Trước khi bàn chiến lược, cần hiểu rõ các thách thức đặc thù:

• Dấu thanh và encoding: "Việt Nam", "Việt nam", "VIỆT NAM", "vietnam" đều chỉ cùng một thực thể nhưng có thể bị xử lý khác nhau
• Từ ghép: "học sinh" là một từ ghép, không phải hai từ riêng lẻ "học" và "sinh"
• Đồng âm khác nghĩa: "lá" có thể là lá cây, là (thì), là (vật liệu) tùy ngữ cảnh
• Viết tắt và thiếu dấu: Người dùng thường viết không dấu: "không biết" thành "khong biet" hoặc "ko biet"
• Code-switching: Nội dung tiếng Việt thường pha trộn tiếng Anh, đặc biệt trong lĩnh vực công nghệ

Kiến trúc RAG Pipeline cho tiếng Việt

Hay thiet ke kien truc RAG pipeline toi uu cho noi dung tieng Viet:

Yeu cau:
- Corpus: [mo ta, vi du: 10,000 van ban phap luat VN]
- Ngon ngu: tieng Viet (co pha tieng Anh)
- Use case: [mo ta, vi du: chatbot tu van phap luat]
- Do chinh xac can thiet: cao (legal domain)
- Latency target: duoi 3 giay

Hay thiet ke:

1. INGESTION PIPELINE
   Input -> Text Extraction -> Cleaning -> Chunking ->
   Embedding -> Vector Store

2. RETRIEVAL PIPELINE
   Query -> Query Processing -> Vector Search ->
   Reranking -> Context Assembly -> LLM Generation

3. COMPONENTS CHI TIET
   - Text extraction: xu ly PDF, DOCX, HTML tieng Viet
   - Cleaning: normalize dau thanh, xu ly encoding
   - Chunking strategy: cach chia van ban tieng Viet
   - Embedding model: model nao tot cho tieng Viet?
   - Vector store: chon vector database
   - Reranker: model reranking cho tieng Viet
   - LLM: Claude voi system prompt tieng Viet

4. EVALUATION
   - Metrics danh gia retrieval quality
   - Test set cho tieng Viet
   - Cach do luong va cai thien

Chunking Strategies cho tiếng Việt

Hay phan tich cac chien luoc chunking cho van ban tieng Viet:

1. FIXED-SIZE CHUNKING
   - Kich thuoc chunk toi uu cho tieng Viet (tokens vs characters)
   - Overlap bao nhieu la du?
   - Van de: cat giua cau, giua tu ghep
   - Khi nao nen dung: corpus lon, general purpose

2. SENTENCE-BASED CHUNKING
   - Sentence splitting cho tieng Viet
   - Cac ky tu ket thuc cau trong tieng Viet
   - Xu ly viet tat (TP.HCM, PGS.TS)
   - So luong cau toi uu moi chunk
   - Van de: cau tieng Viet co do dai rat khac nhau

3. SEMANTIC CHUNKING
   - Dung embedding de xac dinh ranh gioi ngu nghia
   - Khi nao nen dung
   - Chi phi tinh toan
   - Phu hop voi noi dung nao

4. RECURSIVE CHUNKING
   - Chia theo cau truc: heading -> paragraph -> sentence
   - Phu hop voi van ban co cau truc (luat, bao cao)
   - Implementation

5. DOCUMENT-SPECIFIC CHUNKING
   - Van ban phap luat: chia theo dieu, khoan, diem
   - Bao chi: chia theo phan, doan
   - Ky thuat: chia theo section, subsection
   - Chat logs: chia theo conversation turn

6. VI DU CU THE
   Cho doan van ban tieng Viet mau, trinh bay cach
   chia theo tung chien luoc va ket qua.

De xuat chien luoc phu hop cho [use case].

Embedding Models cho tiếng Việt

So sanh cac embedding models cho noi dung tieng Viet:

1. MULTILINGUAL MODELS
   - text-embedding-3-large (OpenAI)
   - Voyage AI multilingual
   - Cohere embed-multilingual
   - BGE-M3 (BAAI)
   - E5-mistral-7b-instruct

   Voi moi model:
   - Hieu suat voi tieng Viet
   - Kich thuoc vector
   - Chi phi
   - Toc do
   - Context window

2. VIETNAMESE-SPECIFIC MODELS
   - PhoBERT embeddings
   - ViSoBERT
   - Vietnamese sentence-transformers
   - Cac model tu cong dong VN

   Voi moi model:
   - Du lieu training
   - Benchmark scores cho tieng Viet
   - Cach su dung

3. BENCHMARKING
   - Cach benchmark embedding model cho tieng Viet
   - Dataset benchmarking
   - Metrics: MRR, NDCG, Recall@k
   - Test cases dac thu tieng Viet

4. DE XUAT
   - Model nao tot nhat cho [use case]?
   - Trade-off giua chat luong va chi phi
   - Khi nao nen fine-tune vs dung off-the-shelf

Query Processing cho tiếng Việt

Hay thiet ke query processing pipeline cho truy van tieng Viet:

1. QUERY NORMALIZATION
   - Unicode normalization (NFC vs NFD)
   - Chuan hoa dau thanh
   - Xu ly query khong dau -> co dau
   - Lowercase normalization
   - Bo ky tu dac biet

2. QUERY EXPANSION
   - Tu dong nghia tieng Viet
   - Viet tat -> day du (BHXH -> Bao hiem xa hoi)
   - Tieng Anh -> tieng Viet (va nguoc lai)
   - Cac bien the cua cung mot khai niem

3. QUERY DECOMPOSITION
   - Tach cau hoi phuc tap thanh nhieu sub-queries
   - Vi du: "So sanh thue TNCN cua VN va Singapore"
     -> "Thue TNCN Viet Nam" + "Thue TNCN Singapore"
   - Khi nao nen decompose?

4. HYPOTHETICAL DOCUMENT EMBEDDING (HyDE)
   - Dung Claude tao "cau tra loi gia dinh"
   - Embed cau tra loi gia dinh de tim tai lieu tuong tu
   - Hieu qua voi tieng Viet nhu the nao?

5. MULTI-QUERY RETRIEVAL
   - Tao nhieu phien ban cua cung mot query
   - Merge ket qua tu nhieu queries
   - De-duplication

Vi du: cho query "lam the nao de dang ky kinh doanh online",
trinh bay tung buoc xu ly.

Vector Database và Indexing

Hay tu van chon va cau hinh vector database cho tieng Viet:

Yeu cau:
- So luong documents: [so, vi du: 100,000]
- Embedding dimension: [so, vi du: 1536]
- QPS target: [so]
- Latency target: [ms]

1. SO SANH VECTOR DATABASES
   - Pinecone: managed, de dung, chi phi
   - Weaviate: hybrid search (vector + keyword)
   - Qdrant: performance, filtering
   - Milvus: scalability, on-premise
   - ChromaDB: lightweight, local development
   - pgvector: tich hop PostgreSQL

2. HYBRID SEARCH
   - Ket hop vector search va keyword search
   - BM25 cho tieng Viet: can word segmentation
   - Tools word segmentation: VnCoreNLP, Underthesea
   - Trong so giua vector va keyword search
   - Khi nao hybrid search vuot troi?

3. METADATA FILTERING
   - Filter theo language, date, source, category
   - Pre-filtering vs post-filtering
   - Impact len performance

4. INDEXING STRATEGY
   - Index type: HNSW, IVF, flat
   - Parameters toi uu cho tieng Viet embeddings
   - Re-indexing strategy khi co du lieu moi

Reranking cho tiếng Việt

Hay thiet ke reranking pipeline cho ket qua retrieval tieng Viet:

1. TAI SAO CAN RERANKING
   - Vector search tra ve top-k tuong tu nhung khong phai luc nao
     cung phu hop nhat
   - Reranking xep lai thu tu dua tren relevance chinh xac hon
   - Bi-encoder (embedding) vs Cross-encoder (reranker)

2. RERANKING MODELS
   - Cohere Rerank multilingual
   - BGE-reranker
   - Cross-encoder models
   - Claude as reranker (dung prompt de xep hang)

3. CLAUDE AS RERANKER
   Prompt mau:
   "Cho cau hoi: [query]
   Xep hang cac doan van ban sau theo muc do lien quan:
   [doc 1], [doc 2], ..., [doc k]
   Tra ve thu tu tu lien quan nhat den it lien quan nhat."

   - Khi nao nen dung Claude de rerank?
   - Chi phi va latency
   - So sanh voi dedicated reranker

4. CONTEXTUAL COMPRESSION
   - Sau khi rerank, nen trich xuat phan lien quan nhat
   - Giam context length gui cho Claude
   - Toi uu chi phi API

5. EVALUATION
   - Cach danh gia reranking cho tieng Viet
   - A/B testing retrieval quality
   - Feedback loop tu nguoi dung

Xử lý đặc thù tiếng Việt trong RAG

Hay giai quyet cac van de dac thu tieng Viet trong RAG:

1. WORD SEGMENTATION
   - Tai sao can tach tu cho tieng Viet?
   - Tools: VnCoreNLP, Underthesea, PyVi
   - So sanh hieu suat va toc do
   - Khi nao can va khong can tach tu?
   - Anh huong den retrieval quality

2. DIACRITICS HANDLING
   - Input khong dau -> search co dau
   - Fuzzy matching cho tieng Viet
   - Indexing voi va khong dau
   - Cach xu ly: normalize -> search -> return original

3. MIXED LANGUAGE
   - Van ban pha tieng Viet va tieng Anh
   - Embedding model nao xu ly tot?
   - Chunking: tach hay giu nguyen?
   - Query tieng Viet tim tai lieu tieng Anh (va nguoc lai)

4. DOMAIN-SPECIFIC TERMINOLOGY
   - Thuat ngu chuyen nganh: phap luat, y te, tai chinh
   - Viet tat nganh: BHXH, TNCN, GTGT, GDP
   - Tu vay muon tu tieng Anh
   - Custom vocabulary va synonym dictionaries

5. HISTORICAL TEXT
   - Van ban cu dung chinh ta cu
   - Han Nom va Quoc Ngu
   - OCR errors trong van ban scan

Evaluation Framework

Hay xay dung framework danh gia RAG cho tieng Viet:

1. RETRIEVAL METRICS
   - Precision@k: bao nhieu ket qua tra ve la dung?
   - Recall@k: bao nhieu tai lieu lien quan duoc tim thay?
   - MRR (Mean Reciprocal Rank)
   - NDCG (Normalized Discounted Cumulative Gain)

2. GENERATION METRICS
   - Faithfulness: cau tra loi co dung voi context khong?
   - Relevance: cau tra loi co tra loi dung cau hoi khong?
   - Hallucination rate
   - Vietnamese-specific: dau thanh dung, ngu phap dung

3. TAO TEST SET
   - Cach tao ground truth cho tieng Viet
   - So luong test cases can thiet
   - Phan loai theo do kho: de, trung binh, kho
   - Edge cases rieng cho tieng Viet

4. AUTOMATED EVALUATION
   - Dung Claude de danh gia chat luong (LLM-as-judge)
   - Prompt danh gia cho tieng Viet
   - So sanh voi danh gia cua nguoi

5. CONTINUOUS MONITORING
   - Metrics can theo doi trong production
   - Degradation detection
   - User feedback collection
   - A/B testing framework

Production RAG System cho tieng Viet

Hay thiet ke production-ready RAG system:

1. ARCHITECTURE
   - Microservices vs monolith
   - Async processing pipeline
   - Caching strategy
   - Load balancing

2. SCALING
   - Horizontal scaling cho retrieval
   - Embedding batch processing
   - Rate limiting va queue management
   - Cost optimization (cache, batching)

3. OBSERVABILITY
   - Logging: queries, retrieved docs, generated answers
   - Metrics: latency, quality scores, costs
   - Tracing: end-to-end request tracing
   - Dashboards va alerts

4. DATA PIPELINE
   - Incremental indexing
   - Document versioning
   - Stale content detection
   - Pipeline orchestration (Airflow, Prefect)

5. SECURITY
   - Access control cho documents
   - PII detection va filtering trong tieng Viet
   - Audit logging
   - Data residency (du lieu VN o VN)

Case Study: RAG cho van ban phap luat Viet Nam

Hay thiet ke RAG system cho chatbot tu van phap luat VN:

Corpus:
- 50,000 van ban phap luat (luat, nghi dinh, thong tu)
- Cap nhat hang tuan khi co van ban moi
- Dinh dang: PDF, DOCX, HTML

Yeu cau dac biet:
- Phai trich dan chinh xac dieu, khoan, diem
- Phai xac dinh van ban con hieu luc hay da het hieu luc
- Nguoi dung co the hoi khong dau
- Can tra loi chinh xac, khong duoc suy doan

Thiet ke:
1. Chunking: theo dieu/khoan thay vi fixed-size
2. Metadata: so hieu, ngay ban hanh, co quan, trang thai hieu luc
3. Retrieval: hybrid search (BM25 + vector)
4. Reranking: cross-encoder + Claude verification
5. Generation: Claude voi instructions khong hallucinate
6. Citation: link den nguon van ban goc

Prompt Engineering cho RAG tieng Viet

Hay thiet ke system prompt cho Claude trong RAG pipeline tieng Viet:

1. SYSTEM PROMPT
   "Ban la tro ly AI chuyen tu van [linh vuc].
   Hay tra loi cau hoi dua HOAN TOAN tren cac tai lieu duoc cung cap.

   QUY TAC:
   - Chi tra loi dua tren context duoc cung cap
   - Neu khong tim thay thong tin, noi ro 'Toi khong tim thay
     thong tin nay trong tai lieu duoc cung cap'
   - Trich dan nguon: [Ten tai lieu, Dieu/Muc X]
   - Tra loi bang tieng Viet, su dung dau day du
   - Neu cau hoi khong ro, hoi lai de lam ro
   - Khong dua ra y kien ca nhan hay suy doan"

2. FEW-SHOT EXAMPLES
   - 2-3 vi du hoi-dap mau
   - Bao gom truong hop co thong tin va khong co thong tin
   - Bao gom truong hop can tong hop tu nhieu tai lieu

3. CONTEXT INJECTION
   - Format context: [SOURCE: ten_tai_lieu] Noi dung...
   - Sap xep context theo relevance (quan trong nhat truoc)
   - Gioi han context: bao nhieu tokens la du?
   - Handling overlap giua cac chunks

4. OUTPUT FORMAT
   - Cau truc cau tra loi chuan
   - Citations format
   - Confidence level indication
   - Follow-up suggestions

Cost Optimization cho RAG tieng Viet

Hay toi uu chi phi RAG system:

1. EMBEDDING COSTS
   - So sanh chi phi tung embedding model
   - Caching embeddings cho queries lap lai
   - Batch embedding vs realtime
   - Khi nao nen dung model re hon?

2. LLM COSTS
   - Context length anh huong chi phi nhu the nao?
   - Contextual compression de giam tokens
   - Claude Haiku vs Sonnet vs Opus: khi nao dung model nao?
   - Streaming vs non-streaming

3. INFRASTRUCTURE COSTS
   - Vector DB: managed vs self-hosted
   - Storage costs cho embeddings
   - Compute costs cho reranking
   - CDN va caching

4. OPTIMIZATION STRATEGIES
   - Caching frequent queries
   - Semantic caching (queries tuong tu dung lai ket qua)
   - Tiered retrieval: search nhanh truoc, chi tiet sau
   - Batch processing cho non-realtime use cases

Tao bang du toan chi phi cho 10K, 100K, 1M queries/thang.

Mẹo retrieval cho tiếng Việt

• Luôn normalize Unicode: Sử dụng NFC normalization trước khi embedding và search
• Hybrid search: Kết hợp vector search và BM25 thường cho kết quả tốt hơn chỉ dùng 1 loại
• Chunk overlap: Overlap 10-20% giúp không mất ngữ cảnh khi cắt văn bản
• Test với query không dấu: Nhiều người Việt gõ không dấu, hệ thống cần xử lý được
• Domain vocabulary: Tạo từ điển thuật ngữ cho từng lĩnh vực để cải thiện retrieval
• Feedback loop: Thu thập feedback người dùng để liên tục cải thiện hệ thống

Bước tiếp theo

Retrieval cho tiếng Việt là bài toán phức tạp nhưng có thể giải quyết với chiến lược đúng. Bắt đầu từ chunking và embedding tối ưu, sau đó từng bước thêm reranking và evaluation. Khám phá thêm các kỹ thuật nâng cao tại Thư viện Nâng cao Claude.