Next Token Prediction — Autocomplete ở quy mô khổng lồ

Next Token Prediction là gì?

Ở cốt lõi, generative AI là một prediction system:

Điều này không phải tra cứu. Không phải search engine. Đây gần với autocomplete siêu thông minh hơn là bất kỳ cái gì khác.

Tại sao phân biệt này quan trọng?

Một citation có vẻ là citation thỏa mãn pattern cũng tốt như một citation chỉ vào paper thực sự tồn tại. Đối với model, cả hai đều là "text that fits here".

Input: "The capital of France is"
                         ↓
          [Model xử lý qua billions of parameters]
                         ↓
Output distribution:
   Paris   — 94.2%
   France  — 2.1%
   a       — 1.8%
   the     — 0.9%
   ...
                         ↓
            Sample 1 token: "Paris"
                         ↓
Input mới: "The capital of France is Paris"
                         ↓
            Tiếp tục sample token tiếp theo...

Tại sao phân biệt này quan trọng?

Đây là lý do tại sao specificity — tên người cụ thể, ngày, DOI, số liệu — là nơi hallucination tập trung. Model không có ground truth check. Nó chỉ biết: "cái gì thống kê sẽ xuất hiện ở đây?"

Input: "Theo nghiên cứu của ..."

Next token options:
  "Smith (2019)"      — fits the pattern
  "Anderson (2021)"   — fits the pattern
  "Chen et al. (2022)"— fits the pattern
  
Model không có cách nào phân biệt options nào là REAL
vs options nào chỉ là TEXT-SHAPED-LIKE-A-CITATION.

Next Token Prediction Continuum

Task càng dịch về bên phải, cùng quy trình vẫn sinh ra fluency — nhưng ground underneath thinner. Một số câu có thể đúng, một số bịa — và cả hai nghe giống nhau.

Ví dụ cụ thể: Cùng model, 3 vị trí khác nhau

Task A (Capability zone): "Summarize Shakespeare's Hamlet in 3 bullets." → Topic mainstream nhất trong mainstream. Đã xuất hiện hàng nghìn lần trong training. AI sẽ tóm tắt chính xác, fluent, actionable. Verify nhẹ là đủ.

Task B (Middle): "Summarize the 2019 NeurIPS paper on 'Contrastive Predictive Coding for ASR'." → Paper có thật, topic specialized. AI có thể biết, có thể nhầm lẫn chi tiết. Verify vừa phải — cross-check abstract với summary.

Task C (Limitation zone): "Cite 3 recent papers (2024-2025) on cognitive bias in retail traders in emerging Asian markets." → Niche + recent + local. Combination rất có thể chưa từng xuất hiện đủ dày trong training. AI sẽ bịa 1-3/3. Verify 100% — hoặc dùng tool search, hoặc tự tìm.

Capability ◄──────────────────────────────────────► Limitation

WELL-WORN PATHS                          NOVEL TERRITORY
─────────────────                        ──────────────
- Summarize a document                   - Cite 3 recent niche papers
- Reformat data                          - Predict specific future events
- Explain common concepts                - Recall private/rare facts
- Translate mainstream languages         - Distinguish "true" from
- Draft standard emails                    "sounds true"
- Complete code in common frameworks     - Novel combinations never
- Rewrite text in different tones          encountered in training

Dense, consistent patterns              Sparse, inconsistent patterns
Accuracy = high                         Accuracy = wildly variable
Fabrication = rare                      Fabrication = concentrated

Tính năng nào đang "push edge out"?

Đây là các tính năng sản phẩm được thiết kế để giúp:

1. Citations & source grounding

Khi nào dùng: Bất kỳ task nào cần citation chính xác, stats có thật, quote verbatim.

2. Uncertainty signaling

Model được huấn luyện để flag khi không chắc:

Thay vì: Model sinh ra citation từ training memory
Làm:     Model được gắn với search tool → retrieve real docs
        → sinh ra citation TỪ docs đã retrieve

Tool: Claude Research, Perplexity, ChatGPT with browsing,
      Bing Copilot, Gemini with Google Search

2. Uncertainty signaling

Khi nào dùng: Khi bạn cần phân biệt claim bạn có thể tin ngay vs claim cần verify.

3. Constrained generation / Skills

Thu hẹp không gian output để bịa đặt khó chen vào:

Yêu cầu: "For each fact, mark HIGH / MEDIUM / LOW confidence 
         and explain why."

Output:
  - Paris is capital of France — HIGH (ubiquitous training)
  - Paris population 2024: 2.1M — MEDIUM (numbers drift,
    verify current source)
  - Mayor of Paris as of April 2026 — LOW (post-training
    cutoff, use web search)

3. Constrained generation / Skills

Khi nào dùng: Data extraction, structured output, task có ground truth rõ.

4. Generator-verifier pattern

Tách rời sinh và kiểm tra:

Instead of: "Extract entities from this text"
                → Model có thể sinh ra tên lạ không có trong text

Use:        "Extract entities from this text. Entities MUST
            appear verbatim in the text. JSON output with
            field `source_span` containing the exact substring."
                → Schema cưỡng ép, model không thể bịa

4. Generator-verifier pattern

Dùng cùng model hoặc model khác làm verifier. Hiệu quả cao vì verifier có task khác (check) hơn là continuation (sinh).

Step 1 (Generator): Draft the answer with full creative freedom
Step 2 (Verifier):  Separate pass — "For each claim, check 
                     against source doc. Flag anything not 
                     supported."

Các thói quen bạn tự xây (4 quy tắc vàng)

Các tính năng sản phẩm có giới hạn. Các thói quen quan trọng hơn:

Quy tắc 1: Confident tone ≠ accuracy signal

Smoothness và correctness là biến độc lập. Đừng để giọng văn trôi chảy khiến bạn tin vào nội dung.

Quy tắc 2: Specificity là nơi fabrication tập trung

Càng specific, càng cần verify:

Quy tắc 3: Treat outputs as drafts to verify

Đặc biệt khi:

Quy tắc 4: Model không thể tự distinguish grounded vs invented

Đây là phần của bạn. Không đưa responsibility đó cho AI. Không ask "have you fabricated this?" — AI không biết câu trả lời cho câu hỏi đó.

• Stakes cao (email gửi khách, contract, medical, legal)
• Domain bạn không expert
• Task nằm ở limitation zone trên continuum

Ví dụ theo ngành

⚖️ Legal Counsel — Bài học Schwartz, áp dụng hàng ngày

Pain point: "Sau vụ Schwartz 2023, tôi vẫn dùng AI nghiên cứu — nhưng đã học cách không bao giờ tin citation không verify."

Workflow của tôi:

Mental model: Output AI là research hypothesis, không phải research finding.

Kết quả: Tiết kiệm 3-4 giờ research/brief, 0 rủi ro bị phạt như Schwartz.

🔍 Research Analyst — Xây generator-verifier cho literature review

Pain point: "Literature review 50 paper — tôi muốn AI giúp nhưng sợ bịa citation."

Giải pháp:

Kết quả: 0 fake citation. 2 ngày → 6 giờ.

💰 Finance Analyst — Xây habit cho numerical specifics

Pain point: "AI cho tôi 'revenue grew 32% YoY Q3 2024' nghe rất pro. Nhưng tôi làm quỹ → con số sai = quyết định đầu tư sai."

Habit xây:

Quy luật cá nhân: Không dùng số từ AI cho decision > $10K mà không tự verify.

📝 Content Marketer — Well-worn vs novel trong content creation

Pain point: "Tôi viết blog posts. Tốt thì AI draft tốt. Nhưng có những bài AI bịa industry stats trong draft."

Cách phân loại task trước khi prompt:

Kết quả: 0 bài bị flag "fake stats" từ editor. 3 giờ → 1 giờ/bài.

🏥 Clinical Research Coordinator — Confidence calibration trong drug info

Pain point: "Tôi hỏi AI về drug interactions. Câu trả lời bao giờ cũng tự tin. Nhưng 1 lần, drug A+B mà AI nói 'no significant interaction', thực tế có contraindication nặng."

Giải pháp:

Mental model: "AI là medical student giỏi — không phải attending."

• AI brainstorm các argument + relevant case types
• AI gợi ý tên vụ án — không copy trực tiếp
• Search Westlaw / LexisNexis bằng tên → verify có thật
• Đọc chính vụ → confirm relevance
• Chỉ sau đó mới cite trong brief
• Generator pass: Claude draft literature review với citations từ memory — tốc độ nhanh, flow tốt
• Verifier pass: Cho Claude prompt mới: "Dưới đây là lit review. Với mỗi citation, trả về: EXISTS hay SUSPECT. Nếu SUSPECT, giải thích tại sao." (Chạy cross-check với Google Scholar sau)
• Bất kỳ cái nào SUSPECT → manually verify
• Chỉ sau đó mới include trong final
• Khi AI đưa ra số: luôn hỏi nguồn cụ thể ("Cite the exact source: 10-K, earnings call transcript, or press release?")
• Khi nguồn unclear → tag UNVERIFIED và tự check
• Copy/paste số vào Excel chỉ sau khi có source reference
• AI chỉ được dùng cho brainstorm hypothesis — không phải source truth
• Mọi drug claim → cross-check với UpToDate, Micromedex, hoặc Lexicomp
• Specificity càng cao → verification càng nghiêm ngặt

Anti-patterns

❌ "Tone tự tin = chắc chắn đúng"

Tại sao sai: Như đã nói — fluency và accuracy độc lập. AI bịa đặt trôi chảy như khi nói đúng.

Cách đúng: Tách biệt tần đo. Đánh giá accuracy qua verify, không qua "nghe có thuyết phục không".

❌ "Hỏi AI 'bạn có chắc không?' làm verification"

Tại sao sai: AI sẽ validate câu trả lời của chính mình (sycophancy) hoặc hedge đồng đều khắp nơi (over-caution). Không có cơ chế biết đúng/sai thật.

Cách đúng: Verify qua nguồn độc lập — search, database, domain expert.

❌ "AI đã nâng cấp, chắc bớt hallucination rồi"

Tại sao sai: Mọi generation lớn đều giảm tỷ lệ hallucination — nhưng không loại bỏ. Limitation zone dịch ra xa hơn, chứ không biến mất.

Cách đúng: Habits verify giữ nguyên. Kiểm tra mức limitation dịch đi đâu, nhưng đừng bỏ habits.

❌ "Citation có format đẹp = citation thật"

Tại sao sai: Format là cái dễ bắt chước nhất. AI có thể sinh ra citation với DOI, volume number, page range... mà cái nào cũng bịa.

Cách đúng: Kiểm tra identifier độc lập — search DOI, tìm paper trong database, không tin format.

❌ "Probe 1 lần thấy OK → dùng cho mọi task tương tự"

Tại sao sai: Sampling là stochastic — cùng prompt, hai lần khác nhau. Lần này đúng không có nghĩa lần sau đúng.

Cách đúng: Xây verification habit, không dựa vào spot-check từng lần.

Mẹo nâng cao

Mẹo 1: "Specificity threshold" cá nhân

Đặt ngưỡng riêng cho mỗi domain:

Viết ra thành checklist. Gắn vào workflow.

Mẹo 2: Dùng "likelihood of fabrication" trước khi prompt

Trước khi gõ prompt, tự hỏi:

Nếu 3 "yes" → dùng tool search ngay thay vì prompt bình thường.

Mẹo 3: "Placeholder pattern" cho draft

Khi cần draft nhanh nhưng specifics chưa verify, prompt:

Output có placeholder — bạn biết chính xác điểm nào cần fill.

Mẹo 4: "Inversion test" cho claims

Cho claim AI đưa ra, hỏi chính AI: "If this claim is false, what would evidence of that look like? Where would I look to find counter-evidence?"

Câu trả lời này hữu ích hơn "are you sure?" — nó chỉ ra chỗ verify.

• Task này có đòi specifics không?
• Specifics có phải recent / niche / obscure không?
• Nếu AI bịa, tôi có catch được không?

Domain: Legal research
  - Case name mentioned? → VERIFY 100%
  - Statute number? → VERIFY 100%
  - Year + jurisdiction? → VERIFY 100%
  - General legal principle? → OK spot-check

Domain: Marketing content
  - Company names? → VERIFY
  - Statistics with specific %? → VERIFY
  - Customer quotes? → VERIFY
  - General market trends? → OK if plausible

Áp dụng ngay

Bài tập 1: The Verification Test (~25 phút)

Lý do: Bạn vừa học cùng một quá trình generative làm AI fluent cũng làm nó bịa đặt. Giờ xem điều đó trên sân chơi của bạn — trong một domain bạn có thể catch.

Bước 1: Quay lại task list. Chọn task ở domain bạn là expert — vì bạn cần verify được cái AI đưa ra.

Bước 2: Viết ra 5 sự thật cụ thể, kiểm chứng được trong domain:

Bạn biết chính xác 5 sự thật này — có thể confirm độc lập.

Probe 1 — Capability zone

Yêu cầu AI giải thích/tóm tắt một concept phổ biến trong domain. Cái gì mainstream, well-documented.

Notice fluency. Spot-check content.

Probe 2 — Specificity under pressure

Yêu cầu AI cung cấp 5 specifics kiểm chứng được trong domain: cite 3 sources, đặt tên tác giả, đưa exact figures, đưa URL.

Verify từng cái. Score out of 5.

Nếu AI bịa, tone tự tin ra sao khi làm vậy?

Probe 3 — Sampling in action

Chạy cùng request specifics trong 1 conversation mới. So sánh 2 output.

Variability này = Next Token Prediction's sampling at work.

Stretch goal: Chạy lại Probe 2 trong tool có citations enabled (Research mode ở Claude). Score lại. Sự có mặt của sources thực có làm score thay đổi?

Bài tập 2: Specificity Threshold Worksheet

Ghi ra 3 domain bạn thường làm việc. Với mỗi domain, liệt kê:

Print + dán trên màn hình. Dùng như checklist.

• Chức vụ của một người
• Ngày xuất bản
• Một con số thống kê
• Spec sản phẩm
• Một quote nguyên văn
• Một URL
• Cái gì stayed consistent?
• Cái gì changed?

Câu hỏi test: [Domain-specific question]
  Claim 1: _______________ → ✅/❌
  Claim 2: _______________ → ✅/❌
  Claim 3: _______________ → ✅/❌
  Claim 4: _______________ → ✅/❌
  Claim 5: _______________ → ✅/❌

Accuracy: _ / 5
Confidence tone khi bịa: _____

Suy ngẫm bài học

• Bạn có catch được bịa đặt trong một domain bạn không biết không? (Trung thực với chính mình.)
• Nhìn lại task list: task nào chủ yếu ở capability zone? Task nào push vào specificity cần verify?
• Câu chuyện Schwartz có relevance gì với workflow của bạn?

Tóm tắt bài học

🎯 Next Token Prediction nghĩa là generative AI viết câu trả lời từng fragment một dựa trên cái thống kê sẽ xuất hiện tiếp theo. Không phải lookup. Không phải search.

🎯 Capability zone: well-worn paths — tóm tắt, reformat, giải thích concepts phổ biến. Dense, consistent patterns → accuracy cao.

🎯 Limitation zone: novel territory, sparse patterns, "true vs sounds true". Bất cứ nơi nào cần phân biệt đúng/có vẻ đúng.

🎯 Fabrication tập trung ở specificity: tên, ngày, thống kê, citations, URL, quote. Càng precise càng cần verify.

🎯 Product features như citations, uncertainty signaling, constrained generation, generator-verifier loops = biện pháp khắc phục — để đẩy limitation zone ra xa hơn.

🎯 4D connection: Next Token Prediction là nền tảng của Discernment. Biết output được sinh ra cho bạn biết loại scrutiny nào áp dụng.