Knowledge — AI thực sự biết những gì

AI đã đọc cái gì và ngừng đọc lúc nào?

AI model học bằng cách đọc khối lượng khổng lồ văn bản — webpages, books, code repositories, Wikipedia, scientific papers, Reddit, GitHub, subtitled YouTube, conversations, news archives. Qua hàng tỷ rounds of prediction (Bài 17.4), nó xây internal representations của concepts, relationships, facts.

Đặc điểm 1: Không có lived experience

Model không sống trong thế giới. Không đi dạo, không nếm cafe, không thấy ngày hôm nay là thứ Hai. Mọi "kiến thức" đến từ văn bản.

Hệ quả: nếu một concept được miêu tả tốt trong văn bản, model "biết" nó. Nếu concept chỉ tồn tại qua trải nghiệm (tactile, emotional, contextual) — model có thể miêu tả được nhưng không thực sự hiểu theo nghĩa phổ thông.

Đặc điểm 2: Không real-time browsing (trừ khi có tool)

Không có internet access tự động. Model base chỉ biết cái đã được huấn luyện. Mỗi lần bạn hỏi, nó chỉ "nhớ" từ training data.

Nếu tool (web search, RAG, database) được bật, model có thể retrieve thông tin mới tại thời điểm truy vấn.

Đặc điểm 3: Knowledge cutoff — dấu chấm cứng

Training dữ liệu bị cắt vào một ngày cụ thể. Mọi thứ sau đó đơn giản không có trong model.

Ví dụ (minh họa): giả sử model của bạn có knowledge cutoff vào đầu năm 2026. Điều này nghĩa là:

Mỗi model + phiên bản có cutoff riêng — check docs hoặc hỏi thẳng model khi bắt đầu session (xem Tip 1 cuối bài).

Model không có cách tự biết cutoff ở đâu một cách chính xác. Nếu bạn hỏi "cutoff của bạn là khi nào?", model có thể đưa ra một ước lượng — nhưng ước lượng này có thể sai vài tháng.

• Sự kiện sau cutoff: model có thể không biết.
• Tin tức vài tuần-tháng trước cutoff: có thể có nhưng thưa.
• Sự kiện 1 năm trước cutoff: thường có coverage đầy đủ.
• Phiên bản phần mềm released gần cutoff: có thể có (tùy indexing).

Knowledge Continuum

Thử nghiệm suy nghĩ: đặt 5 câu hỏi vào continuum

Cùng AI có thể xuất sắc ở câu 1-3 và hỏng toàn bộ ở câu 4-6. Không phải AI "kém" — là vị trí câu hỏi.

Capability ◄────────────────────────────────────────► Limitation

CAPABILITY ZONE                        LIMITATION ZONE
─────────────                          ───────────────

Frequent + Recent + Consistent:        Rare, Post-cutoff, Niche, 
                                       Local, or Contested:

- Mainstream topics                    - Events after cutoff date
- Popular languages                    - Niche industry jargon
- Stable knowledge                     - Regional/local regulations
  (physics, history, classic lit)      - Rapidly evolving tech
- Well-documented methods              - Minority languages
- Established best practices           - Post-hoc contested topics
                                       - Your company's internal info

4 failure modes đặc trưng

Cùng một quá trình huấn luyện vừa sinh ra general knowledge rộng vừa tạo ra các blind spots dự đoán được:

Failure 1: Staleness (thông tin lỗi thời)

Biểu hiện: Cái đúng-tại-thời-điểm-huấn-luyện không đúng-hiện-tại. Và model không có cơ chế tự biết điều đó.

Ví dụ hay gặp:

Bù trừ: Cho bất kỳ câu hỏi nào phụ thuộc "currently", "right now", "latest" → bật web search hoặc supply context thủ công.

Failure 2: Uneven coverage (phủ sóng không đều)

Biểu hiện: Chủ đề frequent → xử lý tốt. Chủ đề rare → xử lý kém. Nhưng giọng văn giống hệt nhau.

• Giá sản phẩm / pricing plans
• Phiên bản software / API specs
• Lãnh đạo chính trị
• Quy định / luật pháp
• Tỷ giá, chỉ số kinh tế

Training cutoff: March 2026
Hỏi tháng 7/2026: "Ai là CEO của OpenAI?"
Model: "Sam Altman" (đúng với training data)
Reality (ví dụ hypothetical): "Sam Altman đã từ chức tháng 5/2026"

Model không biết mình đang nói điều không còn đúng.

Failure 2: Uneven coverage (phủ sóng không đều)

Hệ quả:

Bù trừ:

Failure 3: Inherited bias (thiên vị kế thừa)

Biểu hiện: Cảm nhận "normal" hay "default" của model phản ánh blind spots trong training data.

• Minority languages → output dịch đúng ngữ pháp nhưng idiom kỳ
• Niche domain → định nghĩa có vẻ đúng nhưng miss nuance
• Local context (Vietnam-specific business practices) → generic answer
• Cho domain niche → cung cấp reference material trong prompt
• Cho minority language → đưa thêm examples hoặc dùng glossary
• Cho local context → flag "trong bối cảnh Việt Nam, với..."

Training data structure (hypothesis):
  English text:        ████████████ (rất nhiều)
  Python code:         █████████    (rất nhiều)
  Academic papers:     ███████      (vừa phải)
  Vietnamese text:     ████         (ít hơn)
  Mongolian poetry:    █            (rất ít)
  Company X's wiki:    (không có)

Failure 3: Inherited bias (thiên vị kế thừa)

Hệ quả:

Bù trừ:

Failure 4: Source amnesia (quên nguồn)

Biểu hiện: "I read this somewhere" không phải citation. Model biết patterns của claim nhưng không biết exactly nguồn.

• "Standard" thường = Western, English-speaking, tech-industry default
• Lifestyle examples → middle-class American
• "Best practice" → thường là US/EU tech company practice
• Luôn hỏi trong context cụ thể: "Trong context Việt Nam, SaaS startup target SMB..."
• Provide your specific context trước khi hỏi chung
• Cross-reference với domain người biết local

Hỏi: "Mô tả một 'standard customer' cho một SaaS startup."
Model có thể default: "B2B SaaS targeting mid-market US companies,
                    primary user is office worker aged 25-45..."

Nhưng thực tế: SaaS startup Vietnam có thể target 
SMB local (không phải mid-market US), user có thể là nhân viên 
hành chính / sales rep với mobile-first usage...

Failure 4: Source amnesia (quên nguồn)

Bù trừ:

• Với claims quan trọng → Google Scholar search
• Với stats → verify từ original report
• Không tin "I recall reading in [source]" làm source

Ví dụ điển hình:
Hỏi: "X là một statistic phổ biến. Nguồn cho claim đó là gì?"
Model: "Điều này thường được trích dẫn từ [random source that
       fits the pattern of where such stats usually come from]"

50% khả năng source được bịa. Model không lưu "learned from X paper"
— nó chỉ lưu patterns.

Product features "push edge out"

Feature 1: Web search / browsing

Bật web search → model retrieve thông tin real-time thay vì dựa vào training.

Khi nào dùng: Bất kỳ câu hỏi nào sensitive về time — news, prices, policy updates, current events.

Feature 2: Retrieval / RAG / MCPs

Retrieval-Augmented Generation (RAG): Cho model retrieve từ document corpus của bạn rồi ground câu trả lời trên đó.

Model Context Protocol (MCP): Anthropic's open standard cho tool/data integration. Cho Claude access tới: company wiki, database, custom APIs, Slack, Notion, Google Drive...

Tool: Claude with Research mode
      ChatGPT with browsing
      Perplexity (search-first)
      Gemini with Google Search

Feature 2: Retrieval / RAG / MCPs

Khi nào dùng: Knowledge private to your organization, domain specialized, hoặc chuyển đổi nhanh.

Feature 3: Tool use

Model gọi tool thật (calculator, database query, API) thay vì inference từ patterns.

Workflow RAG đơn giản:
  1. Bạn có corpus (ví dụ: 500 docs công ty)
  2. Embeddings hóa mỗi doc (Bài 17.6)
  3. User hỏi câu → embedding câu → tìm 3 docs gần nhất
  4. Feed 3 docs + câu vào model → answer grounded

Feature 3: Tool use

Khi nào dùng: Precise numbers, current data, domain-specific computations.

Feature 4: Explicit cutoff disclosure

Model nói rõ knowledge cutoff:

Hỏi: "2^32 là bao nhiêu?"
  Without tool: Model có thể đoán sai (arithmetic weakness)
  With calculator tool: Chạy eval, trả về 4294967296 — chính xác

Hỏi: "Doanh thu Tesla Q1 2026?"
  Without tool: Model bịa hoặc từ chối
  With financial API: Retrieve từ 10-Q, trả về con số chính xác

Feature 4: Explicit cutoff disclosure

Khi nào dùng: Luôn preferable. Cho bạn biết khi nào cần verify.

Good behavior:
"My training data has a cutoff of March 2026. For questions about
events after that date, I may not have information or my info may
be outdated. Do you want me to proceed based on my training or
enable web search?"

Ví dụ theo ngành

💰 Finance Analyst — Dùng RAG cho research 10-K

Pain point: "Tôi cần phân tích 10-K của 20 công ty mỗi quý. AI training data có thể có cái cũ nhưng không có Q4 mới nhất."

Giải pháp:

Kết quả: 2 ngày → 4 giờ. 0 bịa đặt.

🔍 Research Analyst — Phân loại chủ đề trước khi prompt

Pain point: "AI cho tôi citation từ training data — 40% bịa."

Giải pháp — Categorize first:

Kết quả: Citation accuracy 60% → 98%.

⚖️ Legal Counsel — Luật Việt Nam vs AI training data

Pain point: "AI được train chủ yếu trên US legal text. Tôi hỏi về luật Việt Nam → output vô dụng hoặc sai căn bản."

Giải pháp:

Kết quả: Chuyển từ "AI không hiểu luật VN" → "AI là công cụ research VN law hữu hiệu."

🏥 Clinical Research Coordinator — Drug info workflow

Pain point: "Drug information thay đổi nhanh — FDA label updates, new interactions, warning letters."

Giải pháp — Tier 3:

• Download 20 x 10-K PDFs vào Claude Project (Working Memory, Bài 17.7)
• Hỏi: "Dựa hoàn toàn trên các PDFs, tóm tắt trends revenue và margin cho mỗi công ty Q4 2025."
• Model ground trên material bạn cung cấp — không bịa từ training
• Không hỏi "What does Vietnamese contract law say about X?" (generic → sai)
• Cung cấp Bộ luật Dân sự 2015 + Luật Thương mại 2005 PDF vào context
• Hỏi: "Dựa trên 2 luật này, phân tích điều khoản X trong hợp đồng..."
• Model ground trên material → chính xác local

Bài nghiên cứu về topic X:
  a) Topic mainstream + > 5 năm tuổi → dùng AI with caution, 
     verify citation với Google Scholar
  b) Topic mainstream nhưng niche sub-area → RAG với corpus 
     papers bạn đã download
  c) Topic new, post-2024 → bật Research mode / web search
  d) Topic proprietary (your org) → RAG với private corpus

🏥 Clinical Research Coordinator — Drug info workflow

Kết quả: Workflow clear, không bao giờ dùng AI làm source-of-truth cho Tier 3.

📣 Content Marketer — "Inherited bias" cho Vietnamese market

Pain point: "Tôi ask AI draft case study cho startup SaaS VN. Output toàn pattern SV/Bay Area — không relevant."

Giải pháp:

Kết quả: Output switch từ "generic US SaaS advice" → "actionable Vietnamese SaaS insights."

🎓 Teacher — Stable content = AI's strength

Pain point: Không phải pain point — đây là nơi AI xuất sắc.

Use case:

Lý do work tốt: Content stable, frequent, consistent trong training data. Capability zone.

Kết quả: Tiết kiệm 5 giờ/tuần lesson prep.

• Provide local context: "Context: Fintech startup VN, target SMB (doanh nghiệp siêu nhỏ), team 15 người, runway 18 tháng, acquisition chủ yếu qua Zalo/Facebook ads, TAM Vietnam chỉ 500M USD."
• Explicit bias correction: "Do not use US SaaS benchmarks like $ARR milestones — VN SaaS operates on different unit economics."
• Giải thích quang hợp, định luật Newton, lịch sử thế giới, văn học cổ điển
• Generate 10 variations của cùng 1 explanation cho different learning styles
• Convert complex concept thành examples dễ hiểu

Tier 1 (background concepts):    AI training data OK
  - Mechanism of action 
  - Pharmacokinetics fundamentals
  
Tier 2 (established facts):       AI + spot-check UpToDate
  - Common drug interactions
  - Standard dosing ranges
  
Tier 3 (current state):           MUST use Lexicomp/Micromedex
  - Current FDA warnings
  - Off-label use updates
  - New interactions discovered

Anti-patterns

❌ "AI có knowledge cutoff X, vậy sau X nó không biết gì"

Tại sao sai: Cutoff không phải hard wall. Data gần cutoff thưa hơn — có thể có fragments nhưng không đầy đủ. Data xa cutoff (6 tháng-1 năm trước) có thể đầy đủ nhất.

Cách đúng: Treat cutoff như gradient. Càng gần cutoff, càng uneven. Always verify time-sensitive info.

❌ "Bật web search xong là xong"

Tại sao sai: Web search trả về kết quả — model vẫn sinh ra câu trả lời dựa trên kết quả đó. Vẫn có thể misinterpret, over-generalize, cherry-pick.

Cách đúng:

❌ "Model bias không ảnh hưởng tôi vì tôi đọc output có phê phán"

Tại sao sai: Bias lạch nền — bạn không nhận ra những thứ bị không-đề-cập. Ví dụ: AI gợi ý 5 câu hỏi phỏng vấn, bạn không nhận ra cả 5 câu đều default to Western hiring culture cho đến khi ai khác chỉ ra.

Cách đúng:

❌ "RAG là silver bullet — dùng là hết vấn đề Knowledge"

Tại sao sai: RAG có vấn đề riêng:

Cách đúng: RAG là layer, không phải fix. Combine với verification + domain expertise.

• Review citations từ search
• Với stakes cao, click vào link gốc
• Cross-check 2-3 sources
• Chủ động đa dạng hóa input: cung cấp lenses khác nhau
• Ask explicitly: "Nếu tôi là [context alternative], câu trả lời khác thế nào?"
• Cross-reference với người có perspective khác
• Retrieval có thể miss document đúng
• Chunking làm mất ngữ cảnh
• Quality phụ thuộc vào corpus curation

Mẹo nâng cao

Mẹo 1: Xác định cutoff thực tế cho model bạn dùng

Đặt câu hỏi mốc:

Nếu AI đúng về điều xảy ra tháng 2/2026 nhưng sai về điều xảy ra tháng 5/2026 → cutoff ở đâu đó giữa. Biết điều này giúp bạn calibrate.

Mẹo 2: Template "context dump" cho mỗi domain

Viết trước một đoạn context 100-200 từ về domain/company/use case của bạn. Paste vào prompt mọi lần:

Giảm bias đáng kể.

Mẹo 3: Split task theo "freshness requirement"

Trước khi ask, hỏi mình:

Split rồi combine output.

Mẹo 4: "Evidence ladder" cho claim

Khi AI đưa claim quan trọng:

• "Ai là CEO của [công ty lớn có thay đổi gần đây]?"
• "Phiên bản mới nhất của [phần mềm phổ biến] là gì?"
• Cái gì trong task stable (kiến thức) → AI OK
• Cái gì current state (số, events, policies) → tool/search
• Level 1: Claim trôi chảy, không nguồn → chỉ dùng trong brainstorm
• Level 2: AI cite source phổ biến, có thể verify → verify trước khi dùng
• Level 3: Citation specific (paper DOI, FDA document) → Verify trước khi act
• Level 4: Grounded trên document bạn cung cấp → cao confidence

Context cho mỗi task của tôi:
- Tôi làm [role] cho [company] tại Việt Nam
- Industry: [X]
- Users/customers chính: [Y]
- Technology stack: [Z]
- Compliance regime: [luật VN + ...]
- Business model: [specific]

Hãy consider context này trong mọi câu trả lời.

Áp dụng ngay

Bài tập 1: The Outsider Test (~25 phút)

Lý do: Knowledge của model broad nhưng frozen, shaped bởi training data. Bạn sẽ map chính xác nơi nó dày, nơi nó mỏng trong domain cụ thể của bạn.

Bước 1: Chọn 1 task từ Bài 17.0. Với task đó, viết ra:

Probe 1 — Coverage

Hỏi AI về 1 mainstream và 1 niche topic từ list của bạn. So sánh depth + accuracy.

Chú ý: AI có signal uncertainty khác nhau giữa 2 cái, hay cả hai đều với tone tự tin như nhau?

Probe 2 — Staleness

Hỏi về cái gì bạn biết đã thay đổi gần đây trong field của bạn:

AI có acknowledge cutoff? Present stale như current? Từ chối trả lời? Ghi lại behavior.

Probe 3 — Default assumptions

KHÔNG nói assumption trực tiếp. Hỏi câu hỏi sẽ hé lộ AI có default theo outsider view không.

Ví dụ: Nếu "standard customer" trong field của bạn khác từ cái most people assume, hỏi AI mô tả "typical customer". Ghi lại cái AI coi là "normal".

Annotation:

Quay lại task list, thêm annotation thứ 2 cho mỗi task:

Stretch goal: Chạy lại staleness probe với web search enabled. So sánh. Đây là retrieval in action.

Bài tập 2 (optional): Xây "context dump" template

Viết một đoạn 150-200 từ về domain/role/company của bạn. Test bằng cách:

Giữ template làm standard input mỗi lần.

• 2 topics mainstream, well-documented, stable. Cái gì một colleague informed trong ngành chắc biết.
• 2 topics niche, local, recent, hoặc rapidly evolving. Industry jargon đặc thù, quy định địa phương, cái gì đã thay đổi trong năm qua.
• 1 "default assumption" outsider of field thường sai. (Ai là customer điển hình. "Standard" case trông ra sao. Tool nào người thực sự dùng vs tool nào được PR nhiều.)
• Cập nhật quy định
• Release tool mới
• Lãnh đạo thay đổi
• Standards revised
• Lean on model's knowledge (task ở capability zone)
• Need to bring knowledge (via context / documents / search)
• Ask 3 task thường xuyên không có context → save outputs
• Ask 3 task với context dump → save outputs
• Compare: cái nào xử lý bias / local relevance tốt hơn?

Suy ngẫm bài học

• Một area trong công việc bạn vừa nhận ra cần supply context thay vì assume model có?
• Default-assumption probe có surface gì bất ngờ?
• Nếu bạn đang làm ở ngành niche/local, bạn đã mất bao nhiêu thời gian giải thích lại context cho AI mỗi lần?

Tóm tắt bài học

🎯 Knowledge của AI đến hoàn toàn từ training data, đóng băng ở knowledge cutoff. Không có tools → không access thông tin sau cutoff.

🎯 Capability zone: topics xuất hiện frequent, recent (trong training), và consistent trong training data — mainstream topics, popular languages.

🎯 Limitation zone: rare, post-cutoff, niche, local, hoặc contested topics.

🎯 4 failures đặc trưng: staleness (lỗi thời), uneven coverage (không đều), inherited bias (thiên vị kế thừa), source amnesia (quên nguồn) — inability to attribute nguồn.

🎯 Web search, retrieval (RAG/MCPs), tool use = giải pháp vá specifically bằng cách cho model access tới material nó chưa train.

🎯 4D connection: Knowledge unevenness là cốt lõi của Delegation. Hiểu model dày/mỏng ở đâu → biết khi nào giao, khi nào tự cung cấp context, khi nào đi nơi khác.