Claude cho Data: Phân tích thống kê chuyên sâu

Phân tích thống kê là nền tảng của mọi quyết định kinh doanh dựa trên dữ liệu. Nhưng thống kê cũng dễ bị dùng sai nhất — một A/B test có p-value nhỏ không nhất thiết có ý nghĩa kinh doanh, và correlation không phải causation. Claude giúp bạn áp dụng đúng phương pháp, diễn giải đúng kết quả, và tránh những cái bẫy phổ biến.

Thống kê mô tả: Đừng chỉ dùng mean

Lỗi phổ biến nhất trong báo cáo kinh doanh: dùng mean cho dữ liệu lệch. Khi phân phối lệch (skewed), mean bị kéo bởi outlier và không đại diện cho "người dùng điển hình".

Phân tích phân phối lifetime value của 50,000 khách hàng.
Dữ liệu có vẻ rất lệch phải (vài khách hàng enterprise
chi rất nhiều). Hãy:

1. Tính đầy đủ: mean, median, std, IQR, percentile p25/p75/p90/p99
2. Xác định hình dạng phân phối
3. Cho biết nên dùng metric nào cho báo cáo
4. Phát hiện outlier dùng IQR method

Claude sẽ tạo code Python:

import pandas as pd
import numpy as np

# Thống kê mô tả đầy đủ
stats = {
    'mean': df['ltv'].mean(),
    'median': df['ltv'].median(),
    'std': df['ltv'].std(),
    'p25': df['ltv'].quantile(0.25),
    'p75': df['ltv'].quantile(0.75),
    'p90': df['ltv'].quantile(0.90),
    'p99': df['ltv'].quantile(0.99),
    'IQR': df['ltv'].quantile(0.75) - df['ltv'].quantile(0.25)
}

# Phát hiện outlier bằng IQR method
Q1, Q3 = df['ltv'].quantile([0.25, 0.75])
IQR = Q3 - Q1
outliers = df[(df['ltv'] < Q1 - 1.5*IQR) | (df['ltv'] > Q3 + 1.5*IQR)]

print(f'Outliers: {len(outliers)} ({len(outliers)/len(df)*100:.1f}%)')

Và sẽ tư vấn: nếu mean/median chênh lệch lớn, hãy dùng median cho báo cáo "khách hàng điển hình" và dùng mean cho tổng doanh thu dự báo.

Kiểm định giả thuyết: A/B Testing

Use case phổ biến nhất trong startup Việt Nam: test tính năng mới.

Chúng tôi vừa test giao diện checkout mới trong 2 tuần:
- Control (giao diện cũ): 15,420 users, 1,243 purchases (tỷ lệ 8.06%)
- Variant (giao diện mới): 15,387 users, 1,389 purchases (tỷ lệ 9.03%)

Câu hỏi:
1. Sự khác biệt có có ý nghĩa thống kê không? (alpha = 0.05)
2. Khoảng tin cậy 95% của sự khác biệt là gì?
3. Với tỷ lệ conversion hiện tại, cần bao nhiêu sample để
   phát hiện improvement 1% với power 80%?
4. Nên deploy variant hay không?

Claude sẽ thực hiện z-test for proportions:

from scipy import stats
import numpy as np

# Dữ liệu
n_control = 15420
conv_control = 1243
n_variant = 15387
conv_variant = 1389

p_control = conv_control / n_control  # 0.0806
p_variant = conv_variant / n_variant  # 0.0903

# Z-test for proportions
p_pooled = (conv_control + conv_variant) / (n_control + n_variant)
se = np.sqrt(p_pooled * (1 - p_pooled) * (1/n_control + 1/n_variant))
z_stat = (p_variant - p_control) / se

p_value = 2 * (1 - stats.norm.cdf(abs(z_stat)))  # two-tailed

# Confidence interval
diff = p_variant - p_control
se_diff = np.sqrt(p_control*(1-p_control)/n_control + p_variant*(1-p_variant)/n_variant)
ci_lower = diff - 1.96 * se_diff
ci_upper = diff + 1.96 * se_diff

Kèm theo diễn giải kinh doanh: "Với p-value = 0.003 (nhỏ hơn 0.05), sự cải thiện 0.97 percentage points là có ý nghĩa thống kê. Với tỷ lệ hiện tại, tương đương thêm ~150 purchases mỗi 2 tuần, hoặc khoảng 3,900 purchases/năm."

Phân tích xu hướng và mùa vụ

Doanh thu hàng ngày của chúng tôi có vẻ có cả trend tăng
lẫn pattern theo mùa. Hãy:

1. Tính 7-day moving average để loại bỏ noise
2. Tính year-over-year growth cho mỗi tháng
3. Phát hiện seasonality pattern (ngày trong tuần, tháng trong năm)
4. Flag các điểm bất thường đáng điều tra

Dữ liệu: 2 năm doanh thu hàng ngày (2024-2025)

Phát hiện change point

Tỷ lệ approve vay của chúng tôi thay đổi đột ngột
vào đâu đó trong Q3/2025. Hãy phát hiện chính xác
ngày xảy ra change point và ước tính mức độ thay đổi.

Dữ liệu: approve_rate hàng ngày từ 01/04/2025 đến 31/12/2025

Phân tích tương quan — và cảnh báo về causation

Tính correlation matrix giữa các metrics của chúng tôi:
avg_session_time, page_views, cart_add_rate,
checkout_start_rate, purchase_rate, return_rate

Và: xác định cặp nào có correlation mạnh nhất,
nhưng cũng giải thích tại sao correlation cao
không có nghĩa là chúng tôi nên tối ưu cho metric đó.

Claude sẽ tính Pearson correlation matrix, vẽ heatmap, và quan trọng hơn — giải thích các pitfall:

"avg_session_time có correlation 0.72 với purchase_rate. Tuy nhiên, đây không có nghĩa là tăng session time sẽ tăng purchases. Có thể: (1) người dùng đã có intent mua hàng thì dành nhiều thời gian browse hơn, (2) một biến thứ ba (ví dụ: category điện tử) gây ra cả hai cùng lúc. Cần A/B test để xác định nhân quả."

Những cái bẫy thống kê cần tránh

1. Multiple Testing Problem

Chúng tôi đang test 20 variant khác nhau cùng lúc.
Nếu dùng alpha = 0.05 cho mỗi test, có bao nhiêu %
xác suất ít nhất một test "có ý nghĩa" chỉ do may mắn?
Cần điều chỉnh alpha như thế nào (Bonferroni)?

2. Simpson's Paradox

Tỷ lệ approve vay nhìn tổng thể tăng từ Q3 lên Q4,
nhưng khi phân tích theo từng segment (SME, retail, enterprise)
thì tất cả đều giảm. Đây có phải Simpson's Paradox không?
Tại sao điều này xảy ra và nên báo cáo con số nào?

3. Survivorship Bias

Chúng tôi phân tích hành vi của "users tích cực"
(dùng app ít nhất 3 lần/tuần trong 3 tháng qua).
Kết luận: feature X được dùng nhiều bởi users tích cực.
Hãy giải thích tại sao kết luận này có thể bị survivorship bias
và cách phân tích đúng hơn.

Bao nhiêu sample là đủ?

Chúng tôi muốn test tính năng mới với mục tiêu
tăng conversion rate từ 5% lên 5.5% (+10% relative).
Với power 80% và alpha 0.05, cần bao nhiêu users mỗi nhóm?
Với traffic hiện tại 1,000 users/ngày, mất bao nhiêu ngày?

Bước tiếp theo

Sau khi thực hiện phân tích, luôn validate kết quả trước khi chia sẻ — kiểm tra logic, sanity check con số, và đảm bảo conclusions được hỗ trợ bởi dữ liệu.

Bài viết liên quan

• Claude cho Data: Phân tích dữ liệu tự động
• Claude cho Data: Validation và data quality
• Claude cho Data: Viết SQL queries phức tạp
• Claude cho Engineering: Chiến lược testing toàn diện
• Claude cho luật sư — Nghiên cứu pháp lý và soạn văn bản