Claude Computer Use — AI điều khiển máy tính của bạn

Hãy tưởng tượng bạn có một trợ lý ngồi trước máy tính, nhìn thấy những gì trên màn hình, biết cách click chuột, gõ phím và thực hiện bất kỳ thao tác nào bạn yêu cầu — tất cả chỉ bằng một câu nói bằng tiếng Việt. Đó chính là Claude Computer Use, tính năng cho phép Claude tương tác trực tiếp với máy tính như một người dùng thực sự.

Computer Use là gì?

Computer Use là khả năng của Claude điều khiển máy tính thông qua giao diện đồ họa (GUI), giống cách một con người sử dụng máy tính. Claude có thể:

• Chụp ảnh màn hình (screenshot): Nhìn thấy những gì đang hiển thị trên màn hình của bạn
• Di chuyển chuột (mouse move): Đưa con trỏ đến vị trí cụ thể trên màn hình
• Click chuột (click): Nhấn chuột trái, phải, double-click tại bất kỳ vị trí nào
• Gõ phím (type): Nhập văn bản vào bất kỳ ô input, form hoặc ứng dụng nào
• Cuộn trang (scroll): Cuộn lên xuống để xem nội dung dài
• Kéo thả (drag): Kéo thả các phần tử trên giao diện
• Phím tắt (hotkey): Sử dụng tổ hợp phím như Ctrl+C, Ctrl+V, Alt+Tab

Khác với các chatbot thông thường chỉ xử lý văn bản, Computer Use biến Claude thành một agent có khả năng thực hiện hành động thực tế. Claude không đơn thuần nói "bạn nên click vào nút Submit" mà thực sự click vào nút đó cho bạn.

Cơ chế hoạt động của Computer Use

Computer Use hoạt động theo vòng lặp: chụp ảnh màn hình, phân tích hình ảnh, quyết định hành động, thực hiện hành động, rồi chụp ảnh lại để xác nhận kết quả. Cụ thể:

1. Observation: Claude chụp ảnh màn hình hiện tại
2. Analysis: Claude phân tích hình ảnh để hiểu giao diện — xác định vị trí các nút, menu, ô input, văn bản
3. Decision: Dựa trên mục tiêu được giao, Claude quyết định hành động tiếp theo
4. Action: Claude thực hiện hành động — click, gõ phím, cuộn trang
5. Verification: Claude chụp ảnh màn hình mới để xác nhận hành động đã thành công
6. Repeat: Lặp lại cho đến khi hoàn thành tác vụ

Mỗi vòng lặp tương ứng với một lần gọi API, vì vậy các tác vụ phức tạp nhiều bước sẽ tiêu tốn nhiều token hơn. Claude cũng có khả năng tự phục hồi khi gặp lỗi — ví dụ nếu click sai vị trí, Claude sẽ nhận ra từ screenshot tiếp theo và điều chỉnh.

Thiết lập Computer Use trên Mac (Beta)

Tính đến thời điểm hiện tại, Computer Use đã có phiên bản beta cho Mac. Dưới đây là hướng dẫn thiết lập:

Yêu cầu hệ thống

• macOS 13.0 (Ventura) trở lên
• Claude Desktop App phiên bản mới nhất
• Tài khoản Claude Pro hoặc Team
• Kết nối internet ổn định

Các bước thiết lập

Bước 1: Cập nhật Claude Desktop App lên phiên bản mới nhất từ trang chủ Anthropic.

Bước 2: Mở Claude Desktop, vào Settings, tìm mục "Computer Use" và bật tính năng beta.

Bước 3: macOS sẽ yêu cầu cấp quyền Accessibility cho Claude Desktop. Vào System Preferences, mục Privacy & Security, chọn Accessibility và cho phép Claude Desktop.

Bước 4: Cấp thêm quyền Screen Recording nếu được yêu cầu — Claude cần quyền này để chụp ảnh màn hình.

Bước 5: Khởi động lại Claude Desktop. Bạn sẽ thấy biểu tượng Computer Use xuất hiện trong giao diện chat.

Sử dụng qua API

Cho các nhà phát triển muốn tích hợp Computer Use vào ứng dụng riêng, Anthropic cung cấp API endpoint chuyên biệt. Bạn cần gửi screenshot dưới dạng base64 và nhận lại các lệnh điều khiển:

import anthropic

client = anthropic.Anthropic()

response = client.messages.create(
    model="claude-sonnet-4-6-20260321",
    max_tokens=1024,
    tools=[
        {
            "type": "computer_20241022",
            "name": "computer",
            "display_width_px": 1920,
            "display_height_px": 1080,
            "display_number": 1
        }
    ],
    messages=[
        {
            "role": "user",
            "content": "Mo trinh duyet va truy cap trang google.com"
        }
    ]
)

# Xu ly response de thuc hien hanh dong tren may tinh
for block in response.content:
    if block.type == "tool_use":
        action = block.input.get("action")
        print(f"Hanh dong: {action}")

Ứng dụng thực tế của Computer Use

1. Điền form và nhập liệu hàng loạt

Một trong những ứng dụng phổ biến nhất của Computer Use là tự động điền form. Giả sử bạn có danh sách 100 khách hàng cần nhập vào hệ thống CRM — thay vì ngồi điền từng dòng một, bạn có thể yêu cầu Claude làm việc này:

Toi co file Excel ten "khach-hang.xlsx" tren Desktop.
Hay mo file do, doc tung dong va nhap thong tin vao
he thong CRM tai dia chi crm.congty.vn

Voi moi khach hang:
1. Click "Them khach hang moi"
2. Dien ten, email, so dien thoai, dia chi
3. Chon loai khach hang la "Ca nhan"
4. Click "Luu"
5. Xac nhan da luu thanh cong roi chuyen sang khach hang tiep theo

Bao cao lai so luong da nhap va bat ky loi nao gap phai.

Claude sẽ thực hiện từng bước, xác nhận kết quả qua screenshot sau mỗi thao tác, và báo cáo lại khi hoàn thành hoặc gặp lỗi.

2. Kiểm tra giao diện website (Web Testing)

Computer Use có thể thay thế phần lớn công việc kiểm tra giao diện thủ công. Bạn có thể yêu cầu Claude:

Hay kiem tra website congty.vn tren trinh duyet Chrome:

1. Truy cap trang chu — kiem tra layout, hinh anh, menu
   co hien thi dung khong
2. Click vao tung muc menu — xac nhan chuyen trang dung
3. Thu dien form lien he voi du lieu test
4. Kiem tra responsive: thu nho cua so trinh duyet xuong 768px va 375px
5. Kiem tra cac link quan trong co hoat dong khong

Bao cao tat ca loi phat hien duoi dang bang voi:
- Vi tri loi (trang nao, phan tu nao)
- Mo ta loi
- Muc do nghiem trong (Cao/Trung binh/Thap)
- Screenshot minh chung

3. Thu thập dữ liệu từ nhiều nguồn

Khi cần thu thập thông tin từ nhiều website hoặc ứng dụng khác nhau, Computer Use hoạt động như một trợ lý nghiên cứu tự động:

Hay giup toi thu thap thong tin ve 5 doi thu canh tranh
trong linh vuc [linh vuc cua ban]:

Voi moi doi thu:
1. Truy cap website cua ho
2. Ghi lai: ten cong ty, slogan, san pham chinh, bang gia (neu co)
3. Kiem tra trang Facebook va ghi lai so luong follower
4. Chup screenshot trang chu cua ho

Tong hop tat ca thong tin vao mot bang so sanh.

4. Tự động hóa quy trình hành chính

Nhiều công việc hành chính đòi hỏi thao tác lặp lại trên nhiều hệ thống khác nhau. Computer Use có thể kết nối các bước này thành một quy trình tự động:

Moi sang thu Hai, hay giup toi:
1. Mo email — kiem tra va tom tat cac email quan trong chua doc
2. Mo Google Calendar — liet ke lich hop trong tuan
3. Mo Trello — kiem tra cac task sap den deadline
4. Tao mot ban bao cao tong hop cho toi trong Google Docs

Luu y: Chi doc, khong gui hoac xoa bat ky email nao.

Giới hạn và lưu ý an toàn

Computer Use là một tính năng mạnh mẽ nhưng cũng cần được sử dụng cẩn thận. Hiểu rõ giới hạn sẽ giúp bạn sử dụng hiệu quả và an toàn hơn.

Những gì Claude KHÔNG thể làm

• Không tương tác với CAPTCHA: Claude không thể giải các bài kiểm tra CAPTCHA, và Anthropic cấm sử dụng Computer Use để vượt qua CAPTCHA
• Không xử lý nội dung nhạy cảm: Claude sẽ từ chối nếu được yêu cầu truy cập tài khoản ngân hàng, nhập mật khẩu vào website lạ hoặc thực hiện các hành động có thể gây hại
• Độ chính xác chưa tuyệt đối: Claude có thể click sai vị trí, đặc biệt với các giao diện phức tạp hoặc nút nhỏ. Tỷ lệ chính xác tùy thuộc vào độ phân giải màn hình và độ phức tạp của giao diện
• Tốc độ chậm hơn con người: Vì mỗi hành động cần chụp và phân tích screenshot, Computer Use chậm hơn thao tác thủ công của người dùng thạo. Lợi thế nằm ở khả năng làm việc không mệt mỏi và chính xác nhất quán

Nguyên tắc an toàn khi sử dụng

• Luôn giám sát: Không để Claude điều khiển máy tính khi bạn không theo dõi. Luôn sẵn sàng can thiệp nếu Claude thực hiện sai
• Bắt đầu với tác vụ đơn giản: Thử với các tác vụ rủi ro thấp trước khi giao các việc phức tạp
• Không chia sẻ mật khẩu: Đừng bao giờ yêu cầu Claude nhập mật khẩu của bạn. Hãy đăng nhập trước rồi mới bắt đầu Computer Use
• Sử dụng môi trường sandbox: Khi thử nghiệm, hãy dùng môi trường giả lập hoặc máy ảo để tránh ảnh hưởng đến dữ liệu thật
• Kiểm tra kết quả: Sau khi Claude hoàn thành, luôn kiểm tra lại kết quả trước khi tin tưởng hoàn toàn

So sánh Computer Use với RPA truyền thống

Robotic Process Automation (RPA) đã tồn tại nhiều năm với các giải pháp như UiPath, Automation Anywhere và Blue Prism. Vậy Computer Use có gì khác biệt?

Ưu điểm của Computer Use so với RPA

• Không cần lập trình workflow: RPA truyền thống đòi hỏi bạn phải xây dựng workflow chi tiết với từng bước cụ thể. Computer Use chỉ cần mô tả bằng ngôn ngữ tự nhiên
• Tự thích ứng với thay đổi: Khi giao diện website thay đổi, RPA bot thường bị hỏng. Claude có thể nhận ra giao diện mới và tự điều chỉnh vì nó "nhìn" màn hình thay vì dựa vào selector cố định
• Chi phí khởi đầu thấp: Không cần mua license phần mềm RPA đắt đỏ (hàng nghìn USD/năm). Claude Pro chỉ có giá khoảng 20 USD/tháng
• Linh hoạt với tác vụ mới: Thay đổi tác vụ chỉ cần thay đổi prompt, không cần xây dựng lại workflow

Hạn chế của Computer Use so với RPA

• Không ổn định 100%: RPA thực hiện chính xác cùng một chuỗi hành động mỗi lần. Computer Use có thể có sai lệch nhỏ giữa các lần chạy
• Không phù hợp cho quy trình 24/7: Computer Use cần người giám sát, trong khi RPA có thể chạy tự động liên tục
• Chi phí token cao cho tác vụ dài: Mỗi screenshot tiêu tốn token, các tác vụ nhiều bước có thể tốn kém hơn RPA về lâu dài
• Chưa hỗ trợ tất cả hệ điều hành: Hiện tại chỉ có beta cho Mac, trong khi RPA hỗ trợ đầy đủ Windows — hệ điều hành phổ biến nhất trong doanh nghiệp Việt Nam

Phân tích chi phí

Để đánh giá Computer Use có phù hợp với bạn hay không, cần xem xét chi phí thực tế:

Chi phí API

Mỗi vòng lặp Computer Use (screenshot + hành động) tiêu tốn khoảng 2000-5000 token input (cho screenshot) và 200-500 token output (cho lệnh hành động). Với giá API của Claude:

• Một tác vụ đơn giản (5-10 bước): khoảng 0.05-0.15 USD
• Một tác vụ trung bình (20-50 bước): khoảng 0.30-1.00 USD
• Một tác vụ phức tạp (100+ bước): có thể lên 2-5 USD

So sánh với chi phí nhân công: Nếu một nhân viên mất 30 phút để nhập 50 dòng dữ liệu, chi phí nhân công (tính theo lương trung bình tại Việt Nam) là khoảng 1-2 USD. Computer Use có thể làm tương tự với chi phí thấp hơn và không mất thời gian của nhân viên.

Chi phí Claude Pro

Với gói Claude Pro (20 USD/tháng), bạn có thể sử dụng Computer Use trong hạn mức sử dụng hàng ngày. Phù hợp cho cá nhân và doanh nghiệp nhỏ không cần xử lý khối lượng lớn.

Demo thực tế: Tự động tạo báo cáo từ nhiều nguồn

Để minh họa sức mạnh của Computer Use, hãy xem qua một kịch bản thực tế:

Kịch bản

Bạn là trưởng phòng kinh doanh, mỗi tháng cần tổng hợp báo cáo từ 3 nguồn: Google Analytics (lượt truy cập website), Facebook Ads Manager (chi phí quảng cáo) và Google Sheets (doanh số bán hàng). Thay vì mất 2 giờ mở từng công cụ và copy-paste dữ liệu, bạn chỉ cần:

Hay giup toi tao bao cao kinh doanh thang 3/2026:

1. Mo Google Analytics tai analytics.google.com
   — Chon date range: 01/03/2026 - 31/03/2026
   — Ghi lai: tong luot truy cap, bounce rate,
     top 5 trang duoc xem nhieu nhat

2. Mo Facebook Ads Manager
   — Chon cung khoang thoi gian
   — Ghi lai: tong chi phi, so luong click, cost per click,
     cac chien dich dang chay

3. Mo Google Sheets "Doanh so 2026"
   — Doc du lieu cot thang 3
   — Ghi lai: tong doanh so, so don hang, don hang trung binh

4. Tao mot file Google Docs moi ten "Bao cao KD T3-2026"
   — Trinh bay tat ca du lieu theo format bang
   — Them phan nhan xet va de xuat

Toi da dang nhap san vao tat ca cac tai khoan.

Tương lai của Computer Use

Computer Use hiện tại còn ở giai đoạn beta nhưng đã cho thấy tiềm năng to lớn. Trong tương lai, chúng ta có thể kỳ vọng:

• Hỗ trợ đa nền tảng: Mở rộng sang Windows và Linux, bao phủ nhiều người dùng hơn
• Tốc độ nhanh hơn: Tối ưu hóa quy trình screenshot-analyze-act để giảm độ trễ
• Độ chính xác cao hơn: Cải thiện khả năng nhận diện giao diện phức tạp và các phần tử nhỏ
• Tích hợp với Agent Teams: Nhiều agent cùng sử dụng Computer Use trên nhiều máy tính đồng thời
• Workflow memory: Claude nhớ các quy trình đã thực hiện và thực hiện lại nhanh hơn lần sau

Kết luận

Claude Computer Use đánh dấu bước chuyển từ AI "chỉ biết nói" sang AI "biết làm". Đây không phải là sự thay thế con người mà là sự mở rộng khả năng — những tác vụ lặp lại, nhàm chán và tốn thời gian giờ có thể được giao cho Claude, giải phóng bạn cho những công việc sáng tạo và chiến lược hơn.

Đối với người dùng Việt Nam, Computer Use đặc biệt hữu ích trong bối cảnh nhiều doanh nghiệp vẫn phụ thuộc vào quy trình thủ công và chưa có ngân sách cho các giải pháp RPA đắt đỏ. Với chi phí thấp và khả năng sử dụng ngay bằng ngôn ngữ tự nhiên, Computer Use là bước đi đầu tiên để vào thế giới tự động hóa. Khám phá thêm các hướng dẫn ứng dụng tại Thư viện Ứng dụng Claude.