Trả lời câu hỏi: khi so sánh version (v0 so với v2), dùng checklist/tiêu chí nào để chấm điểm, engine chấm hoạt động ra sao. Rê chuột vào keyword gạch-chân-chấm để xem định nghĩa (glossary hover).
Sản phẩm do AI sinh ra (tài liệu thiết kế, source code, test case) được con người hoàn thiện dần qua các version. Khách hàng muốn biết: AI tự làm được bao nhiêu phần trước khi con người can thiệp, và chấm bằng tiêu chí gì. Trang này giải thích mô hình version, phương pháp chấm 2 tầng, bộ tiêu chí chi tiết (評価項目) và cách engine tính ra từng con số.
Tại mỗi mốc version, bản nội dung được lưu lại (snapshot). Cặp quan trọng nhất để đo hiệu quả AI là v0 so với v2 (2 ô nền xanh): v2 đã qua reviewer nên được coi là ground truth, còn v0 cho biết AI tự làm được đến đâu trước khi con người can thiệp.
Ngay khi AI sinh xong, từng tài liệu được audit tự động theo bộ rule cố định. Rule nghiêm trọng FAIL thì tài liệu bị chặn, không chuyển công đoạn tiếp theo.
Đầu ra: PASS/FAIL từng rule + 2 chỉ số Completeness% và Consistency%.
Hai trục cân bằng 50/50 vì thiếu nội dung và sai nội dung gây chi phí sửa tương đương. Tiêu chí con từng nhóm: Phần 3. Trọng số chốt cùng khách hàng trước khi đo.
Mỗi nhóm là một hạng mục chấm của Tầng 2; trọng số cộng đủ 100% theo từng trục. Bộ dưới đây áp cho tài liệu thiết kế màn hình; code và test case dùng bộ tương ứng riêng, cùng nguyên lý.
Kiểm phép cộng: 完成度 = 20+20+25+20+15 = 100% · 精度 = 25+20+15+20+10+10 = 100%. Mọi bộ trọng số công bố đều phải cộng đủ 100 - đây là quy tắc cứng của phương pháp.
Rule-based, không dùng AI chấm AI. Mọi con số tính bằng thuật toán xác định - chạy lại luôn ra đúng số cũ, audit được căn cứ từng điểm. LLM nếu có chỉ gợi ý soát thêm, không bao giờ là căn cứ kết luận duy nhất.
Không có con số trần trụi. Mọi tỷ lệ phần trăm báo kèm mẫu số (bao nhiêu mục trên tổng bao nhiêu mục). Toàn bộ input được lưu kèm báo cáo để tái lập.
Cách đo: so sánh bằng git giữa bản v0 (AI sinh) và bản v2 (reviewer chốt), từng dòng một. Hai bản được format thống nhất trước khi so để thay đổi trình bày không bị đếm nhầm là sửa. Với từng file: A = tổng số dòng bản v2, B = số dòng SE viết thêm, C = số dòng SE sửa lại; tỷ lệ giữ nguyên = (A − B − C) / A. Không đếm file test, migration, config và tính năng hệ mới thêm mà bản cũ không có.
Màn hình đo chi tiết: 2.039 dòng bản v2, SE viết thêm 324 dòng, sửa 172 dòng → (2.039 − 324 − 172) / 2.039 = 75.7%. File lớn chi phối con số này.
Cùng màn hình đó, tính tỷ lệ giữ nguyên từng file rồi lấy trung bình: mỗi file một phiếu, không phân biệt to nhỏ.
Phương pháp đã áp dụng trọn vẹn tại hai dự án, tài liệu thiết kế theo chuẩn SI Nhật: dự án A (phát triển mới, 8 màn hình) và dự án B (migration, 4 màn hình, đo bằng git line-compare v0 so với v2).
| Sản phẩm | Quy mô so sánh | Coverage · độ phủ | Accuracy · độ đúng |
|---|---|---|---|
| Tài liệu thiết kế chi tiết (dự án A) | trung bình 8 màn hình | 82.3% | 86.0% |
| Tài liệu thiết kế BD/DD (dự án B) | 4 màn hình, đếm item 5 nhóm | 97.0%item v0 còn lại trong v2 | 89.9%item giữ nguyên không phải sửa |
| Test case (dự án A) | 701 case AI so với 979 case chuẩn | 81.7%800/979 case chuẩn được AI phủ | 77.5%543/701 case AI khớp chuẩn |
| Source code (dự án B) | 4 màn hình, git line-compare v0 vs v2 (Phần 5) | - | 68.1%tổng dòng AI giữ nguyên / tổng dòng v2 |
| Đối chiếu hệ cũ - hệ mới (dự án B) | cùng input, so output từng test case | - | 100%4/4 màn hình |
Ở dự án A, tỷ lệ lỗi thực sự do AI gây ra chiếm 11.1% tổng số bug ghi nhận trong giai đoạn test. Các con số là kết quả đo có bảng đếm và bằng chứng từng màn hình, không phải ước lượng.
Cam kết 1 · Trọng số cố định: checklist và trọng số thống nhất với khách hàng trước khi đo, cố định trong suốt dự án để số liệu giữa các đợt so sánh được với nhau.
Cam kết 2 · Điểm không thay thế review: điểm số phục vụ theo dõi hiệu quả AI và cải tiến quy trình; các bước audit của con người ở v1, v2, v3 vẫn thực hiện đầy đủ bất kể điểm cao hay thấp.
| Điểm khác | Cách đọc đúng |
|---|---|
| Mã nhóm A/C trùng ký hiệu | A1-A6 / C1-C5 ở trang này là nhóm tiêu chí rubric GTC (hạng mục chấm bên trong một tài liệu). A1-A4 / C1-C9 bên GTC-OPT là mã chỉ số KPI toàn dự án. Hai hệ ký hiệu độc lập, không quy đổi trực tiếp. |
| Vị trí trong bức tranh KPI | Toàn bộ phương pháp trang này chính là cách đo cho chỉ số A2 Docs-gen FPA (và cùng nguyên lý cho A3 code / A4 test case) của bộ KPI GTC-OPT. |
| Công thức gộp 2 trục | Trang này gộp 50/50 (đã chạy thật ở dự án A). GTC-OPT định nghĩa A2 = min(Completeness%, Accuracy%) - cách gộp bảo thủ hơn (lấy trục yếu). Hai cách cùng dựa trên 2 trục này; chốt một cách với khách hàng trước khi báo số, không trộn lẫn. |
| Số đã đo | Số ở Phần 6 là của dự án A/B đã hoàn tất. Bộ KPI GTC-OPT theo dõi PoC hiện tại, một số chỉ số còn pending. |