Báo cáo enrich — Lớp 5: đánh giá, thực nghiệm và bằng chứng#
Ngày 11/10/2026. Đã phát triển chương 05 thành mười bài học sâu, có derivation, worked examples, counterexamples, bài tập/đáp án reasoning và links tới tiền đề lớp 1–4. Trạng thái biên soạn khác trạng thái người học: câu đầu M1 đang chờ trả lời; lớp 5 chưa được đánh dấu học xong.
Điểm vào · nguồn · tiến độ/handoff.
Từ lỗ hổng tới năng lực kiểm được#
| Khoảng mỏng trước enrich | Nội dung đã thêm | Worked case/counterexample | Tự kiểm |
|---|---|---|---|
| Decision chưa có estimand/population/unit | Bài 1: measurement contract, conditional denominators, priors/costs | 99%accuracy always-accept có risk cao; finite threshold tradeoff | Viết action/class/unit/population/threshold source |
| EER/ROC/PR chỉ tên/định nghĩa | Bài 2: tie-block sweep/endpoints, pair AUC, AP vs trapezoid, DET, finite interpolation, low-FPR support | AUC 13/18, AP 34/45, PR area 133/180; no exact EER point; official all-tie behavior | Tính bằng tay và khóa convention |
| DCF/Cllr chưa có Bayes derivation/calibration example | Bài 3: raw/normalized, Bayes threshold, weighted-CE offset, stable softplus, PAV oracle | Shift+10 giữ EER/minDCF nhưng actDCF/Cllr khác; EER-optimal threshold không minDCF-optimal | Phân biệt posterior/LLR/neural score và dev-fit/eval oracle |
| tDCF/SASV/localization chỉ taxonomy | Bài 4: three trial types, conditional tandem products, modern normalizer, interval/range denominators | aDCF 0.5625; tandem raw 0.195; joint spoofFA 0–50% với same marginals; timelineF 1=0.5 | Nêu task, assumptions, boundary/collar/matching |
| Pooled/macro chỉ trực giác | Bài 5: offsets, shared genuine references, weights/worst-group | Mỗi groupEER 0 nhưng pooledEER 0.5; ranking model đảo khi weights đổi | Chốt shared/global hay local threshold, weights |
| Split chưa nối development access/selection | Bài 6: ancestry graph, connected groups, access regimes, nested design, reported history | Ba descendants u1 khác bytes nhưng shared parent; winner dev 9% khi true 10% | Phân biệt exact contamination với ancestry và test feedback |
| Uncertainty chưa thao tác | Bài 7: conditional seed CI, paired group draws, crossed factors, degenerate draws, matched tests/TOST/Holm | Bốn ordered draws với Δ−1/0/+1; McNemar exactp 18/256; equivalence bounds và Holm stop | Nêu random unit, estimand, null, CI assumptions/margin |
| Mechanism chưa tách contrasts | Bài 8: fixed vs tuned recipe, objective/recipe confounds, inference/retrain ablations | Probe source 100% nhưng head không reliance; redundant cue retraining counterexample | Nêu intervention và competing explanations |
| Provenance chỉ checklist | Bài 9: chain từ waveform tới rounded table, manifests, reproduction levels | Positional join làm AUC 0.75 thành 1 dù shapes/row counts đúng | Join IDs/labels và giới hạn baseline/wrapper gates |
| Efficiency/claim còn tên axes | Bài 10: timing boundary, RTF/delay/cache/exposures, finite frontier, claim năm phần | RTF 0.03 khác 2.68 s initial delay; cache 4.875 MiB; exposures 3× | Viết measured cost/scope/uncertainty, không suy từ trainable count |
Tài sản đã tạo và phạm vi chỉnh sửa#
Folder lớp 5 có start, mười bài, ledger 11, report 12, progress 13; ba hồ sơ research (hai agent và root), initial-gap note, baseline snapshot, pinned scorer source, script QA, machine output và hai hình metrics/cost-bootstrap.
Ngoài folder lớp 5:
- Global 00 thêm đúng một đoạn liên kết lớp 5.
- Chương 05 giữ map; thêm deep links theo mục và sửa ambiguity về EER finite sample, PAV oracle, reported development history và seed×sample crossed design.
- Snapshot SHA-256 kiểm 241 files; chỉ hai map 00/05 được phép đổi. Không sửa lớp 1–4, chương 06–09, manuscript/notebook/recipe/data trong snapshot. Coordinator 09 không được sửa, không gửi message sang chat khác.
Hai agent Luna max được giao nghiên cứu riêng metrics/evidence theo yêu cầu, chỉ ghi dossier trong research. Root dùng file handoff, đọc thêm nguồn primary và quyết định claims cuối. Root review ghi những corrections và phần trực tiếp kiểm.
Kiểm tra và cách chạy lại#
Script chỉ chạy finite toys và material QA; không model/corpus. Dùng environment đã có ở workspace: tmp/lop 01-runtime/Scripts/python.exe, NumPy 2.2.6, Matplotlib 3.10.7; Python exact version ghi trong JSON. Không cài dependency mới.
& '.\tmp\lop01-runtime\Scripts\python.exe' 'JEPA Research/on-tap-2026-10/lop-05-danh-gia-thuc-nghiem/scripts/kiem-tra-hoc-lieu.py'Kết quả cuối: passed=true, 48 nhóm phép tính đạt, 139 local links tồn tại, cấu trúc 20 Markdown files đạt và snapshot 241 files chỉ có hai thay đổi được phép. Chi tiết xem JSON:
- 48 nhóm numerical assertions: sweep/independent AUC area, AP/PR area, interpolated EER, min/actDCF, Cllr, modern tDCF, local rates, group-weight/crossed-design toys, exact paired draws, McNemar/Holm, mechanism/ID-join/cache/exposure/frontier.
- Imported pinned official scorer chỉ để kiểm all-tie EER, shifted-score actDCF và finite Cllr. Không xác nhận scorer Arena dùng trong paper.
- Local file links được kiểm tồn tại, Markdown fences/table column counts/details/math delimiters/encoding được kiểm cấu trúc. Không coi tồn tại link là semantic audit toàn nội dung, và không crawl mọi remote URL.
- Baseline hashes kiểm phạm vi protected; output allowed_changes chỉ gồm 00/05.
- Hai PNG đã xem trực tiếp; plots không cắt nhãn/trục, convention B-positive và DET clipping rõ. PDF reported Tables 2/4 được đối chiếu với render p9–10.
Các lỗi số phát hiện trong quá trình biên soạn đã sửa trước bàn giao: PR trapezoid 133/180; minDCF 2/3 thay 29/30; paired pooled toy coincidence 0.5 thay suy sai 1/3; Cllr/cache rounding. Những checks này xác minh phép tính minh họa, không xác minh result của paper.
Facts còn thiếu và claims không được nâng mức#
Paper EER/recipe/sizes/development history ở lớp này là reported. Chưa audit raw per-ID scores, toàn search history, exact lineage/sample exposure, runtime wrappers/checkpoints hay calibration/latency/memory ngoài miền. Không mới kết luận significance, objective causality, exact leakage, localization quality hoặc detector Pareto frontier thật.
Field–Welsh chỉ agent đọc PDF method; DeLong full method chưa đọc; Dietterich OCR không đủ; Geirhos chỉ abstract; MLPerf master chưa pin. PAV và BOSARIS có sample-optimality scope; không theorem generalization. Seed×group EER resampling là design proposal với assumptions/coverage còn phải kiểm, không automatic valid CI.
Học liệu giữ mạch từ lý thuyết → phép đo → design → claim. Empirical questions chưa đủ evidence được ghi giới hạn, không chuyển thành training/download/rerun trong nhiệm vụ enrich này. Không chọn đề tài, GPU hay venue.