Với khoá luận học máy, hãy chọn bài toán trước, rồi chọn bộ dữ liệu có giấy phép dùng rõ ràng, chia tập huấn luyện và kiểm tra trước khi làm bất cứ việc gì khác, chọn chỉ số đánh giá theo bản chất bài toán, và luôn so với một mô hình cơ sở đơn giản.
Học máy là hướng nhiều sinh viên công nghệ thông tin chọn vì tài liệu và thư viện có sẵn rất nhiều. Chính sự dễ bắt đầu đó tạo ra những khoá luận có kết quả đẹp nhưng không đứng vững: độ chính xác rất cao vì dữ liệu kiểm tra lọt vào huấn luyện, chỉ số không hợp với bài toán, không có gì để so. Hội đồng có người làm học máy sẽ hỏi đúng những chỗ này.
Chọn bộ dữ liệu: ba câu hỏi trước khi tải về
Được phép dùng không?
Mỗi bộ dữ liệu công khai có giấy phép hoặc điều khoản sử dụng: chỉ dùng cho nghiên cứu, cấm dùng thương mại, phải trích dẫn bài báo gốc, hay yêu cầu đăng ký. Đọc và ghi giấy phép vào luận văn. Dữ liệu tự thu thập từ trang web của người khác cần xem điều khoản của trang đó; dữ liệu có thông tin cá nhân cần cân nhắc ẩn danh và sự đồng ý.
Có hợp bài toán của bạn không?
Một bộ dữ liệu bình luận tiếng Anh không giúp bạn kết luận về bình luận tiếng Việt. Bộ dữ liệu ảnh chụp trong điều kiện phòng thí nghiệm có thể không đại diện cho ảnh chụp ngoài đồng ruộng. Ghi rõ dữ liệu đến từ đâu, thu khi nào, phân bố nhãn ra sao.
Đủ chất lượng không?
Kiểm tra nhãn sai, bản ghi trùng, giá trị thiếu, mất cân bằng giữa các lớp. Các kho dữ liệu lớn như Kaggle hay UCI Machine Learning Repository có nhiều bộ tốt nhưng cũng có bộ do người dùng tải lên chưa được kiểm tra kỹ. Đọc mô tả và các thảo luận đi kèm trước khi tin.
Chia dữ liệu và tránh rò rỉ
Chia trước, xử lý sau
Tách tập kiểm tra ngay từ đầu và cất đi. Mọi bước tiền xử lý có học từ dữ liệu, như chuẩn hoá theo trung bình, chọn đặc trưng, cân bằng lớp bằng sinh mẫu, chỉ được học trên tập huấn luyện rồi áp lên tập kiểm tra. Chuẩn hoá cả bộ dữ liệu trước khi chia là kiểu rò rỉ phổ biến nhất trong khoá luận.
Chia theo đơn vị đúng
Nếu một bệnh nhân có nhiều ảnh, một khách hàng có nhiều giao dịch, một người dùng có nhiều bình luận, hãy chia theo bệnh nhân, khách hàng, người dùng, không chia theo từng bản ghi. Với dữ liệu chuỗi thời gian, tập kiểm tra phải nằm sau tập huấn luyện về thời gian.
Tập kiểm định để chỉnh tham số
Chọn siêu tham số bằng tập kiểm định riêng hoặc kiểm định chéo trên tập huấn luyện. Nếu bạn chỉnh tham số theo kết quả trên tập kiểm tra rồi báo cáo chính kết quả đó, con số đã bị lạc quan.
Chọn chỉ số theo bài toán
Không có chỉ số tốt nhất cho mọi bài toán. Chọn theo điều mà người dùng kết quả thật sự quan tâm.
| Bài toán | Chỉ số thường dùng | Lưu ý |
|---|---|---|
| Phân loại cân bằng | Độ chính xác (accuracy), F1 | Báo kèm ma trận nhầm lẫn |
| Phân loại mất cân bằng, lớp hiếm quan trọng | Độ chính xác dương (precision), độ phủ (recall), F1 của lớp hiếm, AUC của đường precision–recall | Độ chính xác chung dễ cao giả khi lớp đa số chiếm áp đảo |
| Xếp hạng, chấm điểm rủi ro | AUC của đường ROC | Nói rõ ngưỡng nếu cần ra quyết định |
| Hồi quy | MAE, RMSE | Đọc theo đơn vị của biến cần dự đoán |
| Phân loại nhiều lớp | F1 trung bình theo lớp (macro) và theo mẫu (weighted) | Báo cả hai khi lớp lệch nhau |
Báo cáo kết quả trung bình và độ lệch qua nhiều lần chạy với hạt giống ngẫu nhiên khác nhau, hoặc qua các lần gập của kiểm định chéo. Một con số duy nhất từ một lần chạy không cho biết kết quả có ổn định không.
Với bài toán có hậu quả lệch nhau, ví dụ bỏ sót giao dịch gian lận tốn kém hơn nhiều so với báo nhầm, hãy giải thích vì sao bạn ưu tiên chỉ số nào và ngưỡng quyết định được chọn ra sao. Lập luận này nên dựa trên bối cảnh bài toán, không dựa trên việc chỉ số nào cho con số đẹp hơn.
Mô hình cơ sở: điểm tựa để kết quả có nghĩa
Mô hình cơ sở là phương pháp đơn giản bất kỳ ai cũng làm được: luôn đoán lớp đa số, hồi quy logistic trên đặc trưng cơ bản, một mô hình đã công bố cho bài toán tương tự. Nếu mô hình phức tạp của bạn chỉ hơn mô hình đoán lớp đa số vài điểm phần trăm, đó là thông tin quan trọng hội đồng cần biết.
Khi so sánh, giữ mọi điều kiện như nhau: cùng cách chia dữ liệu, cùng tiền xử lý nếu có thể, cùng chỉ số. So với kết quả trong bài báo khác chỉ có ý nghĩa khi dùng đúng bộ dữ liệu và cách chia của họ; nếu không, hãy tự chạy lại phương pháp của họ trong điều kiện của bạn.
Viết chương thực nghiệm theo thứ tự nào?
Một chương thực nghiệm rõ ràng cho phép người khác làm lại được. Thứ tự dưới đây là khung phổ biến.
- Mô tả dữ liệu: nguồn, giấy phép, kích thước, phân bố nhãn, các bước làm sạch.
- Cách chia dữ liệu: tỉ lệ, đơn vị chia, có kiểm định chéo không, hạt giống ngẫu nhiên.
- Các mô hình được so: mô hình cơ sở, mô hình đề xuất, siêu tham số và cách chọn.
- Môi trường chạy: phần cứng, phiên bản các thư viện chính, thời gian huấn luyện.
- Kết quả chính: bảng chỉ số của mọi mô hình trên cùng tập kiểm tra, có trung bình và độ lệch.
- Phân tích lỗi: ma trận nhầm lẫn, ví dụ mô hình đoán sai, nhóm dữ liệu mô hình yếu.
- Thảo luận: kết quả nói gì về bài toán, giới hạn của dữ liệu và thiết kế thực nghiệm.
Phần phân tích lỗi thường ngắn nhất trong các khoá luận nhưng lại là phần hội đồng đánh giá cao nhất, vì nó cho thấy bạn hiểu mô hình chứ không chỉ chạy được nó.
Tình huống: độ chính xác rất cao trên dữ liệu ảnh lá cây
Kết quả ban đầu. Một sinh viên phân loại bệnh trên lá lúa đạt độ chính xác gần tuyệt đối trên tập kiểm tra.
Phát hiện. Người hướng dẫn hỏi về cách chụp ảnh. Hoá ra mỗi bệnh được chụp ở một buổi khác nhau, nền và ánh sáng khác nhau; mô hình có thể đang học nền ảnh chứ không học vết bệnh. Thêm nữa, ảnh của cùng một cây nằm ở cả hai tập.
Sửa. Sinh viên chia lại theo cây, thử trên một nhóm ảnh chụp ở ruộng khác, và báo cáo kết quả thấp hơn nhưng thật. Phần phân tích lỗi trở thành điểm mạnh nhất của khoá luận.
Bảng kiểm trước khi viết chương thực nghiệm
Đánh dấu từng mục; mục nào chưa làm được thì ghi vào phần giới hạn.
- Giấy phép và nguồn gốc dữ liệu đã ghi rõ.
- Tập kiểm tra được tách trước mọi bước tiền xử lý.
- Dữ liệu chia theo đúng đơn vị và đúng thứ tự thời gian nếu cần.
- Có mô hình cơ sở, chạy trong cùng điều kiện.
- Chỉ số hợp bài toán, có ma trận nhầm lẫn hoặc phân tích lỗi.
- Kết quả có trung bình và độ lệch qua nhiều lần chạy.
- Mã và cấu hình đủ để người khác chạy lại.
Câu hỏi thường gặp
Khoá luận học máy có cần tự thu thập dữ liệu không?
Không bắt buộc. Bộ dữ liệu công khai có giấy phép rõ là lựa chọn an toàn. Tự thu thập cho bạn bài toán riêng nhưng tốn nhiều thời gian gán nhãn và cần lưu ý quyền riêng tư.
Độ chính xác bao nhiêu thì đủ để bảo vệ?
Không có ngưỡng chung. Hội đồng đánh giá kết quả so với mô hình cơ sở, cách đánh giá có đúng không, và bạn phân tích được vì sao mô hình đúng hay sai.
Có nên dùng mô hình học sâu cho khoá luận không?
Nên khi dữ liệu đủ lớn, có máy chạy được và bài toán thật sự cần. Nhiều bài toán dữ liệu bảng nhỏ được giải tốt bằng mô hình đơn giản; hãy so sánh trước khi chọn.
Rò rỉ dữ liệu là gì và làm sao phát hiện?
Là khi thông tin từ tập kiểm tra lọt vào quá trình huấn luyện. Dấu hiệu thường là kết quả cao bất thường; kiểm tra lại thứ tự chia và tiền xử lý, và chia theo đúng đơn vị.
F1 và AUC khác nhau thế nào?
F1 đánh giá tại một ngưỡng quyết định cụ thể, cân bằng giữa precision và recall. AUC đánh giá khả năng xếp hạng của mô hình trên mọi ngưỡng.
Có cần công bố mã nguồn thực nghiệm không?
Nên lưu trong kho mã có ghi phiên bản thư viện và cấu hình. Việc công khai hay chỉ nộp cho hội đồng tuỳ quy định của trường và giấy phép dữ liệu.