Weighted Loss (như Weighted Cross-Entropy) giúp mô hình quan tâm hơn đến lớp thiểu số bằng cách nào?

Mở đầu

Trong quá trình học các bài toán phân loại, nhiều người dễ gặp tình huống dữ liệu lệch lớp: một lớp xuất hiện rất nhiều, lớp còn lại rất ít.

Khi đó mô hình có xu hướng nghiêng về lớp xuất hiện nhiều hơn, dù lớp thiểu số mới là phần quan trọng trong bài toán.

Weighted Loss là một cách thường gặp để xử lý tình huống này, nhưng cơ chế của nó đôi khi vẫn gây nhầm lẫn.

Bài viết đi thẳng vào bản chất: vì sao chỉ cần gán thêm “trọng số” là mô hình thay đổi hành vi học?

Weighted Loss hoạt động như thế nào?

Weighted Loss, đặc biệt là Weighted Cross-Entropy, thay đổi mức đóng góp của từng lớp vào tổng giá trị loss. Thay vì để tất cả các mẫu có ảnh hưởng ngang nhau, ta gán trọng số lớn hơn cho mẫu thuộc lớp thiểu số và nhỏ hơn cho lớp xuất hiện nhiều. Khi đó:

Mỗi lỗi sai ở lớp thiểu số được coi là nghiêm trọng hơn.
Mô hình sẽ cố gắng giảm lỗi của lớp thiểu số trước vì nó gây ảnh hưởng lớn lên giá trị loss cuối cùng.
Kết quả: mô hình không “làm lơ” lớp ít mẫu nữa, mà buộc phải học ranh giới phân loại tốt hơn cho lớp đó.

Cơ chế này tương tự như việc thay đổi độ quan trọng của từng điểm dữ liệu trong quá trình tối ưu, vốn thuộc nhóm kiến thức thường gặp khi học về losses & optimization trong các module tiền Deep Learning.

Ví dụ minh họa

Giả sử một bài toán phân loại bệnh, trong đó:

95% mẫu là “không bệnh”
5% mẫu là “có bệnh”

Nếu không dùng Weighted Loss, mô hình dễ dàng dự đoán tất cả là “không bệnh” và vẫn đạt độ chính xác cao.

Khi gán trọng số cao hơn cho lớp “có bệnh”, mỗi lần dự đoán sai trường hợp này sẽ tăng loss rõ rệt. Mô hình buộc phải học các đặc điểm liên quan đến nhóm bệnh thay vì bỏ qua. Tình huống này rất hay gặp trong các dự án thực tế liên quan đến y tế, tài chính hoặc phát hiện gian lận.

Góc nhìn dự án AI/ML

Trong dự án thực tế, Weighted Loss giúp giải quyết hiện tượng dữ liệu lệch lớp mà không cần thu thêm dữ liệu mới.

Tuy nhiên, cách gán trọng số cũng cần lưu ý:

Nếu trọng số quá lớn: mô hình dễ nghiêng ngược lại, tập trung quá mức vào lớp thiểu số.
Nếu trọng số quá nhỏ: lợi ích gần như không có.
Việc tìm trọng số phù hợp thường cần thử nghiệm, đánh giá trên tập validation và theo dõi các metric như F1, Recall của từng lớp.

Weighted Loss là một lựa chọn quan trọng bên cạnh các kỹ thuật như sampling hay augmentation, thường được thảo luận trong nhóm kiến thức liên quan đến classification, loss function, và MLOps phân tích lỗi.

Liên hệ kiến thức nền

Khi học theo từng nhóm kiến thức nền tảng:

Từ toán – Python – NumPy (modules 1–2), người học nắm được cách tính toán loss qua từng mẫu.
Khi chuyển sang ML cơ bản (module 4), mục tiêu tối ưu và hành vi của loss được giải thích rõ hơn.
Ở các module tiền Deep Learning (5–6), cơ chế trọng số, gradient và tối ưu hóa giúp hiểu vì sao Weighted Loss ảnh hưởng trực tiếp đến thuật toán học.
Tới Deep Learning (7–8), Weighted Cross-Entropy trở thành công cụ quen thuộc trên cả bài toán ảnh, văn bản hoặc mô hình phân loại phức tạp.

Những nội dung này xuất hiện như kiến thức nền tảng trong lộ trình AI/ML và được dùng xuyên suốt trong nhiều bài toán khác nhau.

Lời khuyên cho người bắt đầu

Bạn có thể bắt đầu bằng việc:

Dùng một bộ dữ liệu lệch lớp nhỏ và thử so sánh kết quả có – không dùng Weighted Loss.
Theo dõi sự thay đổi của Recall trên lớp thiểu số để hiểu tác động thực tế.
Thử nhiều trọng số khác nhau để quan sát độ nhạy của mô hình.

Những bước đơn giản này giúp hiểu rõ cơ chế trước khi áp dụng vào dự án lớn hơn.

Hỏi đáp nhanh

Weighted Loss có phải lúc nào cũng tốt hơn không?
Không, nó chỉ phù hợp khi dữ liệu bị lệch lớp.
Weighted Loss có thay đổi cấu trúc mô hình không?
Không, chỉ thay đổi cách tính loss.
Có cần áp dụng thêm sampling khi đã dùng Weighted Loss?
Không bắt buộc, tùy thuộc mức độ lệch lớp.
Weighted Loss có dùng cho bài toán nhiều lớp được không?
Có, chỉ cần gán trọng số cho từng lớp.

FAQ về chương trình AIO

Q1. Con số 0 thì học nổi không?
Ans: Chỉ cần bạn có thời gian học. Điều quan trọng nhất không phải giỏi hay không, mà là có học đều mỗi ngày. Kiến thức – tài liệu – môi trường đã có team lo. Nếu bạn không có thời gian thì nên cân nhắc.

Q2. Ai dạy AIO?
Ans: Đội admin dạy toàn bộ. Admin trực tiếp hướng dẫn và hỗ trợ mọi câu hỏi của bạn trong suốt quá trình học.

Q3. Admin có “xịn” không?
Ans: Admin đều là người làm nghề thật, mỗi người một cách dạy. Quan trọng là bạn cảm thấy hợp cách truyền đạt. Admin không dám nói xịn, chỉ dạy bằng hết sức.

Q4. AIO có gì khác những nơi khác?
Ans: AIO không phải trung tâm. Đây là dự án học tập cộng đồng, được cải tiến qua từng khóa. Tinh thần của AIO: Cùng nhau học – cùng nhau khổ – cùng nhau lớn. Nếu hợp tinh thần đó, bạn sẽ thấy phù hợp.