Độ đo Entropy bằng 1 khi nào trong Decision Tree (bài toán phân loại 2 lớp)?

Mở đầu

Khi học đến Decision Tree trong các bài toán phân loại, nhiều bạn thường gặp một thắc mắc quen thuộc:

“Entropy bằng 1 nghĩa là gì? Tại sao đôi khi nó bằng 0, đôi khi bằng 1? Và điều này liên quan gì đến việc chọn điểm chia trong cây quyết định?”

Sự bối rối này hoàn toàn bình thường, vì Entropy thuộc nhóm khái niệm nền tảng trong Machine Learning (liên quan đến Module 4 – ML cơ bản). Nắm rõ bản chất của Entropy giúp bạn hiểu vì sao Decision Tree chọn nhánh này thay vì nhánh khác.

Entropy trong phân loại 2 lớp là gì?

Entropy đo mức độ hỗn loạn (không chắc chắn) của nhãn tại một node.

Entropy thấp → dữ liệu “gọn”, ít nhiễu, mô hình dễ phân loại.
Entropy cao → dữ liệu “lẫn lộn”, khó quyết định.

Với 2 lớp (binary classification), Entropy được tính dựa trên tỷ lệ xuất hiện của từng lớp trong node.

Bạn có thể xem Entropy như mức “rối” của nhãn trong node: càng lẫn nhiều → node càng “mất trật tự”.

Khi nào Entropy = 1?

Trong bài toán 2 lớp, Entropy đạt giá trị tối đa 1 khi:

→ Hai lớp xuất hiện với tỷ lệ bằng nhau: 50% – 50%

Đây là lúc node chứa dữ liệu cân bằng tuyệt đối, không nghiêng về lớp nào → mức độ bất định cao nhất.

Tóm tắt:

Nếu lớp A = 50%
Lớp B = 50%
→ Entropy = 1

Đây là mức hỗn loạn tối đa trong phân loại nhị phân.

Vì sao lại là mức tối đa?

Khi hai lớp bằng nhau:

Không có dấu hiệu để nghiêng về một lớp cụ thể
Không thể dự đoán lớp nào chiếm ưu thế
Cây quyết định buộc phải chia tiếp vì node “chưa sạch”

Entropy cao = cần tách thêm.

Ví dụ thực tế

Giả sử bạn phân loại email thành:

Email “bình thường”
Email “spam”

Nếu trong một node có:

100 email bình thường
100 email spam

→ tỷ lệ 50% – 50%
→ Entropy = 1

Node này không giúp ích cho việc dự đoán vì mức hỗn loạn tối đa.

Điều này ảnh hưởng gì đến Decision Tree?

Decision Tree sẽ tìm thuộc tính sao cho khi tách node:

Các node con có Entropy thấp hơn
Dữ liệu trong node con trở nên “sạch” hơn
Quyết định phân loại trở nên rõ ràng hơn

Quá trình này gắn trực tiếp với:

Entropy
Information Gain
Quy tắc chọn split

Đây là phần quan trọng trong pipeline ML cơ bản (Module 4).

Liên hệ đến kiến thức nền

Entropy kết nối với nhiều phần của lộ trình AI:

Logic thống kê & xác suất (Modules 1–2)
Regression & Classification trong ML cơ bản (Module 4)
XAI khi phân tích đường đi của Decision Tree
Loss function & uncertainty (Module 5 – Pre-Deep Learning)

Hiểu Entropy giúp bạn nắm vững cách các mô hình “đo sự hỗn loạn” — từ cây quyết định đến các mô hình phức tạp hơn.

Lời khuyên cho người bắt đầu

Bạn có thể thử:

Tạo các node giả với tỷ lệ lớp khác nhau (10–90, 30–70, 50–50…)
Tính Entropy để xem mức độ thay đổi
Quan sát Information Gain khi mô hình chọn điểm chia

Các thử nghiệm nhỏ và trực quan này giúp bạn hiểu sâu hơn thay vì học công thức khô khan.