ED-4.2-m08-1.0-Slajd21

Zysk informacyjny (4)

Niech sij oznacza liczbę przykładów z klasy Ci w partycji Sj. Entropię podziału zbioru S na partycje, według atrybutu A definiujemy wzorem przedstawionym na slajdzie. Można łatwo zauważyć, że entropia jest miarą nieuporządkowania zbioru S zgodnie z atrybutem A. Im mniejsza wartość entropii tym większa „czystość” podziału zbioru S na partycje, tzn. uzyskane w wyniku podziału partycje będą tym czystsze im mniejsza jest wartość entropii.

<< Poprzedni slajd | Spis treści | Następny slajd >>