История изменений

Чем выше энтропия, тем меньше информации

Множество A = {a_1, ..., a_n}, |A| = n, функция вероятности с неким распределением на элементах {p_1, ..., p_n}, sum p_i = 1.

Энтропия Шеннона = H(A) = - sum p_i log(p_i) = sum p_i log(1/p_i); 0 <= p_i <= 1, так что H(A) >= 0.

Равномерное распределение: n * p_i = 1; (максимальная относительно прочих распределений) энтропия на A = H(A) = (sum p_i log(1/p_i) = n * 1/n log(n) =) log(n) = информация измеренная в количестве (base-)бит нужное для кодирования элементов A.

Больше величина (максимальной) энтропии H(A) — больше бит и наоборот.

http://en.wikipedia.org/wiki/Shannon_information

Shannon entropy is the average unpredictability in a random variable, which is equivalent to its information content.

Чем выше энтропия, тем меньше информации

Множество A = {a_1, ..., a_n}, |A| = n, функция вероятности с неким распределением на элементах {p_1, ..., p_n}, sum p_i = 1.

Энтропия Шеннона = H(A) = - sum p_i log(p_i) = sum p_i log(1/p_i); 0 <= p_i <= 1, так что H(A) >= 0.

Равномерное распределение: n * p_i = 1; (максимальная относительно прочих распределений) энтропия на A = H(A) = log(n) = информация измеренная в количестве (base-)бит нужное для кодирования элементов A.

Больше величина (максимальной) энтропии H(A) — больше бит и наоборот.

http://en.wikipedia.org/wiki/Shannon_information

Shannon entropy is the average unpredictability in a random variable, which is equivalent to its information content.