История изменений

Ну если мы разделяем информацию на скрытую (энтропия, (3), хотя она не всегда может быть получена) и доступную наблюдению (1), то да — они будут в обратном отношении (плюс вместе они — (2)). Например, в термодинамике энтропия это скрытая информация о микро-состояниях, в термодинамике чёрных дыр энтропия чёрной дыры — поглощённая её информация (пропорциональная её поверхности), тогда как обычная информация — доступная информация о макро-состояниях и не поглощённая информация, соответственно. Увеличение энтропии в таком случае будет означать увеличение скрытой информации и потерю обычной, хотя вообще информации сколько было, столько и есть.

Я говорил про Shannon entropy = Shannon information = information entropy из теории информации/кодирования которая положительна, измеряется в битах и измеряет информационную ёмкость канала (как в теории алгоритмической информации эквивалентное понятие даётся битностью максимально компактного представления), хотя если такой канал это единственное сообщение с вероятностью 1, то энтропия будет равна нулю, хотя ты можешь сказать, что «информация» максимальна ((1) = (2), (3) = 0) — мы точно знаем что за сигнал мы получим (в обратном случае энтропия больше и сигналы получаются с соответствующими вероятностями, так что «информации» о них меньше — -log(p_i) на каждое).

Просто информация содержащаяся во множестве не является энтропией Шеннона.

Я говорю про то что для f : A -> B, H(A) >= H(B).

Ну если мы разделяем информацию на скрытую (энтропия, (3), хотя она не всегда может быть получена) и доступную наблюдению (1), то да — они будут в обратном отношении (плюс вместе они — (2)). Например, в термодинамике энтропия это скрытая информация о микро-состояниях, в термодинамике чёрных дыр энтропия чёрной дыры — поглощённая её информация (пропорциональная её поверхности), тогда как обычная информация — доступная информация о макро-состояниях и не поглощённая информация, соответственно. Увеличение энтропии в таком случае будет означать увеличение скрытой информации и потерю обычной, хотя вообще информации сколько было, столько и есть.

Я говорил про Shannon entropy = Shannon information = information entropy из теории информации/кодирования которая положительна, измеряется в битах и измеряет информационную ёмкость канала (как в теории алгоритмической информации эквивалентное понятие даётся битностью максимально компактного представления), хотя если такой канал это единственное сообщение с вероятностью 1, то энтропия будет равна нулю, хотя ты можешь сказать, что «информация» максимальна ((1) = (2), (3) = 0) — мы точно знаем что за сигнал мы получим (в обратном случае энтропия больше и сигналы получаются с соответствующими вероятностями, так что «информации» о них меньше — -log(p_i) на каждое).

Просто информация содержащаяся во множестве не является энтропией Шеннона.

Я говорю про то что для f : A -> B, H(A) >= H(B).