Теперь осталось понять уроки информатики — информации не становится меньше просто так.

Ему нужен архиватор Бабушкина, весь интернет на 1-ой флешке.

Вся теория кодирования вдоль и поперек использует понятие информационной энтропии

я не про энтропию Шеннона, я про твоё определение функций и «многозначных функций», которые «не функции». Давай уж почитай учебник, а потом будешь учить меня «пользоваться общепринятыми терминами».

Под мое определение функции попадают все функции в математике.

конечно. Степенная функция x^½ это не математика, да.

«многозначных функций», которые «не функции»

Общепринятое определение:

a function from A to B is an object f such that every a \in A is uniquely associated with an object f(a) \in B.

via Wolfram MathWorld

Степенная функция x^½ это не математика, да.

x^½: R -> C вполне соответствует определению, которое он дал.

я про твоё определение функций и «многозначных функций», которые «не функции». Давай уж почитай учебник, а потом будешь учить меня «пользоваться общепринятыми терминами».

Вот откуда у тебя столько упорства спорить о вещах, о которых ты не имеешь даже поверхностного представления. Мое определение вполне соответствует общепринятому.

конечно. Степенная функция x^½ это не математика, да.

функция x^½ соответствует моему определению

Ой, я тут опять кукарекну!

x^½: R -> C вполне соответствует определению, которое он дал.

Всмысле uniquely associated? Тогда нет. Вот арифметический корень - вполне да.

Но корень ещё можно рассматривать как аналитическую функцию (т.е. функцию, совпадающую в окрестности каждой точки с некоей регулярной функцией, если не вдаваться в подробности). С помощью концепции аналитического продолжения можно как раз позволить функции иметь в одной точке много значений. Это происходит из-за того, что аналитическое продолжение ещё зависит и от пути, по которому его выполнили.

Очевидное вроде сказал, да, господа?

конечно. Степенная функция x^½ это не математика, да.

Ты, видимо, думаешь, что эта ф-я многозначна? Так вот, обрадую тебя - нет. У нее для каждого неотрицательного х одно единственное значение, т.к. она определяется через арифметический корень. А арифметический корень - однозначен.

x^1/2 - это арифметический корень, по определению степенной функции. Алгебраический корень обозначается как значок корня, и ТОЛЬКО ТАК.

Но корень ещё можно рассматривать как аналитическую функцию

Корень нельзя рассматривать как ф-ю, потому что это не ф-я. И не операция. Это объект определенного рода, который ничего общего не имеет с ф-ми.

С помощью концепции аналитического продолжения можно как раз позволить функции иметь в одной точке много значений. Это происходит из-за того, что аналитическое продолжение ещё зависит и от пути, по которому его выполнили.

Вообще-то аналитическое продолжение всегда единственно.

А арифметический корень - однозначен.

детка, если ты прогуливал школу, то гугли «сколько корней у уравнения 2й степени?».

Не силен в обозначениях, пардон (это я же)

Корень нельзя рассматривать как ф-ю, потому что это не ф-я. И не операция. Это объект определенного рода, который ничего общего не имеет с ф-ми.

Это не функция в классическом понимании, но аналитичекая функция - вполне.

Вообще-то аналитическое продолжение всегда единственно.

Конечно. Но у него может быть несколько ветвей. Самый канонiчный пример - логарифм

ln z = ln |z| + k*arg z

Если интересно как получается, используя сию концепцию - пиши. Но лучше прочитай просто супер-пупер книгу Евграфова «Аналитические функции»

детка, если ты прогуливал школу, то гугли «сколько корней у уравнения 2й степени?».

Ты путаешь алгебраический корень и арифметический.

а если входные данные - действия пользователя? как интерпретировать входные данные для игр? ведь там будет оооочень большие наборы входящих данных

Два (или три? ;) раза ошибся, лол. ln |z| + i*argz+2*pi*k*i, таки да

Это не функция в классическом понимании

Это не функция. Это число. Функция бы ставила в соответствие уравнению его корень.

Конечно. Но у него может быть несколько ветвей.

На римановой поверхности она вполне однозначна.

Ты путаешь алгебраический корень и арифметический.

не я. Я с самого начала говорил про «алгебраический». Ну а «арифметический» — это упрощение, для даунов наверное.

Вот и вика пишет:

Как видно из первого примера, у вещественного корня могут быть два значения (положительное и отрицательное), и это затрудняет работу с корнями. Чтобы обеспечить однозначность, вводится понятие арифметического корня, значение которого всегда неотрицательно

Функция бы ставила в соответствие уравнению его корень.

Стоп, вы о корне уравнения или о, скажем, квадратном корне?

На римановой поверхности она вполне однозначна.

Ну таки да, а на C (вот как правильно напечатать этот символ?) нет. С какого боку смотреть, лол.

Короче, зря я кукарекнул. Я просто хочу растолковать эмульку, что словом «функция» называют иногда разные вещи, и обычная функция однозначна по определению.

Но я чувствую, как эта дискуссия уже сама меня затягивает в говно

не я. Я с самого начала говорил про «алгебраический».

Ну а алгебраический корень - не функция. И x^1/2 - это арифметический корень, а не алгебраический.

Стоп, вы о корне уравнения или о, скажем, квадратном корне?

Я про корень уравнения. Это не функция. Квадратный корень - это корень уравнения (по определению). То есть не функция. Есть арифметический корень - это функция.

Ну таки да, а на C (вот как правильно напечатать этот символ?) нет.

Ну да, на С неоднозначна, потому ее и рассматривают обычно как ф-ю на римановой поверхности, а не на С :)

Вся фишка в том, что сама риманова поверхность - хорошее гладкое односвязное многообразие и функция, с-но, получается «хорошая».

Мы всегда можем взять многозначную ф-ю на X, разделить ее на множество копий C и сделать однозначной на X*C, но полученное Х*С не будет «хорошим» и мы не получим никакого профита. А в случае полного аналитического продолжения все получается. В этом смысл конструкции.

Кстати, а римановы поверхности как применяются? В той книге они описывались всего лишь как иллюстрация того, о чём ты говоришь. А каков профит от них? Чё бы почитать?

В комплексном анализе и применяются. Как следствие - в некоторых разделах алгебраической геометрии. Ну и в топологии, понятное дело, устанавливая связь между топологией и комплексным анализом.

Чё бы почитать?

Я даже не знаю. Оно обычно то тут, то там встречается, на счет отдельных монографий по теории римановых поверхностей я не в курсе. Можешь погуглить что-то типа «римановы поверхности»/«комплексный анализ» + «дифференциальная топология»

Можешь погуглить что-то типа «римановы поверхности»/«комплексный анализ» + «дифференциальная топология»

Но читать это нет смысла, пока не осилишь пару учебников по общей/диф. топологии.

Но читать это нет смысла, пока не осилишь пару учебников по общей/диф. топологии.

С этим я не дружу, лол ;) У меня вообще знания обрывочные

детка, если ты прогуливал школу, то гугли «сколько корней у уравнения 2й степени?».

Иди почитай, что такое арифметический корень и не позорься, ок?

Его уже макали в говнецо на тему «рациональные числа не образуют поля», но он завилял жопкой и сказал, что имел ввиду ВОВСЕ НЕ ТО (хотя слова были вполне однозначны). Сейчас также вилять будет.

вы там сами хоть определитесь, где у вас «функция», а где «объект не функция».

А то я вас не понимаю.

Ты лучше скажи, неужели быть клоуном настолько круто? Я бы на твоем месте научился получать за это деньги.

а ты уже получаешь? Судя по этой теме, на упорин тебе вполне хватает.

Вот смотри что ты говоришь:

Информации становится меньше, энтропия растёт.

Ладно, «энтропия» это грубо говоря величина противоположная информации.

Энтропия измеряет информацию, это синонимы. entropy can only decrease — we can talk about the ‘information loss’ associated with the function, стало меньше энтропии — стало меньше информациии, и наоборот. Меньше энтропии, меньше хаоса, больше определённости, меньше состояний, меньше информации для описания системы; больше энтропии, больше хаоса, меньше определённости, больше состояний, больше информации.

http://en.wikipedia.org/wiki/Shannon_information

Shannon entropy is the average unpredictability in a random variable, which is equivalent to its information content.

http://en.wikipedia.org/wiki/Quantum_information

Quantum information, and changes in quantum information, can be quantitatively measured by using an analogue of Shannon entropy, called the von Neumann entropy.

Но вот энтропия может как расти, так и уменьшаться в любую сторону.

Энтропия не может расти для функции — только оставаться такой же или уменьшаться. Ты же уже с этим согласился, когда сказал «о. Как раз то, о чём я и говорю.»?

Если взять любую не инъективную функцию (как квадрат на целых числах), то она будет уменьшать информацию (вот там картинка — http://en.wikipedia.org/wiki/Surjection), у неё не будет однозначной обратной, будет многозначная (у квадрата будет двузначный корень со знаком в качестве обратной), которая, можно сказать, увеличивает информацию обратно (и то — строго говоря исходные данные по результату не восстановить, только диапазон в котором они находятся).

Они конечно такие, как я хочу, но IRL всё сложнее. Я не усложняю, просто жизнь такая.

Ну привёл бы пример, а то всё квадраты с корнями и сложения с умноженными в кольцах, с которыми и без усложнений всё понятно.

ЩИТО

Всё верно, что тебе не нравится?

http://en.wikipedia.org/wiki/Relation_(mathematics)#Special_types_of_binary_r...

A function: a relation that is functional and left-total.

Функция это такой частный случай многозначной функции (left-total relation) когда значений ровно одно (functional relation).

Но многозначная функция (более общее понятие) это не функция (более специальное), как моноид это не группа.

Ну и

http://en.wikipedia.org/wiki/List_of_types_of_numbers

вы там сами хоть определитесь, где у вас «функция», а где «объект не функция».

У нас в математике все вполне четко и строго определено. Никаких проблем.

А то я вас не понимаю.

Ну бывает, чо. Лишняя хромосома.

Меньше энтропии, меньше хаоса, больше определённости, меньше состояний, меньше информации для описания системы; больше энтропии, больше хаоса, меньше определённости, больше состояний, больше информации.

Ты чего-то напутал, все наоборот. Чем выше энтропия, тем меньше информации. Точнее - чем менее предсказуема система (больше возможных состояний), тем меньше у нас о ней информации

Энтропия не может расти для функции — только оставаться такой же или уменьшаться.

Это энтропия ф-и от случайной величины. Вы вообще не о том говорите оба. Энтропия Шеннона (и собственная информация) определяются для случайной величины и характеризуют некую меру определенности, которую мы получаем, наблюдая эту величину.

Чем выше энтропия, тем меньше информации

Множество A = {a_1, ..., a_n}, |A| = n, функция вероятности с неким распределением на элементах {p_1, ..., p_n}, sum p_i = 1.

Энтропия Шеннона = H(A) = - sum p_i log(p_i) = sum p_i log(1/p_i); 0 <= p_i <= 1, так что H(A) >= 0.

Равномерное распределение: n * p_i = 1; (максимальная относительно прочих распределений) энтропия на A = H(A) = (sum p_i log(1/p_i) = n * 1/n log(n) =) log(n) = информация измеренная в количестве (base-)бит нужное для кодирования элементов A.

Больше величина (максимальной) энтропии H(A) — больше бит и наоборот.

http://en.wikipedia.org/wiki/Shannon_information

Shannon entropy is the average unpredictability in a random variable, which is equivalent to its information content.

Вы вообще не о том говорите оба.

Ну есть энтропия на множестве — Шеннона (в частном случае равномерного распределения — логарифм мощности), есть функции между множествами (сохраняющие меру), соответственно есть изменение в количестве энтропии (= информации, именно — уменьшение обеих).

Ты путаешь три разных понятия. Допустим у нас есть система, она может находиться в некотором наборе состояний, мы этого состояния не знаем и т.о. можем моделировать систему случайной величиной (с байесовской интерпретацией вероятности). При этом у нас есть три совершенно разные информации:

1. априорная информация известная нам о системе

2. максимальная информация, которая вообще может быть известна нам о системе

3. информация, которая может быть получена, если мы пронаблюдаем систему.

(3) - это собственная информация, она является случайной величиной сама по себе (как и (1)) и матожидание (3) и есть энтропия Шеннона. То есть энтропия - это среднее количество информации, которое мы получим, пронаблюдав систему. Эта величина напрямую связана с количеством информации, которую мы можем узнать о системе (то есть с той информацией, которая нам неизвестна), на самом деле можно скзаать, что (1) = (2) - (3), то есть с увеличением (1) уменьшается (3) и наоборот. Если состояние системы в точности определено, то (1) максимально, а энтропия равна нулю (если в распределении системы есть достоверное состояние). Если мы ничего не знаем о системе (распределение равномерно), то (1) будет нулевым, а энтропия максимальна.

Больше величина (максимальной) энтропии H(A) — больше бит и наоборот

Ну так да - если энтропия максимальна, то (1) = 0, и (3) = (2), но это следствие а не опредеелние. Так выходит что в данном конкретном случае (3) и (2) совпадают, но вообще - это разные вещи.

Ну есть энтропия на множестве — Шеннона (в частном случае равномерного распределения — логарифм мощности), есть функции между множествами (сохраняющие меру), соответственно есть изменение в количестве энтропии (= информации, именно — уменьшение обеих).

Просто информация содержащаяся во множестве не является энтропией Шеннона. Информация содержащаяся во множестве Х - это собственная информация данного множества. То есть -log(P), где P - оценка достоверности наших знаний о том, что данное множество совпадает с Х (вероятность того, что данное множество - Х)

Ну если мы разделяем информацию на скрытую (энтропия, (3), хотя она не всегда может быть получена) и доступную наблюдению (1), то да — они будут в обратном отношении (плюс вместе они — (2)). Например, в термодинамике энтропия это скрытая информация о микро-состояниях, в термодинамике чёрных дыр энтропия чёрной дыры — поглощённая её информация (пропорциональная её поверхности), тогда как обычная информация — доступная информация о макро-состояниях и не поглощённая информация, соответственно. Увеличение энтропии в таком случае будет означать увеличение скрытой информации и потерю обычной, хотя вообще информации сколько было, столько и есть.

Я говорил про Shannon entropy = Shannon information = information entropy из теории информации/кодирования которая положительна, измеряется в битах и измеряет информационную ёмкость канала (как в теории алгоритмической информации эквивалентное понятие даётся битностью максимально компактного представления), хотя если такой канал это единственное сообщение с вероятностью 1, то энтропия будет равна нулю, хотя ты можешь сказать, что «информация» максимальна ((1) = (2), (3) = 0) — мы точно знаем что за сигнал мы получим (в обратном случае энтропия больше и сигналы получаются с соответствующими вероятностями, так что «информации» о них меньше — -log(p_i) на каждое).

Просто информация содержащаяся во множестве не является энтропией Шеннона.

Я говорю про то что для f : A -> B, H(A) >= H(B).

(1) = (2), (3) = 0

Впрочем (1) = (2) = (3) = 0, так что не очень пример.

Ну если мы разделяем информацию на скрытую (энтропия, (3), хотя она не всегда может быть получена)

Энтропия - это как раз средняя информация, которая будет получена во время наблюдения. Она скрытой быть не может. (3) - это собственная информация, а не энтропия.

(плюс вместе они — (2))

(2) - это априорная информация + максимальная, которую можно получить во время наблюдения. (3) - не максимальная.

Увеличение энтропии в таком случае будет означать увеличение скрытой информации и потерю обычной

Увеличение энтропии - вообще косвенный признак, т.к. энтропия - среднее значение. В общем случае мы не знаем как ведет себя информация с изменением энтропии, только при некоторых условиях. Просто принято считать, что при увеличении энтропии информация уменьшается, т.к. энтропия - среднее количество неизвестной информации.

Я говорил про Shannon entropy = Shannon information = information entropy из теории информации/кодирования

Я о ней же. Энтропия Шеннона - это среднее количество информации, которое мы получаем при измерении случайной системы. По определению Шеннона.

хотя если такой канал это единственное сообщение с вероятностью 1, то энтропия будет равна нулю, хотя ты можешь сказать, что «информация» максимальна

Именно так - вся информация нам уже известна, по-этому измерение канала нам ничего не даст. По-этому максимальная информация, которая может быть получена - равна 0, значит и энтропия равна 0 (т.к. она меньше максимальной извлекаемой информации). С другой стороны, при равномерном распределении равна нулю априорная информация, а энтропия - максимальна (и, в этом частном случае, равна максимально извлекаемой информации).

Я говорю про то что для f : A -> B, H(A) >= H(B)

Ты про случайные величины забыл. Энтропия определена для случайных величин. То есть матожидание собственной информации случайной величины при применении детерменированной ф-и к этой случайной величине не уменьшается. Ну это и так понятно.

Энтропия - это как раз средняя информация, которая будет получена во время наблюдения.

Ну в википедии так и написано.

Она скрытой быть не может.

Я немного в сторону физики — Susskind определяет энтропию как скрытую информацию.

(3) - это собственная информация, а не энтропия.

Ну то есть information content, expected value — entropy. http://arxiv.org/abs/1106.1445 сравнивает первое с величиной измеряющей «сюрприз» в получении данного значения, а второе — с общим сюрпризом связанным со случайной величиной.

(2) - это априорная информация + максимальная, которую можно получить во время наблюдения.

Ты сам написал, что (1) = (2) - (3) («плюс вместе они — (2)»).

А как (1) и (2) по-буржуйски зовутся?

Ты про случайные величины забыл.

Я всего лишь утащил свойство из http://arxiv.org/abs/1106.1791 :)

Я немного в сторону физики — Susskind определяет энтропию как скрытую информацию.

А, если «скрытая» - всмысле та, которую мы еще не знаем, то да (при равномерном распределении).

сравнивает первое с величиной измеряющей «сюрприз» в получении данного значения, а второе — с общим сюрпризом связанным со случайной величиной.

Ну да. Собственная информация - то что мы можем узнать при данном конкретном состоянии системы (величина случайная, ведь у системы может быть много состояний с определенной вероятностью), а энтропия - матожидание этой случайной величины.

А как (1) и (2) по-буржуйски зовутся?

А никак. Их никто и не рассматривает. На самом деле их и оценить довольно сложно (если не через ту же собственную информацию и условные вероятности)

Я всего лишь утащил свойство из http://arxiv.org/abs/1106.1791 :)

Нет времени посмотреть статью, но предполагаю, что там ф-я применяется именно к случйной величине :)

но предполагаю, что там ф-я применяется именно к случйной величине

Ну разумеется. Только нужно сохранение меры (если f : A -> B, то m_A(f^−1(B')) = m_B(B') для всех B' : σ(B)) — если считать, что функция применяется к случайной величине с данным распределением и брать распределение результатов с потолка, то две энтропии никак не связаны (кроме того что количество результатов меньше или равно количеству аргументов — это работает в случае максимальной энтропии на равномерных распределениях, но не вообще), но если распределение результатов определяется функцией и исходным распределением (sum_{a : f^-1(b)} p(a) = p(b) для всех b : B), то H(B) <= H(A) элементарно доказывается.

если считать, что функция применяется к случайной величине с данным распределением и брать распределение результатов с потолка, то две энтропии никак не связаны

Каким это образом мы можем брать распределение результатов с потолка? Если есть случайная величина х и детерменированная ф-я f, то f(x) - случайная величина с вполне конкретным и однозначно определенным распределением, просто по определению применения ф-и к случайной величине.

Каким это образом

По ошибке, наверное.