Пролог 113. Смысл принципа максимума энтропии

Степенные распределения могут возникать в результате действия принципа максимума энтропии - мы убедились в этом в Прологе 111 и в Прологе 112 описали построенную на этой основе модель мультипликативных коллизий, которая развивает степенное распределение на некотором множестве объектов.

Однако, чтобы адекватно применить эту модель для объяснения происхождения степенных распределений, которые наблюдаются в различных природных и человеческих системах, необходимо внимательно приглядеться к двум ее основаниям - к принципу максимума энтропии и к мультипликативности взаимодействий. Мы попробуем вдуматься в их "философское" значение. Начнем по порядку, с принципа максимума энтропии.

Две трактовки принципа максимума энтропии

В такой трактовке принцип максимума энтропии очевидно перекликается со вторым началом термодинамики - фундаментальным законом физики, в соответствии с которым энтропия замкнутой системы может либо нарастать либо оставаться неизменной, но не уменьшаться. Из этого прямо следует, что если мы возьмем любую замкнутую систему, которая оставалась таковой достаточно длительное время, то мы обнаружим ее в состоянии с максимальной энтропией.

Однако исторически принцип максимума энтропии ведет свою родословную совершенно из другого источника - не из термодинамики, а из теории вероятностей. И именно этот источник дает вторую трактовку принципа максимума энтропии, вероятно более фундаментальную. Ее можно сформулировать так: из всех гипотез о форме распределения случайной величины следует выбирать ту, при которой энтропия распределения максимальна, с учетом ограничений, накладываемых нашими знаниями о системе .

В начале 18-го века Якоб Бернулли, раздумывая над основаниями теории вероятностей, сформулировал "Принцип недостаточной причины", который и считается предтечей принципа максимума энтропии. Пусть мы рассматриваем два альтернативных и взаимоисключающих исхода A и B . Принцип Бернулли гласит, что если у нас нет никакой информации о вероятностях этих исходов, их следует полагать равновероятными. То есть, у нас в этих условиях недостаточно причин назначить одному из исходов более высокую вероятность, чем другому. Заметим, что с позиций Бернулли вероятности отражают наши знания о предмете. Если у нас о нем нет никаких знаний (кроме того, что возможно два исхода), вероятности должны быть положены равными. У любого другого распределения вероятностей должно быть основание, причина, основанная на нашем знании законов, управляющих предметом.

Итак, каждый исход следует предполагать равновероятным, если нет оснований для иного выбора. Если различными исходами являются различные значения некоторой величины, мы должны принимать однородное распределение вероятностей. Как мы знаем, именно однородное распределение обладает максимальной энтропией. Но Бернулли не говорил об энтропии - он жил и работал за два века до того, как появилось это понятие. Чтобы прийти от принципа недостаточной причины к принципу максимума энтропии, нужно было сделать немало шагов - и этот путь был пройден до конца только к середине 20-го века, а последние шаги связываются с работами американского физика Эдвина Джейнса.

От принципа недостаточной причины - к принципу максимума энтропии

Однако мы, вооруженные современными понятиями, можем пройти этот путь гораздо быстрее, напрямую. Он кажется очень простым - но только с высоты наших нынешних знаний. И тем не менее, именно Бернулли мог стать первооткрывателем и принципа максимума энтропии и самого исчисления энтропии/информации. Мог бы, если бы немного больше верил в описательную способность чисел - а в нее он, безусловно верил, ведь не даром стал одним из основателей теории вероятностей.

Итак, когда мы имеем два альтернативных исхода A и B, и более неизвестно ничего, принцип недостаточной причины требует предполагать их равновероятность: p A =p B =1/2. Именно так мы привносим минимум каких-то предубеждений в свои предположения о вероятности исходов. Предположим, что существует какая-то функция от этих вероятностей H(p A ,p B) , которая оказывается максимальной в том случае, если p A =p B =1/2 (или мы могли бы принять, что она в этих условиях наоборот, минимальна - это не принципиально). Обозначим этот минимум как H(1/2,1/2) . Можем ли мы что-то сказать большее об этой функции исходя из общих соображений?

Вполне, и Якоб Бернулли был мастером в таких вещах . Во-первых, заметим, что если у нас имеется только один возможный исход A, он автоматически имеет вероятность, равную единице. Это значит, что не существует никаких знаний, которые мы могли бы привнести дополнительно и которые могли бы повлиять на нашу оценку вероятности исхода. То есть, мы обладаем абсолютно полным знанием об исходе. В этом случае разумно ожидать, что наша функция, отражающая количество привнесенных нами в оценку исходов знаний принимает минимальное значение, скажем, нулевое: H(1) = 0.

Далее, заметим, что когда ситуация из двух равновероятных альтернатив разрешается тем или иным образом, мы оказываемся в ситуации с одним возможным исходом - с тем, который выбрал случай. Что происходит в этот момент с функцией H ? Она уменьшается от значения H(1/2,1/2) до значения H(1) = 0. Эту разность: H(1/2,1/2) -H(1) = H(1/2,1/2) резонно счесть количеством знаний, которые мы приобрели относительно двух равновероятных исходов, когда альтернатива разрешилась. Или, иначе, количеством не-знания или неопределенности в изначальной ситуации с двумя равновероятными исходами. На современном языке это количество именуется энтропией.

Пусть теперь мы знаем, что может быть четыре исхода A,B,C,D и более ничего. Принцип недостаточной причины требует, чтобы мы также назначили им равные вероятности p A =p B =p C =p D =1/4. Но чему равно знaчение функции H(p A ,p B ,p С,p D) в этом случае? Элементарная логика приводит к выводу, что ее значение должно быть в два раза больше, чем для случая двух возможных равновероятных исходов: 2*H(1/2,1/2) . Действительно, пусть исходы A, B c одной стороны и C,D c другой стороны очень похожи. Если мы не очень внимательны или не очень зорки, мы их можем не различить между собой. Тогда мы возвращаемся к случаю с двумя исходами и неопределенность ситуации равна H(1/2,1/2) . Но мы пригляделись внимательно и увидели, что на самом деле там, где мы видели один исход на самом деле есть два близких. Перед нами вновь возникает задача выбора самого "честного" распределения вероятностей между ними, и им вновь окажется равномерное распределение. И к неопределенности прибавляется еще H(1/2,1/2) . Значит для ситуации с четырьмя равновероятными альтернативами H(1/4,1/4,1/4,1/4) = 2*H(1/2,1/2) . Индуктивно продолжая, мы бы установили, что для ситуации с восемью исходами количество неопределенности равно 3*H(1/2,1/2) , и т.д.

Полагаю, читатель понимает, что наш вывод свойств функции H совпадает с логикой, приводящей к уравнению количества информации/энтропии по Хартли . Если обозначить количество равновероятных исходов как N , энтропия по Хартли равна

Мы знакомились с простой тропинкой , которая ведет от формулы Хартли к формуле Шеннона - Якоб Бернулли ее легко бы обнаружил. А получи Бернулли в свое распоряжение эту формулу, он мог бы количественно оценивать степень неопределенности некоторого распределения вероятностей и установить принцип, в соответствии с которым мы должны наделять исходы вероятностями так, чтобы энтропия распределения была максимальной из всех допустимых - это и есть принцип максимума энтропии.

Впрочем, история не знает сослагательных наклонений, а у науки своя неспешная поступь.

В заключение стоит заметить, что ключевым шагом является самый первый, в котором мы полагаем существование некоторой функции H , достигающей максимума при равновероятных исходах. Все остальное раскатывается как клубок. Это лишнее подтверждение пользы экстремальных принципов , когда мы считаем какое-то обычное или правильное состояние системы таким, в котором некоторая функция ее состояния достигает экстремального значения.

Главная интрига принципа максимума энтропии заключается в том, что он имеет две трактовки (проистекающие из двух разных источников), которые даже с первого взгляда коренным образом различаются по смыслу. В трактовке, ведущей свою историю от принципа Бернулли, речь идет о правиле организации наших описаний мира . Мы должны описывать мир так, чтобы не навязывать ему своих предубеждений, выражающихся в назначении различным событиям неоправданных вероятностей. Всякий раз следует выбирать такое описание, в котором нет ничего кроме того, что нам достоверно известно. Это эвристическое правило, позволяющее избегать искажений в описаниях реальности.

Физическая трактовка, с помощью которой мы, в частности, можем вывести распределение энергий молекул идеального газа, говорит о чем-то другом. Она задает правила, управляющие не нашим описанием реальности, а самой реальностью . Если физическая система управляется каким-то законом и ничем иным, то распределение параметров в ней 1) будет отвечать этому закону и 2) будет иметь максимальную энтропию среди разрешенных распределений. Это утверждение не о том, как нам лучше описывать мир, а о самом мире .

Когда в Манифесте когнитивиста говорится о том, что устройство мира соответствует устройству нашего сознания, речь идет именно об этих поразительных "совпадениях": лучший выбор при построении наших описаний мира является также и лучшим выбором самой природы.

На это можно возразить, что принцип Бернулли позволяет получать более правдоподобные описания реальности, и только поэтому он может считаться верным. Однако, Бернулли вывел его вовсе не эмпирически, не сравнивая его с реальностью. Он выдвинул его исходя из требований логики, исходя из свойств самого разума и его абстрактных построений. (Более того, он осознавал большую проблему с практической ценностью своего принципа в его исходном виде - только в очень редких обстоятельствах в природных явлениях можно видеть исходы с равными вероятностями.) Но оказывается, мир подчинен той же логике, и будто несет в себе такой же разум, как и наш собственный.

Мы лучше оценим эту удивительную двойственность принципа максимума энтропии, сопоставив его с одним идейно близким принципом, которому не повезло быть настолько же хорошо сформулированным. Мы попробуем это исправить.

Бритва Оккама и принцип минимума сложности

Близким родственником принципа недостаточной причины является знаменитая бритва Оккама. Это правило, которое предлагает нам среди альтернативных описаний мира предпочитать самое простое, содержащее в себе минимальное число сущностей и параметров. Переформулируя эту эвристику, родственность двух принципов легко разглядеть: среди всех альтернативных описаний следует выбирать содержащее в себе минимум структурной или алгоритмической сложности . Речь идет о том, что следует выбирать модель или описание, обладающее самым простым алгоритмом. "Алгоритмическая сложность" - это не фигура речи, это исчислимая величина, имеющая прямое отношение к энтропии/информации. Ее также называют алгоритмической энтропией или колмогоровской сложностью по имени русского математика А. Н. Колмогорова, который ввел эту величину в научный обиход. Колмогоровская сложность некоторой строки символов измеряется как длина программы или алгоритма, необходимого для того, чтобы воспроизвести эту строку. Чем сложнее организована строка символов, тем длиннее программа, которая нужна для ее воспроизведения. Разумеется, длина программы зависит от языка программирования, однако, этим фактором можно пренебречь, положив, что мы пишем программы на каком-то идеальном, самом экономичном и лаконичном языке.

Пусть, например, следующая запись на этом идеальном языке означает взять строку "AB" и повторить ее 10 раз:

Можно сказать, что алгоритмическая сложность этой строки равна 5 символам - именно такую длину имеет порождающая эту строку кратчайшая программа.

Еще пример: данная строка из 20 символов имеет алгоритмическую сложность в 12 символов, потому что именно такую длину имеет генерирующая ее программа:

Обратим внимание на важный момент: это бессистемная строка символов в том смысле, что мы в ней не видим системы, которая бы позволила сократить алгоритм. Но это не значит, что это случайная последовательность символов. Если нам нужно воспроизвести именно случайную последовательность, нам следует воспользоваться другой программой:

Это парадоксально: кажется полностью случайная строка имеет ту же самую сложность, что и полностью упорядоченная. Но на самом деле предельно высокой сложностью обладает не однородная строка и не случайная строка, а бессистемная строка, которая является совершенно не случайной, а наоборот, предельно закономерной. Это легко понять: вообразим, что мы наугад тыкаем в раскрытую книгу пальцем и всегда попадаем на одно и то же слово. Ясно, что эта ситуация коренным образом отличается от той, когда мы попадаем совершенно случайно в разные слова. Важность этого нюанса мы увидим чуть далее.

Отметим, что несмотря на казалось бы совершенно отдаленное отношение сложности по Колмогорову к энтропии по Шеннону и Хартли, в действительности можно показать их глубокую взаимосвязь - но мы тут не будем вдаваться в эту тему.

Итак, мы можем смотреть на некоторую модель или описание как на алгоритм, воспроизводящий требуемый набор свойств (требуемую "строку"). Тогда бритва Оккама требует выбирать описание, обладающее минимальной алгоритмической энтропией.

Исторический сюжет, который может послужить примером ситуации, в которой этот принцип оказался бы полезен - противостояние систем Птолемея и Коперника. Система Птолемея - это модель мироздания, основанная на наивно-религиозном убеждении в том, что в центре вселенной должна находиться Земля:

Вокруг Земли вращаются по орбитам небесные светила, в том числе и Солнце. Однако, при идейной правильности такой конструкции, она имела некоторый недостаток: в ее рамках было нельзя объяснить феномен смены направления движения планет по небесному своду. Скажем, Юпитер в течение нескольких недель поступательно передвигается относительно звезд. Но затем он совершает петлю и некоторое время движется в обратную сторону. Затем возвращается к "правильному" движению. Чтобы объяснить это явление Птолемей ввел в свою систему так называемые эпициклы - он предположил, что кроме вращения вокруг Земли каждое светил дополнительно вращается по небольшой орбите вокруг некоторого центра, который в свою очередь и вращается вокруг Земли по круговой орбите. Тогда те моменты, когда Юпитер двигается по своему эпициклу назад, мы видим смену направления его движения по небосводу.

Коперник предложил другую систему: в ней в центре находится Солнце (читатель наверное наслышан). Система Коперника смогла объяснить петли Юпитера и других светил без введения эпициклов, было достаточно простого кругового движения планет, чтобы мы с Земли иногда видели петли в движении планет. Даже не вдаваясь в точность предсказаний движения планет по небесному своду, система Коперника, очевидно, обладает меньшей алгоритмической сложностью, и при этом способна "воспроизвести правильную строку". Таким образом, если руководствоваться принципом Оккама, нам следует предпочесть именно систему Коперника.

Но есть ли у бритвы Оккама свой аналог в свойствах самой реальности как он есть у принципа недостаточной причины? Автор уверен в положительном ответе. Попробуем его сформулировать, назовем его принципом минимальной структурной сложности : система, потенциально способная обладать различной структурой имеет структуру, обладающую минимальной сложностью по Колмогорову с учетом внешних требований к свойствам этой системы .

Вот здесь и оказывается важно различие между случайными строками и предельно закономерными. Документируя положение и скорости молекул в сосуде с газом, мы каждый раз будем получать набор цифр, близкий к случайному - "случайную строку". Но если бы мы каждый раз получали бы один и тот же результат, это бы говорило о том, что система находится в предельно структурно сложном состоянии.

Отметим, что есть очень важный для нас пример структур, обладающих низкой алгоритмической сложностью: фракталы развиваются в результате повторения одних и тех же генерирующих преобразований, применяемых к разным масштабным уровням. Алгоритмически это простые структуры. Может быть, принцип минимальной структурной сложности способен объяснить такую всеобъемлющую распространенность фрактальных структур в различных явлениях мира.

Впрочем, это пока лишь смутная идея.

Далее, мы видели, как принцип максимума энтропии связан со вторым началом термодинамики. Но может быть, принцип минимума структурной сложности подсказывает нам еще одно следствие второго начала. Его можно сформулировать так: если в исходный момент времени структура системы не является наименее сложной, она эволюционирует в строну уменьшения сложности, достигая возможного минимума .

Если эта трактовка второго начала термодинамики верна, возникает вопрос, адресованный к его обычному толкованию: если энтропия мира как системы только увеличивается, почему вселенная еще не пришла в состояние максимума энтропии (и минимума структурной сложности), который именуют "тепловой смертью"? Наука не может ответить на этот вопрос. Может быть - к этому ответу склоняются материалисты - еще не успела. А может быть, наша вселенная - не закрытая, а открытая система и откуда-то получает ресурс, позволяющий ей справляться со вторым началом термодинамики. Этого мнения придерживаются идеалисты, к числу которых себя причисляет и автор. У нас пока не достаточно знаний, чтобы поставить точку в этой дилемме.

Завершим этот Пролог тем, что "разделим шкуру не убитого медведя" и восхитимся тем, что бритва Оккама не только способна отсекать все лишнее от наших умопостроений, но и отсекает все лишнее от структуры мира, так что он предстает перед нами в простейшем, самом элегантном облике из всех возможных. Как тут не вспомнить Лейбница, который полагал, что мы живем в лучшем из возможных миров?

Этот пост является вольным переводом ответа, который Mark Eichenlaub дал на вопрос What"s an intuitive way to understand entropy? , заданный на сайте Quora

Энтропия. Пожалуй, это одно из самых сложных для понимания понятий, с которым вы можете встретиться в курсе физики, по крайней мере если говорить о физике классической. Мало кто из выпускников физических факультетов может объяснить, что это такое. Большинство проблем с пониманием энтропии, однако, можно снять, если понять одну вещь. Энтропия качественно отличается от других термодинамических величин: таких как давление, объём или внутренняя энергия, потому что является свойством не системы, а того, как мы эту систему рассматриваем. К сожалению в курсе термодинамики её обычно рассматривают наравне с другими термодинамическими функциями, что усугубляет непонимание.

Так что же такое энтропия?

Если в двух словах, то

Энтропия - это то, как много информации вам не известно о системе

Например, если вы спросите меня, где я живу, и я отвечу: в России, то моя энтропия для вас будет высока, всё-таки Россия большая страна. Если же я назову вам свой почтовый индекс: 603081, то моя энтропия для вас понизится, поскольку вы получите больше информации.


Почтовый индекс содержит шесть цифр, то есть я дал вам шесть символов информации. Энтропия вашего знания обо мне понизилась приблизительно на 6 символов. (На самом деле, не совсем, потому что некоторые индексы отвечают большему количеству адресов, а некоторые - меньшему, но мы этим пренебрежём).


Или рассмотрим другой пример. Пусть у меня есть десять игральных костей (шестигранных), и выбросив их, я вам сообщаю, что их сумма равна 30. Зная только это, вы не можете сказать, какие конкретно цифры на каждой из костей - вам не хватает информации. Эти конкретные цифры на костях в статистической физике называют микросостояниями, а общую сумму (30 в нашем случае) - макросостоянием. Существует 2 930 455 микросостояний, которые отвечают сумме равной 30. Так что энтропия этого макросостояния равна приблизительно 6,5 символам (половинка появляется из-за того, что при нумерации микросостояний по порядку в седьмом разряде вам доступны не все цифры, а только 0, 1 и 2).

А что если бы я вам сказал, что сумма равна 59? Для этого макросостояния существует всего 10 возможных микросостояний, так что его энтропия равна всего лишь одному символу. Как видите, разные макросостояния имеют разные энтропии.

Пусть теперь я вам скажу, что сумма первых пяти костей 13, а сумма остальных пяти - 17, так что общая сумма снова 30. У вас, однако, в этом случае имеется больше информации, поэтому энтропия системы для вас должна упасть. И, действительно, 13 на пяти костях можно получить 420-ю разными способами, а 17 - 780-ю, то есть полное число микросостояний составит всего лишь 420х780 = 327 600. Энтропия такой системы приблизительно на один символ меньше, чем в первом примере.

Мы измеряем энтропию как количество символов, необходимых для записи числа микросостояний. Математически это количество определяется как логарифм, поэтому обозначив энтропию символом S, а число микросостояний символом Ω, мы можем записать:

Это есть ничто иное как формула Больцмана (с точностью до множителя k, который зависит от выбранных единиц измерения) для энтропии. Если макросостоянию отвечают одно микросостояние, его энтропия по этой формуле равна нулю. Если у вас есть две системы, то полная энтропия равна сумме энтропий каждой из этих систем, потому что log(AB) = log A + log B.

Из приведённого выше описания становится понятно, почему не следует думать об энтропии как о собственном свойстве системы. У системы есть опеделённые внутренняя энергия, импульс, заряд, но у неё нет определённой энтропии: энтропия десяти костей зависит от того, известна вам только их полная сумма, или также и частные суммы пятёрок костей.

Другими словами, энтропия - это то, как мы описываем систему. И это делает её сильно отличной от других величин, с которыми принято работать в физике.

Физический пример: газ под поршнем

Классической системой, которую рассматривают в физике, является газ, находящийся в сосуде под поршнем. Микросостояние газа - это положение и импульс (скорость) каждой его молекулы. Это эквивалентно тому, что вы знаете значение, выпавшее на каждой кости в рассмотренном раньше примере. Макросостояние газа описывается такими величинами как давление, плотность, объём, химический состав. Это как сумма значений, выпавших на костях.

Величины, описывающие макросостояние, могут быть связаны друг с другом через так называемое «уравнение состояния». Именно наличие этой связи позволяет, не зная микросостояний, предсказывать, что будет с нашей системой, если начать её нагревать или перемещать поршень. Для идеального газа уравнение состояния имеет простой вид:

Хотя вы, скорее всего, лучше знакомы с уравнением Клапейрона - Менделеева pV = νRT - это то же самое уравнение, только с добавлением пары констант, чтобы вас запутать. Чем больше микросостояний отвечают данному макросостоянию, то есть чем больше частиц входят в состав нашей системы, тем лучше уравнение состояния её описывают. Для газа характерные значения числа частиц равны числу Авогадро, то есть составляют порядка 10 23 .

Величины типа давления, температуры и плотности называются усреднёнными, поскольку являются усреднённым проявлением постоянно сменяющих друг друга микросостояний, отвечающих данному макросостоянию (или, вернее, близким к нему макросостояниям). Чтобы узнать в каком микросостоянии находится система, нам надо очень много информации - мы должны знать положение и скорость каждой частицы. Количество этой информации и называется энтропией.

Как меняется энтропия с изменением макросостояния? Это легко понять. Например, если мы немного нагреем газ, то скорость его частиц возрастёт, следовательно, возрастёт и степень нашего незнания об этой скорости, то есть энтропия вырастет. Или, если мы увеличим объём газа, отведя поршень, увеличится степень нашего незнания положения частиц, и энтропия также вырастет.

Твёрдые тела и потенциальная энергия

Если мы рассмотрим вместо газа какое-нибудь твёрдое тело, особенно с упорядоченной структурой, как в кристаллах, например, кусок металла, то его энтропия будет невелика. Почему? Потому что зная положение одного атома в такой структуре, вы знаете и положение всех остальных (они же выстроены в правильную кристаллическую структуру), скорости же атомов невелики, потому что они не могут улететь далеко от своего положения и лишь немного колеблются вокруг положения равновесия.

Если кусок металла находится в поле тяготения (например, поднят над поверхностью Земли), то потенциальная энергия каждого атома в металле приблизительно равна потенциальной энергии других атомов, и связанная с этой энергией энтропия низка. Это отличает потенциальную энергию от кинетической, которая для теплового движения может сильно меняться от атома к атому.

Если кусок металла, поднятый на некоторую высоту, отпустить, то его потенциальная энергия будет переходить в кинетическую энергию, но энтропия возрастать практически не будет, потому что все атомы будут двигаться приблизительно одинаково. Но когда кусок упадёт на землю, во время удара атомы металла получат случайное направление движения, и энтропия резко увеличится. Кинетическая энергия направленного движения перейдёт в кинетическую энергию теплового движения. Перед ударом мы приблизительно знали, как движется каждый атом, теперь мы эту информацию потеряли.

Понимаем второй закон термодинамики

Второй закон термодинамики утверждает, что энтропия (замкнутой системы) никогда не уменьшается. Мы теперь можем понять, почему: потому что невозможно внезапно получить больше информации о микросостояниях. Как только вы потеряли некую информацию о микросостоянии (как во время удара куска металла об землю), вы не можете вернуть её назад.


Давайте вернёмся обратно к игральным костям. Вспомним, что макросостояние с суммой 59 имеет очень низкую энтропию, но и получить его не так-то просто. Если бросать кости раз за разом, то будут выпадать те суммы (макросостояния), которым отвечает большее количество микросостояний, то есть будут реализовываться макросостояния с большой энтропией. Самой большой энтропией обладает сумма 35, и именно она и будет выпадать чаще других. Именно об этом и говорит второй закон термодинамики. Любое случайное (неконтролируемое) взаимодействие приводит к росту энтропии, по крайней мере до тех пор, пока она не достигнет своего максимума.

Перемешивание газов

И ещё один пример, чтобы закрепить сказанное. Пусть у нас имеется контейнер, в котором находятся два газа, разделённых расположенной посередине контейнера перегородкой. Назовём молекулы одного газа синими, а другого - красными.

Если открыть перегородку, газы начнут перемешиваться, потому что число микросостояний, в которых газы перемешаны, намного больше, чем микросостояний, в которых они разделены, и все микросостояния, естественно, равновероятны. Когда мы открыли перегородку, для каждой молекулы мы потеряли информацию о том, с какой стороны перегородки она теперь находится. Если молекул было N, то утеряно N бит информации (биты и символы, в данном контексте, это, фактически, одно и тоже, и отличаются только неким постоянным множителем).

Разбираемся с демоном Максвелла

Ну и напоследок рассмотрим решение в рамках нашей парадигмы знаменитого парадокса демона Максвелла. Напомню, что он заключается в следующем. Пусть у нас есть перемешанные газы из синих и красных молекул. Поставим обратно перегородку, проделав в ней небольшое отверстие, в которое посадим воображаемого демона. Его задача - пропускать слева направо только красных, и справа налево только синих. Очевидно, что через некоторое время газы снова будут разделены: все синие молекулы окажутся слева от перегородки, а все красные - справа.


Получается, что наш демон понизил энтропию системы. С демоном ничего не случилось, то есть его энтропия не изменилась, а система у нас была закрытой. Получается, что мы нашли пример, когда второй закон термодинамики не выполняется! Как такое оказалось возможно?

Решается этот парадокс, однако, очень просто. Ведь энтропия - это свойство не системы, а нашего знания об этой системе. Мы с вами знаем о системе мало, поэтому нам и кажется, что её энтропия уменьшается. Но наш демон знает о системе очень много - чтобы разделять молекулы, он должен знать положение и скорость каждой из них (по крайней мере на подлёте к нему). Если он знает о молекулах всё, то с его точки зрения энтропия системы, фактически, равна нулю - у него просто нет недостающей информации о ней. В этом случае энтропия системы как была равна нулю, так и осталась равной нулю, и второй закон термодинамики нигде не нарушился.

Но даже если демон не знает всей информации о микросостоянии системы, ему, как минимум, надо знать цвет подлетающей к нему молекулы, чтобы понять, пропускать её или нет. И если общее число молекул равно N, то демон должен обладать N бит информации о системе - но именно столько информации мы и потеряли, когда открыли перегородку. То есть количество потерянной информации в точности равно количеству информации, которую необходимо получить о системе, чтобы вернуть её в исходное состояние - и это звучит вполне логично, и опять же не противоречит второму закону термодинамики.

Для источника с зависимыми сообщениями энтропия тоже вычисляется как математическое ожидание количества информации на один элемент этих сообщений. Количество информации и энтропия являются логарифмическими мерами и измеряются в одних и тех же единицах.

6. Энтропия объединенных статистически независимых источников информации равна сумме их энтропий. 7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля, полностью игнорируя содержательную сторону ансамбля. ЭНТРОПИЯ ЭКОСИСТЕМЫ - мера неупорядоченности экосистемы, или количества энергии, недоступной для использования. Чем больше показатель энтропии, тем менее устойчива экосистема во времени и пространстве.

4.1.2. Энтропия и производительность дискретного источника сообщений

Любое из этих сообщений описывает состояние какой-то физической системы. Мы видим, что степень неопределенности физической системы определяется не только числом ее возможных состояний, но и вероятностями состояний. В качестве меры априорной неопределенности системы (или прерывной случайной величины) в теории информации применяется специальная характеристика, называемая энтропией.

Энтропия, как мы увидим в дальнейшем, обладает рядом свойств, оправдывающих ее выбор в качестве характеристики степени неопределенности. Наконец, и это самое главное, она обладает свойством аддитивности, т. е. когда несколько независимых систем объединяются в одну, их энтропии складываются. Если за основание выбрано число 10, то говорят о «десятичных единицах» энтропии, если 2 — о «двоичных единицах».

Докажем, что энтропия системы с конечным множеством состояний достигает максимума, когда все состояния равновероятны. Пример 3. Определить максимально возможную энтропию системы, состоящей из трех элементов, каждый из которых может быть в четырех возможных состояниях.

Следует заметить, что полученное в этом случае значение энтропии будет меньше, чем для источника независимых сообщений. Это следует из того, что при наличии зависимости сообщений неопределенность выбора уменьшается и, соответственно, уменьшается энтропия. Определим энтропию двоичного источника. График зависимости (4.4) представлен на рис. 4.1. Как следует из графика, энтропия двоичного источника изменяется в пределах от нуля до единицы.

Основные свойства энтропии

Обычно отмечают, что энтропия характеризует заданное распределение вероятностей с точки зрения степени неопределенности исхода испытания, т. е. неопределенности выбора того или иного сообщения. Действительно, легко убедиться, что энтропия равна нулю тогда и только тогда, когда одна из вероятностей равна единице, а все остальные равны нулю; это означает полную определенность выбора.

Возможна и другая наглядная интерпретация понятия энтропии как меры «разнообразия» сообщений, создаваемых источником. Легко убедиться, что приведенные выше свойства энтропии вполне согласуются с интуитивным представлением о мере разнообразия. Также естественно считать, что количество информации, содержащееся в элементе сообщения, тем больше, чем более разнообразны возможности выбора этого элемента.

Выражение представляющее математическое ожидание количества информации в выбираемом элементе, для источника, находящегося в -м состоянии, можно назвать энтропией этого состояния. Определенная выше энтропия источника на элемент сообщения зависит от того, каким образом сообщения расчленяются на элементы, т. е. от выбора алфавита. Однако энтропия обладает важным свойством аддитивности.

Отметим некоторые свойства энтропии. Энтропия. Пожалуй, это одно из самых сложных для понимания понятий, с которым вы можете встретиться в курсе физики, по крайней мере если говорить о физике классической.

Например, если вы спросите меня, где я живу, и я отвечу: в России, то моя энтропия для вас будет высока, всё-таки Россия большая страна. Если же я назову вам свой почтовый индекс: 603081, то моя энтропия для вас понизится, поскольку вы получите больше информации.

Энтропия вашего знания обо мне понизилась приблизительно на 6 символов. А что если бы я вам сказал, что сумма равна 59? Для этого макросостояния существует всего 10 возможных микросостояний, так что его энтропия равна всего лишь одному символу. Как видите, разные макросостояния имеют разные энтропии. Мы измеряем энтропию как количество символов, необходимых для записи числа микросостояний.

Другими словами, энтропия - это то, как мы описываем систему. Например, если мы немного нагреем газ, то скорость его частиц возрастёт, следовательно, возрастёт и степень нашего незнания об этой скорости, то есть энтропия вырастет. Или, если мы увеличим объём газа, отведя поршень, увеличится степень нашего незнания положения частиц, и энтропия также вырастет.

С одной стороны, это расширяет возможности использования энтропии при анализе самых различных явлений, но, с другой стороны, требует определенной дополнительной оценки возникающих ситуаций. Это во-первых.Во-вторых, Вселенная — это не обычный конечный объект с границами, это сама бесконечность во времени и пространстве.

МАКСИМАЛЬНАЯ РАБОТА - в термодинамике 1) работа, совершаемая теплоизолиров. Любое сообщение, с которым мы имеем дело в теории информации, представляет собой совокупность сведений о некоторой физической системе. Очевидно, если бы состояние физической системы было известно заранее, не было бы смысла передавать сообщение.

Очевидно, сведения, полученные о системе, будут, вообще говоря, тем ценнее и содержательнее, чем больше была неопределенность системы до получения этих сведений («априори»). Чтобы ответить на этот вопрос, сравним между собой две системы, каждой из которых присуща некоторая неопределенность.

Однако в общем случае это не так. Рассмотрим, например, техническое устройство, которое может быть в двух состояниях: 1) исправно и 2) отказало. Подчеркнем, что для описания степени неопределенности системы совершенно неважно, какие именно значения записаны в верхней строке таблицы; важны только количество этих значений и их вероятности. Понятие об энтропии является в теории информации основным.

Количество этой информации и называется энтропией. Предположим, что в некоторое сообщение вошло элементов алфавита, элементов и т.д. Величину называют энтропией источника сообщений. 3. Энтропия максимальна, если все состояния элементов сообщений равновероятны. В теории информации доказывается, что всегда, т. е. наличие вероятностных связей уменьшает энтропию источника сообщений.

Теория информации

У истоков теории информации стоит Клод Шеннон, который в 1947-48 годах работал над вопросом эффективности систем связи. В результате этого была сформулирована цель данной теории – повышение пропускной способности канала связи. Эффективна та система, которая при прочих равных условиях и затратах передает большее количество информации. Обычно при анализе рассматривается объекта: источник информации и канал передачи информации.

Итак, имеются какие-то события. Информация о них в знаковой форме, в виде сигнала передается по каналу связи. Можно утверждать, что канал хороший, если он отвечает двум условиям. Во-первых, по нему передается информация с высокой скоростью и во-вторых помехи, воздействующие на передачу, снижают качество информации незначительно. Для того чтобы найти условия для такой передачи необходимо ввести какие-то информационные характеристики.

Наиболее наглядно основные положения теории информации проявляются при дискретном источнике и таком же канале. Поэтому знакомство с темой начнем при данном допущении.

1.1 Количественная мера информации.

Прежде разберемся, что имеет смысл передавать по каналу.

Если получателю известно, какая информация будет передана, то, очевидно, нет необходимости ее передачи. Есть смысл передавать только то, что является неожиданным. Чем больше эта неожиданность, тем большее количество информации должно содержаться в этом событии. Например, Вы работаете за компьютером. Сообщение о том, что сегодня работу надо закончит через 45 мин. согласно расписанию вряд ли является для Вас новым. Это абсолютно ясно было и до заявления о конце работы. Следовательно, в таком сообщении содержится нулевая информация; передавать его бессмысленно. А теперь другой пример. Сообщение следующее: через час начальник подарит Вам авиабилет до Москвы и обратно, да еще выделит сумму денег на развлечения. Такого рода информация для Вас неожиданна и, следовательно, содержит большое количество единиц меры. Вот такие сообщения имеет смысл передавать по каналу. Вывод очень простой: чем больше неожиданности в сообщении, тем большее количество информации в нем содержится.

Неожиданность характеризуется вероятностью, которая и закладывается в информационную меру.

Еще несколько примеров. Имеем два ящика, один с белыми, а другой с черными шарами. Какое количество информации содержится в сообщении, где белые шары? Вероятность того, что в любом указанном ящике белые шары равна 0,5. Назовем эту вероятность до опытной или априорной .

Теперь вытаскиваем один шар. В независимости от того, какой шар мы вынули, после такого опыта будет абсолютно точно известно в каком ящике белые шары. Следовательно, вероятность сведений будет равна 1. Эта вероятность называется после опытной или апостериорной .

Посмотрим на данную пример с позиции количества информации.итак, имеем источник информации ящики с шарами. Первоначально неопределенность о шарах характеризовалась вероятностью 0,5. Далее источник "заговорил" и выдал информацию; мы вытащили шар. Далее все стало определено с вероятностью 1. Степень уменьшения неопределенности о событии в результате опыта логично принять за количественную меру информации. В нашем примере это будет 1/0,5.

Теперь пример более сложный. Известно, что размер детали может быть 120,121,122, . . .,180 мм., то есть, имеет одно из 61-ого значений. Априорная вероятность того, что размер детали i мм равна 1/61.

У нас имеется весьма несовершенный измерительный инструмент позволяющий измерить деталь с точностью +5,-5 мм. В результате измерения получили размер 130 мм. Но фактически он может быть 125,126, . . .,135 мм.; всего 11 значений. В результате опыта остается неопределенность, которая характеризуется апостериорной вероятностью 1/11. Степень уменьшения неопределенности будет (1/11):(1/61). Как и выше это отношение и есть количество информации.

Наиболее удобна логарифмическая функция для отражения количества информации. Основание логарифма принимается равное двум. Обозначим количество информации,
- априорная вероятность,
- апостериорная вероятность. Тогда,

. (1)

В первом примере
1 бит информации; во втором
2,46 бит информации. Бит – одна двоичная единица информации .

Теперь обратимся к реальному источнику информации, который представляет собой множество независимых событий (сообщений) с различными априорными вероятностями
. Это множество представляет данные о параметрах объекта и есть информация о нем. Обычно, после выдачи сообщения источником, становится достоверно известно, какой параметр выдан. Апостериорная вероятность равна 1. Количество информации, содержащееся в каждом событии, будет равно

. (2)

Эта величина всегда больше нуля. Сколько событий, столько количеств информации. Для характеристики источника это не совсем удобно. Поэтому вводится понятие энтропии. Энтропия это среднее количество информации, приходящееся на одно событие (сообщение) источника . Находится она по правилам определения математического ожидания:

. (3)

Или учитывая свойства логарифмической функции

. (4)

Размерность энтропии бит/сообщение. Остановимся на свойствах энтропии. Начнем с примера. Допустим, имеется двоичный источник информации с априорными вероятностями событий исоставляющих полную группу. Из этого следует связь между ними:
. Найдем энтропию источника:

Не трудно видеть, что если одна из вероятностей равно нулю, то вторая равна 1, а выражение энтропии при этом даст нуль.

Построим график зависимости энтропии от
(рис.1).

Обратим внимание на то, что энтропия максимальна при вероятности равной 0,5 и всегда положительна.

Первое свойство энтропии . Энтропия максимальна при равновероятных событиях в источнике. В нашем примере двоичного источника эта величина равна 1. Если источник не двоичный и содержит N слов, то максимальная энтропия.

Второе свойство энтропии. Если вероятность одного сообщения источника равна 1, и остальные равны нулю, как образующие полную группу событий, то энтропия равна нулю . Такой источник не генерирует информацию.

Третье свойство энтропии это теорема сложения энтропий . Разберем этот вопрос более подробно. Допустим, имеется два источника информации представленные множествами сообщений и.

У каждого из источников имеются энтропии
и
. Далее эти источники объединяются, и требуется найти энтропию объединенного ансамбля
. Каждой паре сообщенийисоответствует вероятность
. Количество информации в такой паре будет

Действуя известным образом, найдем среднее количество информации, приходящееся на пару сообщений ансамбля. Это и будет энтропия. Правда, здесь может быть два случая. Объединяемые ансамбли могут быть статистически независимы и зависимы.

Рассмотрим первый случай независимых ансамблей, появление сообщения ни в коей мере не определяется. Запишем выражение для энтропии:

, (7)

здесь
- число сообщений в ансамблях.

Так как при независимости двумерная вероятность , а, из общей предыдущей формулы получим

где
и
определяются по известным формулам.

Далее рассмотрим более сложный случай. Предположим, что ансамбли сообщений находятся в статистической связи, то есть с какай-то вероятностью предполагает появление. Этот факт характеризуется условной вероятностью
; косая черта в обозначении характеризует условие. При введении условных вероятностей двумерная вероятность может быть определена через произведение одномерных:

Учитывая это, найдем выражение для энтропии. Преобразование идет следующим образом:

Учитывая равенство 1 суммы всех вероятностей событий, первая двойная сумма в последнем выражении дает энтропию источника X, H(x).

Вторая двойная сумма получила название условной энтропии и обозначается как
. Таким образом,

Аналогичным образом можно доказать, что .

В последних выражениях мы встретились с условной энтропией, которая определяется связью между объединяемыми ансамблями сообщений. Если ансамбли статистически независимы
, и условная энтропия
. В итоге мы получаем известную формулу.

Если сообщения зависимы абсолютно, то есть находятся в функциональной связи,
принимает одно из двух значений: либо 1, когда
, либо 0, когда
. Условная энтропия будет равна 0, так как второй ансамбль сообщений не обладает неожиданностью, и, следовательно, не несет информацию.

После введения энтропии и ее свойств, вернемся к единственному источнику информации. Следует знать, что любой источник информации работает в текущем времени. Его символы (знаки) занимают определенное место в последовательности. Источник информации называется стационарным, если вероятность символа не зависит от его места в последовательности. И еще одно определение. Символы источника могут иметь статистическую (вероятностную) связь друг с другом.Эргодический источник информации это такой источник, в котором статистическая связь между знаками распространяется на конечное число предыдущих символов. Если эта связь охватывает лишь соседние два знака, то такой источник называется односвязная цепь Маркова. Именно такой источник мы сейчас рассмотрим. Схема генерации источником символов показана на рис. 2.

Появление символа зависит от того, какой символвыдал источник в предыдущий момент. Эта зависимость определяется вероятностью
. Найдем энтропию такого источника. Будем исходить из понимания вообще энтропии, как математического ожидания количества информации. Допустим, выдается два символа как показано на рис. 2. Количество информации в такой ситуации источником выдается

Усреднив это количество по всем возможным последующим символам, получим частную энтропию при условии, что предыдущем всегда выдается символ :

. (13)

Еще раз, усреднив эту частную энтропию по всем предыдущим символам, получим окончательный результат:

Индекс 2 в обозначении энтропии свидетельствует о том, что статистическая связь распространяется только на два соседних символа.

Остановимся на свойствах энтропии эргодического источник.

При независимости символов в источнике
, формула (14) упрощается и приводится к обычному виду (4).

Наличие статистических (вероятностных) связей между символами источника всегда приводит к уменьшению энтропии,
.

Итак, источник информации имеет максимальную энтропию если выполняется два условия: все символы источника равновероятны (свойство энтропии) и между символами источника нет статистических связей.

Для того чтобы показать насколько хорошо используются символы источника, вводится параметр избыточности :

. (15)

Величина находится в диапазоне от 0 до 1.

Отношение к этому параметру двоякое. С одной стороны, чем меньше избыточность, тем более рационально работает источник. С другой стороны, чем больше избыточность, тем меньше помехи, шумы влияют на доставку информации такого источника потребителю. Например, наличие статистических связей между символами увеличивает избыточность, но в то же время увеличивает верность передачи. Отдельные пропавшие символы могут быть предсказаны и восстановлены.

Рассмотрим пример. Источник – буквы русского алфавита, всего их 32. Определим максимальную энтропию:
бит/сообщение.

Так как между буквами есть статистическая связь и вероятности их появления в тексте далеко не одинаковы, реальная энтропия равна 3 бит/сообщение. Отсюда избыточность
.

Следующая характеристика источника производительность; она характеризует скорость генерации информации источником. Предположим, что каждая буква источника выдается за определенный промежуток времени . Усредняя эти времена, найдем среднее время выдачи одного сообщения. Среднее количество информации выдаваемое источником в единицу времени – производительность источника
:

. (16)

Итак, подведем итог. Характеристиками эргодического источника информации являются следующие:

количество информации в каждом знаке,

энтропия,

избыточность,

производительность.

Необходимо заметить, что сильной стороной введенной меры количества информации и, разумеется, всех характеристик является универсальность. Все введенные выше понятия применимы к любому виду информации: социологической, технической и т. д.. Слабая же сторона меры в том, что в ней не отражена значимость информации, ее ценность. Информация о выигрыше в лотерею авторучки и автомобиля одинакова по значимости.

1.2. Информационные характеристики канала

Вспомним о том, что информация передается по каналу связи. Мы ранее ввели информационные характеристики источника информации, а теперь введем информационные характеристики канала. Представим ситуацию так, как показано на рис. 1.

Рис. 1

На входе канала присутствует входной алфавит, состоящий из множества знаков , а на выходе -.

П
редставим канал связи математической моделью. Наиболее известное представление дискретного канала в виде графа. Узлы графа, получаемые () и передаваемые () буквы алфавита; ребра отражают возможные связи между этими буквами (рис. 2).

Связи между буквами алфавита принято оценивать условными вероятностями, например,
вероятность приемапри условии что передана. Это вероятность правильного приема. Точно также можно ввести условные вероятности ошибочных приемов, например,
. Причины появления этих ненулевых вероятностей - помехи, от которых не свободен ни один из реальных каналов. Обратим внимание на то, чтоn и m , количество знаков (букв) в передаваемом и принимаемом массиве не обязательно равны между собой. На основании этой модели вводятся дальнейшие определения.

Симметричный канал – это канал в котором все вероятности правильного приема для всех символов равны, а также равны вероятности ошибочных приемов. Для такого канала условная вероятность может быть записана так:

Здесь – вероятность ошибочного приема. Если эта вероятность не зависит от того, какие знаки передавались до данного символа, такой канал называется "канал без памяти ". В качестве примера ниже на рис.3 показан граф симметричного двоичного канала без памяти.

Р
ис. 3

Далее допустим, что алфавит на выходе канала содержит дополнительный символ, который появляется тогда, когда декодер приемника не может опознать переданный символ. В этом случае он вырабатывает отказ от решения. Это положение называется стиранием. Такой канал называется каналом без памяти со стиранием и его граф показан на рис. 4. Положение "стирание" здесь обозначено знаком вопроса.

Р
ис. 4.

Простейшим каналом с памятью является марковский канал . В нем вероятности ошибок зависят от того правильно или ошибочно был принят предыдущий символ.

Наряду с графом для канала связи существует и другое описание – канальная матрица . Это набор условных вероятностей
или
. Вмести с априорными вероятностями,
и
это дает полную картину статистики канала с помехами. Для примера приведем канальную матрицу

.