Трудно найти понятия более общие для всех наук (не только естественных) и, вместе с тем, иногда носящих оттенок загадочности, чем энтропия и информация. Отчасти это связано с самими названиями. Если бы не звучное название “энтропия” осталась бы с момента первого рождения всего лишь “интегралом Клазиуса”, вряд ли она бы не рождалась вновь и вновь в разных областях науки под одним именем. Кроме того, ее первооткрыватель Клазиус, первым же положил начало применению введенного им для, казалось, бы узкоспециальных термодинамических целей понятия к глобальным космологическим проблемам (тепловая смерть Вселенной). С тех пор энтропия многократно фигурировала в оставшихся навсегда знаменитыми спорах. В настоящее время универсальный характер этого понятия общепризнан и она плодотворно используется во многих областях.

Термин “информация” замечателен тем, что, существующему с давних пор бытовому понятию, К.Шенноном был придан математически точный смысл. Неопределенно-бытовой смысл этого термина уже научного. Это приводило и приводит ко многим недоразумениям и спекуляциям. Интересно и то, что К.Шеннон как создатель теории информации – по существу, раздела математики , был не чистым математиком, а инженером-теоретиком. Поэтому его работы написаны языком ясным для понимания инженеров, естественников и даже сведущих в математике гуманитариев. Профессиональные математики проявили активность в этой области позднее, но их капитальный подход не востребован пока в приложениях, за исключением, возможно, работ А.Н. Колмогорова.

Базисным понятием всей теории информации является понятие энтропии. Энтропия – мера неопределенности некоторой ситуации. Можно также назвать ее мерой рассеяния и в этом смысле она подобна дисперсии. Но если дисперсия является адекватной мерой рассеяния лишь для специальных распределений вероятностей случайных величин (а именно – для двухмоментных распределений, в частности, для гауссова распределения), то энтропия не зависит от типа распределения. С другой стороны, энтропия вводится так, чтобы обладать, кроме универсальности и другими желательными свойствами. Так, если некий опыт имеет n равновероятных исходов, а другой опыт m равновероятных исходов, то составной опыт имеет nm таких исходов. Если мы вводим меру неопределенности f , то естественно потребовать, чтобы она была такова, чтобы во-первых, неопределенность росла с ростом числа возможных исходов, а во-вторых, неопределенность составного опыта была равна просто сумме неопределенности отдельных опытов, иначе говоря, мера неопределенности была аддитивной: f(nm)=f(n)+f(m). Именно такая удобная мера неопределенности была введена К. Шенноном:

H(X)= —P (Xi) log P (Xi),

где Х – дискретная случайная величина с диапазоном изменчивости N, P(Xi) – вероятность i – го уровня X.

В дальнейшем мы будем рассматривать Х как некоторую физическую величину, меняющуюся во времени или пространстве. Временной или пространственный ряд Xj (j – индекс временной или пространственной координаты r) будем называть, как это принято в ряде естественных наук, “вариацией”. В самой теории информации такое пространственно-временное упорядочение совершенно не обязательно, но, во-первых, анализ именно таких вариаций составляет суть всех естественных наук, во-вторых, это с первых шагов позволяет лучше ощутить смысл новых понятий. Заметим также, что если даже пространственная или временная упорядоченность величины Х в явном виде отсутствует, она неизбежно существует неявно. Например, положим, что j – номер различимой частицы, а Хj – ее импульс. Х – неупорядоченная случайная величина (ее номер j присваивается произвольно), но все эти частицы неизбежно разнесены в пространстве (раз мы можем их различить) и, при необходимости, мы можем их соединить некоторой (ломаной) осью и восстановить упорядоченность. Но для понимания проще представлять Х как сигнал, который может быть записан самописцем, как рельеф местности вдоль некоторого профиля, как пространственное распределение плотности энергии поля и т.п.

Таким образом, чтобы рассчитать H(X), берется запись вариации Xj , разность между максимальным и минимальными значениями Хj разбивается на N квантов (обычно равных разрешающей способности прибора) и подсчитывается число mi заполнения каждого i -го уровня (число благоприятных случаев). Общее число случаев M – это число пространственных или временных ячеек, опять-таки обычно определяемых разрешением прибора. В результате мы получаем распределение вероятностей P(Xi)=mi/M, которое подставляем в формулу H(x).

Это интересно:

Факторы, влияющие на индивидуальное развитие
Факторы, влияющие на индивидуальное развитие (онтогенез), подразделяются на наследственные и средовые (влияние внешней среды). Степень наследственного (генетического) влияния неодинакова на разных этапах роста и развития. Воздействие нас ...

Маркеры активации на лимфоцитах
Активация Т- и В-клеток вызывает синтез de novo ряда поверхностных маркеров и увеличение экспрессии других. К этим маркерам активации относятся молекулы межклеточной адгезии, обеспечивающие более эффективное взаимодействие активированных ...

Очистка матричной РНК для трансляции
Матричную РНК для трансляции in vitro получают следующим образом. 1. 50-Ю6 клеток заражают РСВ. Клетки инкубируют 10-12 ч при 37 °С. 2. Монослой промывают, снимают клетки со стекла и суспендируют в буферном растворе. Суспензию оставляют ...