Количество информации по Шеннону

Энтропия информации Я совокупности элементов разного сорта выражает меру разнообразия элементов этой совокупности и отождествляется (в нашей интерпретации) с количеством информации содержащейся в рассматриваемой совокупности элементов. Численно или определяются известной формулой Шеннона [c.101]

Однако, если в термодинамике формула Больцмана была получена в результате развития интерпретации процессов, происходящих в физических системах, то в теории информации, где была получена совершенно аналогичная формула, соответствующая именно распределению частиц в физической системе по статистике Максвелла-Больцмана и служащая для измерения количества информации, отправной точкой служила разработанная Шенноном система постулатов. [c.100]

Рассмотрим систему, которая может находиться в одном из N состояний. Количество информации, которое будет заключаться в сообщении о состоянии этой системы, определяется, Согласно Шеннону, по формуле [c.230]

Большое значение в кибернетике имеет понятие количества информации . Это понятие в кибернетике сыграло роль, аналогичную понятию энергии в физике, также дающему возможность с общей точки зрения описать различные физические процессы. За сравнительно короткий срок ученым удалось создать теорию информации, которая позволила количественно характеризовать информацию. Основные положения этой теории изложены в статье Математическая теория связи , опубликованной в 1948 г. американским ученым К. Э. Шенноном. [c.26]

Количество информации и скорость связи, определенные по Шеннону [1], являются удобными универсальными характеристиками чувствительности, точности и экспрессности аналитического метода и свойственной ему аппаратуры. Одно и то же количество информации Н об элементарном составе вещества может быть получено при различных численных значениях параметров, входящих в правую часть выражения [c.20]

Когда мы измеряем, когда мы получаем сообщение, когда мы читаем, когда мы слушаем, когда мы смотрим, — во всех этих случаях мы получаем информацию. Шеннон и Вивер [6] решили проблему оценки количества информации, содержащегося в любом сообщении. Если мерить информацию в битах (Ь) то содержание информации в любом типе получаемого сообщения равно [c.31]

Количество информации по Шеннону [c.15]

При исследовании качества оптимального обнаружителя мы предполагаем, что априорные вероятности ро и рх равны. Хорошо известно, что двоичная последовательность независимых символов, с одинаковой вероятностью принимающих значения нуль и единица, содержит максимальное количество информации (один бит) на символ. Более того, при помощи методов кодирования Шеннона [1] или Хафмена [2] любую случайную стационарную двоичную последовательность неограниченной длины можно преобразовать 8 такую [c.233]

В теории информации источник информации задается в виде множества сообщений Х , Х2,...,Х , с вероятностями соответственно Pj, Pg,...,P . В этом случае среднее количество информации, приходящееся на одно сообщение, определяется по формуле Шеннона [c.228]

Предлагаемый метод математического моделирования основан на универсальной теории информации К. Шеннона, положивщей во второй половине XX в. начало бурному развитию мировой информационной технологии. Фундаментальной основой этой теории является вероятностная энтропийная формула Л. Больц-мана, преобразованная К. Шенноном применительно к информационным системам (в случае неравновероятных событий) в уравнение для расчета энтропии (количества) информации 3 [c.48]

Выражения (19.1) и (19.2) были получены К.Шенноном для оценки абсолютного количества информации при передаче сообщений о событии, которое а приори может произойти с некоторой вероятностью. [c.398]

Теоретико-информационные инварианты могут быть использованы для количественного описания молекул при ККСА-исследованиях их физико-химических и биологических свойств. Описанные в этой статье индексы основаны на симметрии окрестностей вершин в химическом графе. Подход, используемый при получении этих топологических индексов, состоит в разбиении вершин полного молекулярного графа на непересекающиеся подмножества на основе соотношения эквивалентности, определенного относительно различных степеней симметрии окрестностей, построении вероятностной схемы и окончательном расчете количества информации по формуле Шеннона. Полезность таких индексов была показана на примере ККСА-исследований растворимости спиртов, ингибирования спиртами микросомального лара-гидроксилирования анилина цитохромом P4JQ и токсичности барбитуратов. Показано, что топологические индексы, основанные на симметрии окрестностей, оказываются предпочтительнее других индексов, таких, как индекс Винера, индекс молекулярной связности и log Р. [c.206]

Работы Винера и Шеннона были прочтены и подхвачены в первую очередь инженерами связи и устройств автоматического регулирования. Для них понятия информации и управления были профессионально привычными и не требовали разъяснений или определений. Но в дальнейшем, когда кибернетикой начали заниматься лица самых различных специальностей, подчас весьма далекие и от техники, и от математики, основные понятия кибернетики стали получать весьма разнообразные, а подчас и произвольные толкования. Кибернетики сами не сумели соблюсти порядок в собственном доме. В некоторых книгах по кибернетической оптимизации производства термин шформация стал применяться к. .. сырью ( входная информация ) и изделиям ( выходная информация — о чем 1), а обработка сырья трактовалась как язык для перекодирования входной информации в выходную . Другими авторами управление трактовалось как любое взаимодействие элементов системы , чем вольно или невольно в состав кибернетики включалась вся физика и многие другие естественные пауки. Информационную энтропию и негэнтроппю (меру количества информации) некоторые авторы стали смешивать с физической энтропией и негэнтропией и утверждать, что растение получает с солнечным светом будто бы информацию , а не свободную энергию. Особенно не повезло самому понятию информация (как соответствию сигнала или знака другому сигналу или событию), которое стало не принято отличать от меры количества информации по Шеннону (негэнтропия на символ), что равноценно, например, замене тонны угля тонной льда подтем п едлогом, [c.13]

Из приведенных примеров ясно, что рассуждения об общей информационной способности метода малоэффективны, они нуждаются в привязывании к специфическому количеству информации, необходимому для решения той или иной задачи. В общем-то эти ножницы не новы, они встречаются как в деятельности аналитиков, так и в других областях человеческой деятельности и в настоящее время тщательно изучаются. Так, в обзоре [68] обсуждаются работы Р. Карнапа, К. Мэлони, А. Н. Колмогорова, Ю. А. Шрейдера и др., направленные на создание теории, позволяющей учитывать семантическую (содержательную) информацию, что недоступно классической теории информации Шеннона. [c.85]

Если все возможные решения из множеств Ро и Ре равновероятны, то количество информации определяется из 1 = оц2(Ро1Ре). в остальных случаях используют формулу Шеннона [c.92]

Наиболее простым и исследованным аспектом биоразнообразия являются вычисления информационных индексов. Попытки измерения функционального разнообразия проводились и ранее (Zak et al, 1994), но не получили должного развития. Несмотря на большое количество существующих индексов оценки биоразнообразия (Мэгарран, 1992), исследователи остановились на индексе Шеннона и выровненности, как наиболее универсальных критериях оценки разнообразия системы (энтропийные индексы), выводимых из общей теории информации. [c.53]

Справочник химика 21

Химия и химическая технология