Формула Шеннона

Энтропия информации Я совокупности элементов разного сорта выражает меру разнообразия элементов этой совокупности и отождествляется (в нашей интерпретации) с количеством информации содержащейся в рассматриваемой совокупности элементов. Численно или определяются известной формулой Шеннона [c.101]

Рассмотрим гомологический ряд веществ, которые находятся в критическом состоянии. Это означает, что для любого члена ряда в критических условиях имеется максимальная, отличная от нуля вероятность передачи межмолекулярного взаимодействия на расстояние порядка корреляционного радиуса флуктуаций Лс- Предположим, что для ФП в критической области основную роль играет информационная энтропия. Предположим, что энтропия максимальна в критическом состоянии где корреляционный радиус и соответствующий ему корреляционный объем максимальны. По формуле Шеннона эта энтропия связана с вероятностью распространения сигнала в объеме, охваченном корреляционным радиусом W( j [c.29]

Для количественной оценки результатов реакций замещения вводится мера информации, определяемая формулой Шеннона [c.249]

Как следует из формулы Шеннона, информационная энтропия, как и термодинамическая энтропия Больцмана, обладает свойством аддитивности. Этот исключительно важный принцип теории информации может в некоторой степени явиться обоснованием для теоретического оправдания правомерности эмпирических методов моделирования, базирующихся на принципе аддитивности свойств веществ. В этой связи надо уточнить, что аддитивна не сама информация (т е. свойства), а энтропия информации. [c.21]

Определим соответствующее для данного объема изменение информационной энтропии при переходе от одного компонента ряда к другому. Определим информационную энтропию для распространения сигнала (межчастичного взаимодействия) в объеме, охваченном данным корреляционным радиусом, которая связана с вероятностью формулой Шеннона [37] [c.36]

Гетероатомы (атомы элементов, отличных от элемента, атомы которого преобладают) также могут быть включены в нашу схему с помощью формулы Шеннона. Разметка молекулярного графа таким образом, чтобы ранее эквивалентные вершины становились неэквивалентными, увеличивает величину (rj), так как прежде эквивалентные связки по необходимости становятся неэквивалентными. С другой стороны, величина С(т ) не изменяется, когда метка не влияет на классы эквивалентности связок. Тем не менее, будучи помеченной, молекула становится более сложной, и эта сложность может быть рассчитана по уравнению (3) добавив эту величину к уравнению (4), можно получить величину полной сложности j [19]. Предостережением против одновременного суммирования числа сложностей или числа индексов является тот факт, что если это осуществить, то отдельные величины исчезают из виду в этой сумме, и на основании полученного таким образом числа нельзя сказать, присутствуют гетероатомы или же нет. [c.244]

Мы получили формулу Шеннона — более общее выражение для информации, соответствующее последовательности событий, обладающих неодинаковыми вероятностями Pj. При этом, если = 1/1п 2, информация выражается в битах, если /С = к = 1,38 X X 10" Дж/К (постоянная Больцмана), / выражается в Дж/К, т. е. в энтропийных единицах. Назовем величину [c.303]

Мы получили формулу Шеннона. Переходя к двоичному определению информации, примем, что [c.31]

Полученное выражение совпадает с формулой Шеннона. Один бит информации эквивалентен 1п2, т. е. 10 эрг-град — весьма малой величине. [c.32]

Предельные соотношения имеют особое значение с точки зрения теории информации. Формула Шеннона для пропускной способности канала с полосой W при помехах в виде аддитивного нормального шума с равномерной односторонней спектральной плотностью Nq имеет вид [c.280]

В теории информации источник информации задается в виде множества сообщений Х , Х2,...,Х , с вероятностями соответственно Pj, Pg,...,P . В этом случае среднее количество информации, приходящееся на одно сообщение, определяется по формуле Шеннона [c.228]

Так, например, гетерогенный катализатор гидрирования — гептасульфид рения кодируется в виде RE2S7, а информационное содержание, приходящееся на один элемент брутто-формулы, подсчитывается по известной теоретико-информационной формуле Шеннона [77—79] [c.93]

Такое описание структуры молекулярного графа содержит в себе известную информацию, которую можно оценить количественно. Для этого используется величина энтропии информации Я , вычисляемая по формуле Шеннона Яs=-SP, Iog2P . (V, I) [c.148]

Если все возможные решения из множеств Ро и Ре равновероятны, то количество информации определяется из 1 = оц2(Ро1Ре). в остальных случаях используют формулу Шеннона [c.92]

Теоретико-информационные инварианты могут быть использованы для количественного описания молекул при ККСА-исследованиях их физико-химических и биологических свойств. Описанные в этой статье индексы основаны на симметрии окрестностей вершин в химическом графе. Подход, используемый при получении этих топологических индексов, состоит в разбиении вершин полного молекулярного графа на непересекающиеся подмножества на основе соотношения эквивалентности, определенного относительно различных степеней симметрии окрестностей, построении вероятностной схемы и окончательном расчете количества информации по формуле Шеннона. Полезность таких индексов была показана на примере ККСА-исследований растворимости спиртов, ингибирования спиртами микросомального лара-гидроксилирования анилина цитохромом P4JQ и токсичности барбитуратов. Показано, что топологические индексы, основанные на симметрии окрестностей, оказываются предпочтительнее других индексов, таких, как индекс Винера, индекс молекулярной связности и log Р. [c.206]

В настоящее время одним из важных вопросов теории химических графов является разработка теоретико-информащтонных инвариантов графа [19]. Множество соответствующих элементов, полученных из молекулярного графа, разбивается на основе соотнощения эквивалентности на непересекающиеся подмножества, и для расчета информационного содержания структуры используется формула Шеннона [20] . Информационное содержание графа может рассматриваться как количественная мера его структурной неоднородности или же разнообразия. Например, из двух графов и [c.209]

Как отмечалось выше, мы не являемся первыми, использовавшими формулу Шеннона совместно с теорией графов. Рашевский [26] первым рассчитал информационное содержание графа, подставляя наборы эквивалентных точек в уравнение (2), и Мовшович развил этот подход. Бончев и Тринайстич [27] применили уравнение (3) к расстояниям в графах. Насколько мы можем удостовериться, уравнение (4) яв(ляется оригинальным. [c.245]

На следующем уровне рецепции нам известны вероятности появ-лешш букв Pi. Для вычисления 1г следует пользоваться формулой Шеннона (с. 303) [c.563]

Четыре вида нуклеотидов могут образовывать 4 -64 варианта триплетов. Информация, содержащаяся в одном триплете, следовательно, должна была бы составить 103264 = 6 бит. На самом деле, поскольку код вырожден и некоторым триплетам соответствуют одни и те же аминокислоты, информация, содержащаяся в триплете, оказывается меньше и составляет приблизительно 4 бит. Информационное содержание одного аминокислотного остатка в полипептиде, казалось бы, должно бьггь таким же, как в триплете, но на самом деле оно оказывается меньще из-за различной частоты встречаемости аминокислот и при вычислении по формуле Шеннона составляет примерно 2 бит. [c.398]

Справочник химика 21

Химия и химическая технология