Шеннона

Энтропия информации Я совокупности элементов разного сорта выражает меру разнообразия элементов этой совокупности и отождествляется (в нашей интерпретации) с количеством информации содержащейся в рассматриваемой совокупности элементов. Численно или определяются известной формулой Шеннона [c.101]

Рассмотрим гомологический ряд веществ, которые находятся в критическом состоянии. Это означает, что для любого члена ряда в критических условиях имеется максимальная, отличная от нуля вероятность передачи межмолекулярного взаимодействия на расстояние порядка корреляционного радиуса флуктуаций Лс- Предположим, что для ФП в критической области основную роль играет информационная энтропия. Предположим, что энтропия максимальна в критическом состоянии где корреляционный радиус и соответствующий ему корреляционный объем максимальны. По формуле Шеннона эта энтропия связана с вероятностью распространения сигнала в объеме, охваченном корреляционным радиусом W( j [c.29]

Для количественной оценки результатов реакций замещения вводится мера информации, определяемая формулой Шеннона [c.249]

Шенноном применительно к информационным системам вероятностная формула Больцмана-Шеннона [37] положила начало бурному развитию мировой информационной технологии, Это обстоятельство способствовало в свою очередь весьма интенсивному развитию кибернетической науки и, в частности, математическому моделированию [38, 39]. [c.17]

Как следует из формулы Шеннона, информационная энтропия, как и термодинамическая энтропия Больцмана, обладает свойством аддитивности. Этот исключительно важный принцип теории информации может в некоторой степени явиться обоснованием для теоретического оправдания правомерности эмпирических методов моделирования, базирующихся на принципе аддитивности свойств веществ. В этой связи надо уточнить, что аддитивна не сама информация (т е. свойства), а энтропия информации. [c.21]

Фундаментальной основой этого уравнения является вероятностная энтропийно-информационная формула Л. Больцмана и К. Шеннона. [c.34]

Определим соответствующее для данного объема изменение информационной энтропии при переходе от одного компонента ряда к другому. Определим информационную энтропию для распространения сигнала (межчастичного взаимодействия) в объеме, охваченном данным корреляционным радиусом, которая связана с вероятностью формулой Шеннона [37] [c.36]

Шеннон К. Работа по теории информации и кибернетике / К. Шеннон. - М. [c.158]

Однако, если в термодинамике формула Больцмана была получена в результате развития интерпретации процессов, происходящих в физических системах, то в теории информации, где была получена совершенно аналогичная формула, соответствующая именно распределению частиц в физической системе по статистике Максвелла-Больцмана и служащая для измерения количества информации, отправной точкой служила разработанная Шенноном система постулатов. [c.100]

Гетероатомы (атомы элементов, отличных от элемента, атомы которого преобладают) также могут быть включены в нашу схему с помощью формулы Шеннона. Разметка молекулярного графа таким образом, чтобы ранее эквивалентные вершины становились неэквивалентными, увеличивает величину (rj), так как прежде эквивалентные связки по необходимости становятся неэквивалентными. С другой стороны, величина С(т ) не изменяется, когда метка не влияет на классы эквивалентности связок. Тем не менее, будучи помеченной, молекула становится более сложной, и эта сложность может быть рассчитана по уравнению (3) добавив эту величину к уравнению (4), можно получить величину полной сложности j [19]. Предостережением против одновременного суммирования числа сложностей или числа индексов является тот факт, что если это осуществить, то отдельные величины исчезают из виду в этой сумме, и на основании полученного таким образом числа нельзя сказать, присутствуют гетероатомы или же нет. [c.244]

РИС. 3. Кривая энтропии Шеннона. (Отметим, что Н = 7.) [c.244]

Точность обработки информации при преобразовании непрерывного сигнала в импульсный зависит от частоты f, = l/T квантования. С увеличением /н (уменьшением Т ) погрешность, вызванная преобразованием сигнала, уменьшается. Частоту /, или период То квантования можно выбрать исходя из теоремы Котельникова—Шеннона, согласно которой непрерывный сигнал у (f) со спектром, ограниченным максимальной частотой f— [c.206]

Шеннон К. Математическая теория дифференциальное анализатора. В кн. Работы по теории информации и. кибернетики. Пер.с англ. - М. Иностранная литература, 1963, с. 709 728. [c.150]

В теории информации за количественную меру информации принята информационная энтропия S , вычисляемая применительно к неравновероятностным событиям по формуле К. Шеннона [c.21]

Так, например, гетерогенный катализатор гидрирования — гептасульфид рения кодируется в виде RE2S7, а информационное содержание, приходящееся на один элемент брутто-формулы, подсчитывается по известной теоретико-информационной формуле Шеннона [77—79] [c.93]

Я благодарю д-ров Д. Хигли, Р. Конверса и М. Шеннона, которые помогали в составлении обзорных глав высоко ценю их критические замечания и полезные советы. Особую признательность выражаю д-ру К. Старксу, вдохновившему меня на редактирование этого трехтомника, и Шерри Мартин, осуществлявшей контакт с авторами глав. Хочу также поблагодарить мою жену Шарон, поддерживавшую меня в долгие часы работы над книгой. [c.8]

Предлагаемый метод математического моделирования основан на универсальной теории информации К. Шеннона, положивщей во второй половине XX в. начало бурному развитию мировой информационной технологии. Фундаментальной основой этой теории является вероятностная энтропийная формула Л. Больц-мана, преобразованная К. Шенноном применительно к информационным системам (в случае неравновероятных событий) в уравнение для расчета энтропии (количества) информации 3 [c.48]

Итак, в 1947 г. я познакомился с Алексеем Андреевичем Ляпуновым, тогда преподавателем кафедры высшей математики Военной артиллерийской инженерной академии в г. Москве. Высокий, энергичный, с черными, очень живыми глазами и черными усами, примета многих фронтовиков, он оказал огромное влияние на наше поколение - молодых людей, которые, пройдя через тяжелую войну 1941-1945 гг., сохранили жажду научньлх знаний. На его домашних семинарах в 1948-1953 гг. я познакомился со многими плодотворными идеями А Н. Колмогорова, Н. Винера и К. Шеннона, а также с математическим моделированием в биологии, физиологии и генетике - словом, с тем, что потом стало называться кибернетикой... [c.9]

Выражения (19.1) и (19.2) были получены К.Шенноном для оценки абсолютного количества информации при передаче сообщений о событии, которое а приори может произойти с некоторой вероятностью. [c.398]

Такое описание структуры молекулярного графа содержит в себе известную информацию, которую можно оценить количественно. Для этого используется величина энтропии информации Я , вычисляемая по формуле Шеннона Яs=-SP, Iog2P . (V, I) [c.148]

Важное значение для химика-неорганика имеют радиусы ионов ионные радиусы). Если кристалл состоит из ионов, например Ка С1, (Га Р5, то межионное (межъядерное) расстояние можно рассматривать как сумму ионных радиусов л. Предложены различные способы разделения межионных расстояний на слагаемые, отвечающие отдельным ионам. Соответственно известен ряд шкал ионных радиусов (Гольдшмидта, Полинга и др). Наиболее распространена в настоящее время шкала так называемых физических радиусов ионов, предложенная физиками Шенноном и Прюиттом в 1969 г. В этой системе радиусов границей между ионами считается точка минимума электронной плотности иа линии, соединяющей центры ионов. Такую систему радиусов удалось разработать благодаря появлению метода точного определения электронной плотности в кристаллах по рассеянию кристаллами рентгеновского излучения. Ионные радиусы по шкале Шеннона и Прюитта представлены в табл. 1.5 (указаны значения радиуса иона в кристаллической решетке при окружении его шестью ближайшими соседями). [c.51]

До создания теории информации понятие "информация" фактически не имело строгого научного значения. В связи с потребностью в машинной переработке экспоненциально возрастающего потока информации и ее хранения возникли актуальные проблемы количественного измерения информации и такая наука, как информатика возникла в 1948 г. Ее создателем стал выдающийся американский ученый Клод Шеннон [37]. Фундаментальной основой разработанной им теории информации явилась вероятност ная энтропийная формула Людвига Больцмана (1896) [c.21]

Теоретико-информационные инварианты могут быть использованы для количественного описания молекул при ККСА-исследованиях их физико-химических и биологических свойств. Описанные в этой статье индексы основаны на симметрии окрестностей вершин в химическом графе. Подход, используемый при получении этих топологических индексов, состоит в разбиении вершин полного молекулярного графа на непересекающиеся подмножества на основе соотношения эквивалентности, определенного относительно различных степеней симметрии окрестностей, построении вероятностной схемы и окончательном расчете количества информации по формуле Шеннона. Полезность таких индексов была показана на примере ККСА-исследований растворимости спиртов, ингибирования спиртами микросомального лара-гидроксилирования анилина цитохромом P4JQ и токсичности барбитуратов. Показано, что топологические индексы, основанные на симметрии окрестностей, оказываются предпочтительнее других индексов, таких, как индекс Винера, индекс молекулярной связности и log Р. [c.206]

В настоящее время одним из важных вопросов теории химических графов является разработка теоретико-информащтонных инвариантов графа [19]. Множество соответствующих элементов, полученных из молекулярного графа, разбивается на основе соотнощения эквивалентности на непересекающиеся подмножества, и для расчета информационного содержания структуры используется формула Шеннона [20] . Информационное содержание графа может рассматриваться как количественная мера его структурной неоднородности или же разнообразия. Например, из двух графов и [c.209]

Наличие гетероатомов является превосходным примером, иллюстрирующим поведение формулы информащюнной энтропии Шеннона [уравнение (2)], представленное графически на рис. 3. Когда все атомы одинаковы, скажем X, энтропия равна 0. Если атомы изменяются (т.е. переобозначаются) от Л" к У, то энтропия увеличивается до тех пор, пока не достигнет максимального значения. [c.244]

Больцман связывал энтропию с величиной беспорядка в системе и с потерей информации ([23], с. 95), Шеннон обобщил это понятие, включив все виды информации, а Мовшович [25] связал его со сложностью графов (и, по сути, с системами, представленными графами). Таким образом, мы совершили полный цикл, поскольку сложность и беспорядок связаны в том смысле, что чем более неу-порядочена система, тем сложнее проблема ее описания (т.е. требуется больше информации). [c.245]

Как отмечалось выше, мы не являемся первыми, использовавшими формулу Шеннона совместно с теорией графов. Рашевский [26] первым рассчитал информационное содержание графа, подставляя наборы эквивалентных точек в уравнение (2), и Мовшович развил этот подход. Бончев и Тринайстич [27] применили уравнение (3) к расстояниям в графах. Насколько мы можем удостовериться, уравнение (4) яв(ляется оригинальным. [c.245]

B. М. Гольдшмидтом, опиравшимся на рефрактометрич. значения радиусов F и О , равных соотв. 0,133 и 0,132 нм. В системе Л. Полинга за основу принято значение радиуса иона О , равное 0,140 нм, в распространенной системе Н. В. Белова и Г. Б. Бокия радиус этого же иона принят равным 0,136 нм, в системе К. Шеннона- [c.218]

Осн. структурные характеристики И. в конденсир. фазе-радиус и координац. число. Было предложено много разл. шкал радиусов одноатомных И, Часто используются т, наз. физ. радиусы ионов, найденные К. Шенноном (1969) по эксперим. данньш о точках мшш.мума электронной плотности в кристаллах. Координац. числа одноатомных И. в осн. лежат в пределах 4-8. [c.268]

Ионные радиусы давы по Шеннону при координац. числе 6. [c.570]

Ионные радиусы даны по Шеннону и Пруитту при координац. числе б. [c.220]

Множественные формы ферментов были выявлены у многих растений. В библиографическом обзоре Витт [181] приводит уже 51 фермент из числа обнаруженных у самых разных растений (от водорослей до покрытосеменных). Шеннон [152] перечисляет 33 фермента, преимущественно у высших растений. [c.49]

Для получения золей с очень небольшим размером частиц Шеннон [98] добавлял силикат натрия к кислой суспензии, приготовленной из ионообменной смолы, до тех пор, пока концентрация кремнезема не достигала 8%. Затем извлеченный золь подщелачивался прибавлением NaOH и NH3 для того, чтобы на частицах Si02 оказались 1 % Na и 3 7о NH3. [c.452]

Справочник химика 21

Химия и химическая технология