Информация связь с энтропией

При исследовании молекулярных систем понятие информации совершенно естественно связано с понятием энтропии. Энтропия является количественной характеристикой хаотичности, разупорядоченности системы информация характеризует упорядоченность и детерминированность системы, которая необходима для ее воспроизведения. Принято считать, что информация равна энтропии с обратным знаком (Бриллюэн, 1966). [c.89]

Энтропия информации кристаллических катализаторов рассчитывалась в связи с решением задач подбора катализаторов в процессах гидрирования и дегидрирования, изотопного обмена водорода с дейтерием, орто-пара-превращения водорода и др. [87]. Исследовалась зависимость энтропии информации кристаллических катализаторов от размера кристалла и структуры активного центра. Были рассмотрены три каталитические системы с различной структурой решетки кристалла 1) гранецентрированная трехмерная решетка кристалла 2) простая кубическая решетка 3) одномерные кристаллы в виде линейных цепочек атомов без изломов и с изломами на т-ж атоме. Первая каталитическая система рассчитывалась для четырех модификации структуры активного центра единичный атом решетки п = 1) дуплет атомов п = 2) трехатомный центр п = 3) шестиатомный центр-секстет Баландина. Модификация третьей каталитической системы — цепочка из N атомов без изломов, цепочка из N атомов с изломом на каждом третьем атоме, цепочка атомов с изломом на каждом четвертом атоме. Зависимости энтропии информации кристаллических катализаторов от структурных параметров активных центров показаны на рис. 2.13, а. [c.102]

Использование понятия энтропии для суш ественно неравновесных и гетероген-ных систем оправдано только по отношению к выделенным статистическим степеням свободы. Именно поэтому характеризовать в целом поведение биологической системы с помош ью понятия энтропии неправильно. Его можно применять только по отношению к конкретным метаболическим процессам. Пренебрежение этим обстоятельством создает причины серьезных ошибок при попытках дать чисто термодинамическую трактовку жизненных явлений. В этом плане следует рассматривать и проблему биологической информации. Связь энтропии и биологической информации. Связь этих понятий раскрывается по мере изучения информационных процессов в биологии. Как известно, на всех уровнях биологической организации суш ествуют информационные системы, в которых производится, запасается, передается, перерабатывается и воспринимается информация. Когда исследователь получает информацию о действительном состоянии системы, то первоначальная неопределенность, которой характеризовались его знания о системе, уменьшается. Очевидно, количество полученной информации в этой ситуации будет тем больше, чем больше была исходная неопределенность в состоянии системы. Пусть число микросостояний, которыми можно осуш ествить данную систему, равно а вероятность каждого из них равна р = 1 /И . [c.159]

Связь энтропии и информации [c.397]

В таком определении нет ничего субъективного. Получение информации о физической системе требует реальных физических воздействий на нее. Нельзя получить информацию о событиях в адиабатически изолированной системе. Любой опыт, дающий информацию о некоторой системе, приводит к увеличению энтропии системы или ее окружения, причем, в соответствии со вторым началом, это увеличение энтропии всегда превышает количество полученной информации. Информация оплачивается энтропией, так как наблюдение связано с увеличением энтропии, с необратимым процессом. [c.32]

Таким образом, количество информации измеряется количеством снятой неопределенности, следовательно, информацию можно рассматривать как меру упорядоченности или порядка системы. (Н. Винер определил энтропию как меру хаоса системы.) В частном случае, когда в результате опыта неопределенность полностью снимается, получаем /=Я. Хотя здесь количество информации численно равно энтропии, следует различать количество информации и энтропию. Связь между понятиями энтропии и количеством информации напоминает соотношение между физическими понятиями потенциала (энтропии) и разности потенциалов (количество информации). [c.23]

Количество информации, приносимое в среднем одним элементом, по определению равно энтропии источника. Логическое обоснование такого определения состоит в том, что получение информации связано со снятием неопределенности в знаниях таким образом, что [c.16]

Многих, однако, эти утверждения не удовлетворяют и вопрос о связи информации и энтропии остается дискуссионным. [c.269]

Возрастанию энтропии соответствует возрастание термодинамической вероятности, и в связи с этим меру информации вводят, используя систему постулатов, схожую с системой постулатов, примененной при выводе формулы Больцмана для термодинамической энтропии. [c.101]

Многие ученые, и среди них Л. Сциллард, Дж.фон Нейман, К. Шеннон, Л. Бриллюэн, Н. Винер, высказывались о связи энтропии и информации. Приравнивая значения физической и информационных значений энтропии [3] получаем, что 1 бит равен к / 2, где к- постоянная Больцмана. [c.202]

Значение v связано со степенью заполнения а соотношением v = = ра, где р — размер области миграции в числе атомных плош а-док нанесенного атома катализатора (обычно р — 300), суммирование практически достаточно доводить до п — 10. Наряду с энтропией информации слоя, зная можно вычислить энтропию информации отдельного сорта ансамблей Я и Я( ). Величины Я для слоя (v) приведены на рис. 2.13, б в виде функции v. [c.105]

Процессы адсорбционного равновесия носят статистический характер, поэтому одним из возможных путей решения задачи теоретического обоснования существующих уравнений изотерм адсорбции является использование вероятностного подхода, причем в качестве критерия правдоподобия описания используется информационная энтропия [80]. Согласно информационному принципу максимальной энтропии [79], достоверная отображающая функция распределения, которая содержит наибольшую информацию о результатах измерения случайных величин, должна обладать максимальной энтропией. По одному из положений теории объемного заполнения адсорбент характеризуется предельным объемом адсорбционного пространства, заполнение которого связано с уменьшением свободной энергии газовой фазы А. Кроме того, любая система адсорбент — адсорбат определяется некоторой энергией Е, характеризующей энергетический механизм взаимодействия молекул в зависимости от свойств системы. Характеристику заполнения объема адсорбционного пространства можно рассматривать как некоторую функцию распределения и ее плотности, где параметром функции распределения будет энергетический симплекс [81] [c.223]

Сопоставляя формулу (19.1) с формулой Больцмана для системы с тем же числом микросостояний О, легко обнаружить формальную связь между энтропией и информацией [c.398]

Существует связь между энтропией информации и характеристиками заместителей в бензольном ядре. Для ее выяснения были сопоставлены значения Hs с полярной (индуктивной) константой Тафта о. Данные для реакций [c.250]

Демон Лапласа, этот абсолютный ум, разрущается третьим законом термодинамики (невозможностью достижения абсолютного нуля температуры). Чтобы понять третий закон, обратимся к связи между энтропией и информацией. Такой экскурс поможет читателю во многих частях этой книги. [c.31]

Как следует из формулы Шеннона, информационная энтропия, как и термодинамическая энтропия Больцмана, обладает свойством аддитивности. Этот исключительно важный принцип теории информации может в некоторой степени явиться обоснованием для теоретического оправдания правомерности эмпирических методов моделирования, базирующихся на принципе аддитивности свойств веществ. В этой связи надо уточнить, что аддитивна не сама информация (т е. свойства), а энтропия информации. [c.21]

Основным понятием данной теории является информация - понятие, обобщенное, всеобъемлющее и исчерпывающее определение которому, видимо, дать невозможно. Оно интуитивно столь же понятно, сколь и неопределенно. Информацию связывают обычно с теми или иными проявлениями различных объектов или процессов. Поэтому часто, чтобы сделать изложение более наглядным, прибегают к наиболее прозрачным интерпретациям понятия информации. Например, информацию об объекте или процессе можно связать с нашим знанием всех характерных параметров рассматриваемого объекта или процесса. Тогда естественно прирост информации приравнивать к увеличению нашего знания. Значит, чем больше приобретенная информация, тем меньше степень нашего незнания или, другими словами, тем меньше неопределенность нашего знания об объекте или процессе. Более того, можно сделать такой вывод 1) нулевой энтропии соответствует полная информированность, а макси- [c.100]

Так как /2 > /ь очевидно, что А /> /1 — Аг/]. Информация черпается открытой системой из окружающей среды, энтропия которой возрастает. Организм, растущий из зиготы, подобен в этом смысле кристаллу, растущему из зародыша, помещенного в насыщенный раствор. В обоих случаях возрастание упорядоченности, возрастание количества информации, перекрывается увеличением энтропии окружающей среды — холодильника при кристаллизации. Концепция Эльзассера виталистична неявным образом предполагается несоблюдение второго начала в живой природе. Равен, подвергший критике идеи Эльзассера, считает, что во всех клетках организма содержится одна и та же генетическая информация. Развитие организма означает не увеличение количества информации, но увеличение избыточности, т. е. многократное ее повторение [31]. Равен трактует зиготу как канал связи, причем родительские организмы служат источником информации, а вырастающий организм — ее приемником. Развитие сводится к декодированию информации. Равен исходит из возможности абсолютной оценки количества информации в зиготе и организме. В действительности, как показал Аптер [32] (см. также [33, 57]), такая оценка всегда относительна и условна. Тождество генов в клетках организма не означает избыточности. Развитие есть результат взаимодействия различных частей эмбриона, информация содержится не только в хромосомах, но и во всех внутри- и межклеточных взаимоотношениях. Концепции преформизма и эпигенеза в сущности непригодны для описания развития, которое нельзя свести к увеличению или сохранению количества информации. Задача состоит не в таком описании, но в выяснении сущности развития, его физической природы, его атомно-молекулярных основ. [c.34]

Исходя из чисто терминологических аспектов формирования основных понятий, выражение (4.1) не было названо энтропией сообщения. Это связано с тем, что понятие энтропия — статистическое, а следовательно, оно неприменимо к совокупностям, состоящим из небольшого числа элементов. В данном случае совокупность сообщений должна оыть настолько большой, чтобы возможно было применение статистических рассуждений. Если п удовлетворяет названному условию и лг = (дГ ,..., Xf,) - совокупность сообщений, а Р= Fi(Xi), / 2( 2),..., (x,j) -соответствующие вероятности их появления, то за энтропию данной совокупности сообщений принимается математическое ожидание полученной информации, равное [c.101]

С термодинамикой связана и теория информации. Увеличение количества информации в системе, рассматриваемой как сообщение, всегда сопряжено с понижением энтропии (см. гл. 9). Информационные аспекты биологии весьма поучительны. Выясняется, что понятие количества информации совершенно недостаточно для рассмотрения развивающихся биологических систем. Оказывается необходимым рассматривать и рецепцию информации, и создание новой информации. И то, и другое возможно лишь в условиях неравновесия, нестационарности и неустойчивости. В биологии важно не количество информации, но ее ка- Чество, смысл или ценность ( 17.8). [c.20]

Все изложенное существенно для теории и практики связи. Но теория информации имеет и прямое физическое содержание. Подобно количеству информации, энтропия выражается [c.31]

Выше было показано, что изотермические изменения летучести и парциальных значений энтальпии, энтропии и внутренней энергии для компонентов смеси можно оценивать с помощью констант уравнения состояния. Для иллюстрации этого было использовано уравнение БВР. Так же могут применяться и другие уравнения состояния. Следует отметить, что уравнение состояния не обеспечивает достаточной информации для оценки неизотермического изменения термодинамических (характеристических) функций. Б связи с этим появляется необходимость термических измерений (например, определения теплоемкости). [c.196]

Нетрудно связать эту меру информации с вероятностной трактовкой физической энтропии, данной Л. Больцманом. В самом деле, если N—общее число молекул, а —число молекул типа i, то p =Ni/N. В таком случае уравнение (11.28) можно переписать в следующем виде [c.141]

Хотя малое изменение частот колебаний внутри адсорбированных молекул и позволяет в первом приближении пренебречь их вкладом в энтропию адсорбции, во многих случаях это изменение дает дополнительную информацию о строении адсорбционного комплекса. Так, изменение частот характеристических колебаний адсорбированных молекул (см. главу VII) вместе с изменением частот валентных колебаний поверхностных гидроксильных групп (см. главу V) в каждом конкретном случае может указывать на образование поверхностного комплекса, в котором осуществляется связь между твердым телом и адсорбированной молекулой через гидроксильную группу поверхности и структурный элемент молекулы, на котором локализуется это колебание. Величина изменения соответствующих частот свидетельствует о прочности связи в таком адсорбционном комплексе. [c.421]

Шредингер [9] подчеркивал важную роль энтропии, говоря, что живые организмы питаются отрицательной энтропией . Сложные молекулы клеток обладают меньшим числом степеней свободы и в общем менее беспорядочны, чем те молекулы, из которых они образуются. Поэтому их синтез сопровождается уменьшением энтропии. Обычно подчеркивают роль свободной энергии в биосинтезе, но роль энтропии особенно важно рассмотреть в связи с количеством информации и, в частности, генетической информации, которую может хранить клетка. [c.85]

И хотя открытие в прошлом веке связи энтропии с вероятностью было неожиданным, еще большее удивление вызвало установление Сцилардом [И, 421 связи между энтропией и информацией. Инфэрмационный характер энтропии проявляется следующим образом. [c.50]

Как было установлено К. Шенноном, информация I о системе, получаемая при наблюдении за системой, связана с происходящим при этом изменением вероятности состояния сисгемы таким же соогношением (с ючностыо до знака), как и (3-49). Это формальное схолство выражений лля термодинамической энтропии 5 и уменьшения информации—/ ( информапионнои энтропии по Шеннону) привело многих авторов к необоснованному отождествлению термодинамической энтропии с информационной энтропией , хотя последняя не является термодинамическим параметром. Использование одного и того же термина (энтропия) для различных величин лишь вводит в заблуждение. [c.73]

В зтой связи возникает вопрос, могут ли названные понятия теории передачи сообщений, подобно ее методу 1-граммного анализа, оказаться полезными для изучения генетических текстов. По-видимому, ясно, что шенноновские информация и энтропия не эквивалентны по смыслу понятиям генетической информации и физической энтропии. Введем формальные определения. Рассмотрим эксперимент с п возможными исходами, имеющими вероятности осуществления Р, = 1, 2,...,п. Информация, которую приносит сообщение о том, что реализовался определенный исход i, полагается равной [c.75]

В работе представлены методологическое обоснование теории, термодинамическая, статистическая модель сложного вещества. Предложены релаксационные, нестационарные, марковские модели физико-химических процессов. Теория подтверждена экспериментом на примере процессов пиролиза, поликонденсации и термополиконденсации. Анализируются отличительные особенности термодинамики многокомпонентных систем, подчеркивается особая роль энтропии в формировании их разнообразия. Рассмотрена специфическая для вещества энтропия разнообразия, рост которой является источником эволюции вещества. Излагается новое направление, необходимое при изучении сложных органических систем - непрерывный, феноменологический подход к спектрам веществ. Анализируются закономерности, открытые нами в спектрах, в частности закон связи различных свойств и спектральных характеристик систем. Последнее означает, что свет несет информацию практически о всех свойствах материи. На основе данных спектроскопии предпринята попытка построения теории реакционной способности многокомпонентных органических систем. Отмечена особая роль квазичастиц- типа структуронов и вакансионов в формировании их реакционной способности. Показана роль слабых химических взаимодействий в гидродинамике многокомпонентных жидких сред. Даны новые подходы к направленному синтезу сложных органических систем. Экологические, геохимические системы и вопросы генезиса углеводородных систем планируется рассмотреть во второй части книги. [c.4]

Для демонстрации явления рецепции в качестве простого примера рассмотрим поведение перемещающихся щаров в корзине, используемой в лотерее. В корзине сделано несколько лунок, и выигрыш определяется щаром, попавшим случайно в одну из них. Физическая энтропия в этой системе связана только с быстро ре-лаксирующими степенями свободы, а их поведение определяется шарами в корзине и не зависит от того, находится шар в лунке или нет. Однако если в первом случае количество информации равно нулю, то во втором, когда определенный шар лежит в лунке, количество информации уже равно Таким образом, рецепция информации возникает при попадании шара в определенную лунку. Это требует выполнения некоторой работы (А ) и сопровождается переходом энергии в теплоту, что и делает рецепцию необратимой. При этом физическая энтропия системы увеличивается на АЕ/Т, намного превышающую возникшую информацию аЕ/Т Время запоминания здесь определяется временем нахождения шара в лунке, которое зависит как от высоты барьера, так и от частоты самопроизвольных термических осцилляций шара внутри лунки (с точки зрения приближения шара к барьеру лунки). Ясно, что при достаточной глубине лунки (>>/ 7) шар не может выйти из нее самостоятельно за счет тепловых флуктуаций. Увеличение частоты термических осцилляций шара внутри лунки, т.е. увеличение мощности фактора, инициирующего перескок шара в другую лунку, может привести к потере информации даже при небольших временах наблюдения и достаточно глубокой лунке (см. разд. 18.5). [c.403]

Впервые появившись в работе Р. Клаузиуса Механическая теория тепла в связи с формулировкой второго закона термодинамики, понятие энтропия впоследствии прочно утвердилось в различных отраслях научного знания теории информации, биологии, химии, политэкономии и других. Однако, практически, внедрение этого понятия в ту или иную область науки сопровождается многочисленными критическими замечаниями, связанными с обоснованностью термодинамических аналогий. Используемая в теории информации теоретико-информационная энтропия , введенная на строгой формальной основе, имеет гораздо больший авторитет в научных исследованиях и практических приложениях. Обращаясь к современному состояншо развития понятия энтропия , необходимо отметить, что оно было принято более на интуитивном уровне и исходя из многочисленных экспериментов, подтвердивших тот факт, что любая изолированная физическая система, выведенная из первоначального состояния равновесия путем некоторого внешнего воздействия, переходит в новое состояние равновесия с меньшими способностями к превращениям, нежели она имела в первоначальном состоянии. Поэтому на интуитивном уровне стало возможным приращение энтропии интерпретировать как меру способности физической системы к превращениям, а равновесное состояние, которое стремится принять изолированная система в результате внешнего воздействия, считать наиболее вероятным. [c.100]

Больцман связывал энтропию с величиной беспорядка в системе и с потерей информации ([23], с. 95), Шеннон обобщил это понятие, включив все виды информации, а Мовшович [25] связал его со сложностью графов (и, по сути, с системами, представленными графами). Таким образом, мы совершили полный цикл, поскольку сложность и беспорядок связаны в том смысле, что чем более неу-порядочена система, тем сложнее проблема ее описания (т.е. требуется больше информации). [c.245]

Накопление информации, обмен информацией неизбежно связаны с повышением энтропии системы, которое ведет к нарушению упорядоченности системы. Жнвое же вещество для того, чтобы существовать какое-либо конечное время, должно характеризоваться определенной структурой. Поэтому удаление избыточной энтропии — необходимое условие существования живого организма. [c.70]

Хям строение звеньев и их взаимное расположение в цепи характеризуют первичную структуру М. Первичная структура исчерпывающе определяется конфигурацией М.-пространств, расположением атомов в М., к-рое не м.б. изменено без разрьша связей и обусловлено длинами связей и величинами валентных углов. Число разл. способов взаимного расположения (чередования) звеньев в М. характеризуется конфигурационной энтропией и отражает меру информации, к-рую может содержать М. Способность к хранению информации-одна из самых важных характеристик М, значение к-рой стало понятно после открытия генетич. кода и расшифровки структуры основных биол. М.-нуклеиноеыл кислот и белков. [c.636]

Теперь можно рассмотреть, какова ценность в физическом плане вычислений, в которых за стандартное состояние выбрано любое состояние, отличное от состояния чистой жидкости. Например, значение разности = 0,052 эргХ Хсм"2 град 1 означает только то, что такая энтропия связана с поверхностными избыточными массами в межфазной области. Можно было бы вычислить соответствующую величину разности поверхностной энергии по отношению к поверхностям Гс,н, = = О и Гн о = 0. Но эти результаты в физическом плане не сообщают ничего нового, кроме информации, содержащейся [c.80]

Таким образом, информационная энтропия (9.14) эквивалентна термодинамической (9.28). Один бит информации соответствует к1п2 = 10 Дж/К, т. е. очень малой термодинамической величине. Эта эквивалентность имеет реальный физический смысл — за полученную информацию нужно платить увеличением энтропии. Любое измерение связано с возрастанием энтропии окружающей среды. Энтропийная цена бита к1п2 есть его минимальная стоимость. При бросании монеты получается один бит информации, но выделение энтропии вследствие нагревания монеты при ее Ударе о пол много больше к 1п 2. Монета может быть и сколь угодно большой. [c.305]

Представляется интересным установить связь между энтропией информации и количественными характеристиками. 13местителей в бензольном ядре. С этой целью были сопоставлены значения с полярной (индукционной) константой Тафта а [77]. Данные для реакции нитрования в уксусном ангидриде при 25° представлены в табл. 22. Из этой таблицы следует, что уменьшение значения а влечет за собой нарастание неопределенности протекания реакции. Значение начинает падать, когда мы переходим к алкильным заместителям, подающим электроны на бензольное кольцо по индуктивному. механизму +/. [c.142]

Изучение расхождений второго рода в значениях энтропии, т. е. тех, которые связаны с образованием несовершенных кристаллов, дает ценную информацию о природе твердого состояния органического вещества. Здесь рассматриваются только крупные несовершенства, обусловленные образованием неупорядоченных молекулярных кристаллов. В случае таких сложных молекул, какими является большинство органических молекул, кажется несколько удивительным, что только в немногих исследованиях, проводившихся с использованием точных калориметрических методов, не удалось получить при низких температурах упорядоченных кристаллов. Первыми яркими примерами, когда для органических молекул была найдена остаточная энтропия, были, как этого и следовало ожидать, дейтерозамещенные соединения — дейтерометан и 1,1-дидейтероэтилен. Клузиус, Попп и Франк сообщили [121], что получающаяся при сравнении экспериментального и рассчитанного значений остаточная энтропия СИзО равна [c.50]

Хорошо известно из термодинамики, что если моль одного из двух различных идеальных газов при одинаковых температуре и давлении диффундирует в моле другого (и наоборот) при условии, что температура и давление остаются постоянными, энтропия возрастает на величину 2/ 1п2. В результате диффузии определенная часть информации о, системе теряется. Другими словами, диффузия вводит элемент случайности. Вследствие этого целесообразно постулировать наличие связи между энтропией системы и слзгчайностью или степенью пеулорядоченпости системы в данном состоянии. Поэтому [c.84]

Модель сфера в непрерывном диэлектрике, помимо упомянутого выше ограниченного числа случаев (и для многих реакций в пределах этой группы), не приводит к успеху по причинам, обсуждавшимся в разделах 2.В, З.Г, 4.Г и 5.Б. К тому же в системах, где параметры свободной энергии типа Ig(k /k2) совпадают с предсказанными значениями, соответствующие величины энтропии и энтальпии могут вести себя различным образом. В оставшейся части этой главы мы будем в основном пытаться выявлять специфические и неэлектростатические взаимодействия путем 1) включения эффектов структурирования растворителя и сортировки растворителя в смесях, 2) использования измеренных коэффициентов активности с уравнениями, аналогичными уравнениям (2.64) и (2.66), 3) использования соотношений свободной энергии, описывающих образование водородных связей, и 4) использования эмпирических параметров полярности среды (разд. 2.В), которые отражают и макроскопическую полярность, и способность к специфической сольватации ионов. Последние обсуждаются вместе с реакциями, для которых их применяют суммарную информацию можно получить из обзоров Рейхардта [691] и Ритчи [37]. [c.382]