Понятие информации и информационной энтропии

Понятие информации и информационной энтропии [c.20]

Некоторые важные понятия статистической физики (в первую очередь, понятие статистической энтропии) тесно связаны с понятиями теории информации. Можно говорить о широком взаимном проникновении идей в рамках этих двух наук, которое приводит к их обогащению. При этом появляется возможность находить содержательную интерпретацию результатов одной науки на языке другой, а также строить методы решения соответствующих проблем одной науки, аналогичные тем методам, которые использованы в другой науке для получения известных решений сходных проблем. Так, в начале своего развития теория информации существенно опиралась на фундаментальные идеи статистической физики. Теперь же, когда теория информации хорошо разработана, построенный в ее рамках математический аппарат оказывается весьма полезным при построении методов статистической физики. Например, разработанный в, теории вероятностей наименее предубежденный (или наименее ошибочный) метод нахождения распределения вероятностей может быть использован в статистической физике для построения равновесных функций распределения. Краткому изложению этого метода, в основе которого лежит понятие информационной энтропии, посвящен этот раздел. [c.353]

В процессах принятия решения при характеристике и прогнозировании важнейших свойств сложных каталитических систем эффективный прием конструирования алгоритмов для предсказания каталитического действия основан на одном из фундаментальных понятий теории систем — энтропии информации. Применение теории информации к каталитическим системам позволяет дать им универсальную характеристику в виде энтропии информации, открывающую возможность сравнивать между собой каталитические системы различных, в принципе любых типов. В частности, этот подход обеспечивает возможность предсказания свойств данной каталитической системы благодаря выбору тех типов систем, которые по своим возможностям наиболее содержательны для катализа и которые тем самым способны дать наибольшую информацию о свойствах катализаторов, например о характере их активных центров. При этом, как будет показано ниже, информационная энтропия, используемая для анализа атомных структур, оказывается более содержательной, чем обычная термодинамическая энтропия. [c.101]

Использование понятия энтропии для суш ественно неравновесных и гетероген-ных систем оправдано только по отношению к выделенным статистическим степеням свободы. Именно поэтому характеризовать в целом поведение биологической системы с помош ью понятия энтропии неправильно. Его можно применять только по отношению к конкретным метаболическим процессам. Пренебрежение этим обстоятельством создает причины серьезных ошибок при попытках дать чисто термодинамическую трактовку жизненных явлений. В этом плане следует рассматривать и проблему биологической информации. Связь энтропии и биологической информации. Связь этих понятий раскрывается по мере изучения информационных процессов в биологии. Как известно, на всех уровнях биологической организации суш ествуют информационные системы, в которых производится, запасается, передается, перерабатывается и воспринимается информация. Когда исследователь получает информацию о действительном состоянии системы, то первоначальная неопределенность, которой характеризовались его знания о системе, уменьшается. Очевидно, количество полученной информации в этой ситуации будет тем больше, чем больше была исходная неопределенность в состоянии системы. Пусть число микросостояний, которыми можно осуш ествить данную систему, равно а вероятность каждого из них равна р = 1 /И . [c.159]

В первой главе дан анализ современного состояния теории моделирования ФХС газов и жидкостей, рассмотрены известные методы их расчета. Применительно к нефтехимической технологии предложены и находят достаточно широкое применение приближенные модели ФХС, например, для расчетов давления насыщенных паров нефтяного сырья, такие формулы как Кокса, Ашворта, Максвелла и др., базирующиеся на информации только о температурах кипения фракций, что нельзя считать теоретически обоснованными. Рассмотрены теоретические основы учения о ФХС веществ и основы математических методов обработки информации, основные понятия информации и информационной энтропии, характеристики межмолекулярных взаимодействий в жидкостях и газах. [c.5]

Вопрос об упорядоченности слз чайных последовательностей рассматривается в теории информации [1], где, в частности, показано, что единственной мерой такой упорядоченности является энтропия Н. Не следует смешивать эту информационную энтропию с термодинамической, так как эти понятия (первое из которых — математическое, а второе — физическое), вообще говоря, различны. Величина к может быть введена для произвольного случайного процесса формирования последовательностей из любого числа элементов. Следовательно, информационная энтропия служит единственной объективной характеристикой меры упорядоченности распределения звеньев в цепи произвольных сополимеров. [c.33]

В теоретико-информационном подходе к синтезу схем разделения [39—41] используется понятие энтропии, характеризующей неупорядоченность рабочих потоков. Если разделение формально сопоставить с получением информации, то выбор оптимальной схемы равноценен выбору способа, при котором процесс получе- [c.481]

Работы Винера и Шеннона были прочтены и подхвачены в первую очередь инженерами связи и устройств автоматического регулирования. Для них понятия информации и управления были профессионально привычными и не требовали разъяснений или определений. Но в дальнейшем, когда кибернетикой начали заниматься лица самых различных специальностей, подчас весьма далекие и от техники, и от математики, основные понятия кибернетики стали получать весьма разнообразные, а подчас и произвольные толкования. Кибернетики сами не сумели соблюсти порядок в собственном доме. В некоторых книгах по кибернетической оптимизации производства термин шформация стал применяться к. .. сырью ( входная информация ) и изделиям ( выходная информация — о чем 1), а обработка сырья трактовалась как язык для перекодирования входной информации в выходную . Другими авторами управление трактовалось как любое взаимодействие элементов системы , чем вольно или невольно в состав кибернетики включалась вся физика и многие другие естественные пауки. Информационную энтропию и негэнтроппю (меру количества информации) некоторые авторы стали смешивать с физической энтропией и негэнтропией и утверждать, что растение получает с солнечным светом будто бы информацию , а не свободную энергию. Особенно не повезло самому понятию информация (как соответствию сигнала или знака другому сигналу или событию), которое стало не принято отличать от меры количества информации по Шеннону (негэнтропия на символ), что равноценно, например, замене тонны угля тонной льда подтем п едлогом, [c.13]

С термодинамикой связана и теория информации. Увеличение количества информации в системе, рассматриваемой как сообщение, всегда сопряжено с понижением энтропии (см. гл. 9). Информационные аспекты биологии весьма поучительны. Выясняется, что понятие количества информации совершенно недостаточно для рассмотрения развивающихся биологических систем. Оказывается необходимым рассматривать и рецепцию информации, и создание новой информации. И то, и другое возможно лишь в условиях неравновесия, нестационарности и неустойчивости. В биологии важно не количество информации, но ее ка- Чество, смысл или ценность ( 17.8). [c.20]

Для расчета профиля концентрации в аппарате, в котором проводится осаждение в гравитационном поле, Н. В. Соколов [И ] предложил использовать меру неопределенности — энтропию информации Я, которая является основным понятием при использовании системно-информационного метода Я = [c.144]

Впервые появившись в работе Р. Клаузиуса Механическая теория тепла в связи с формулировкой второго закона термодинамики, понятие энтропия впоследствии прочно утвердилось в различных отраслях научного знания теории информации, биологии, химии, политэкономии и других. Однако, практически, внедрение этого понятия в ту или иную область науки сопровождается многочисленными критическими замечаниями, связанными с обоснованностью термодинамических аналогий. Используемая в теории информации теоретико-информационная энтропия , введенная на строгой формальной основе, имеет гораздо больший авторитет в научных исследованиях и практических приложениях. Обращаясь к современному состояншо развития понятия энтропия , необходимо отметить, что оно было принято более на интуитивном уровне и исходя из многочисленных экспериментов, подтвердивших тот факт, что любая изолированная физическая система, выведенная из первоначального состояния равновесия путем некоторого внешнего воздействия, переходит в новое состояние равновесия с меньшими способностями к превращениям, нежели она имела в первоначальном состоянии. Поэтому на интуитивном уровне стало возможным приращение энтропии интерпретировать как меру способности физической системы к превращениям, а равновесное состояние, которое стремится принять изолированная система в результате внешнего воздействия, считать наиболее вероятным. [c.100]

Для количественной оценки меры неопределенности в теории информации введено понятие информационной энтропии H= ogik, обладающей следующими свойствами значение Н должно монотонно возрастать с увеличением числа исходов опыта k значение Н = 0, если имеется единственный исход опыта k=l, т. е. если возможен лишь одни исход опыта, то никакой неопределенности не возникает и результат опыта можно определить безошибочно оценка неопределенности должна обладать свойством аддитивности в том смысле, что если в результате некоторого сложного опыта имеют место два одновременных исхода ki и йг, то очевидно, что для такого опыта результирующих исходов будет k=k k2, или [c.22]

В свете современного развития науки стало очевидным истинное содержание так называемой антиэнтропийности жизни. Ранее подчеркивалась высокая упорядоченность клетки организма. Но упорядочены и кристаллы. Антиэнтропийность , если уж пользоваться этим понятием, выражается в ограниченной применимости понятия энтропии (и соответственно эквивалентного понятия количества информации) к живой системе. Будучи динамической, машинной , а не статистической системой, живой организм следует, конечно, законам термодинамики, но должен описываться в иных терминах. Развитию организма отвечают очень малые изменения энтропии. Для информационной трактовки явлений жизнедеятельности понятие о количестве информации бесплодно. В биологии существенно не количество, а качество информации, ее программирующее значение, ее ценность. Так, в теории Эйгена в качестве характеристики, определяющей молекулярную селекцию и эволюцию, фигурирует селективная ценность, выражаемая через кинетические величины. [c.611]