Теория информации Шеннона

Критерий Бокса и лла [136]. Чтобы избежать указанной неопределенности, присущей критерию Рута, Бокс и Хилл предложили для оценки величины расхождений между моделями использовать значение ожидаемого уменьшения энтропии, характеризующего меру беспорядка или неопределенности состояния системы. Понятие об ожидаемом уменьшении энтропии было введено в теорию информации Шенноном [201]. По смыслу оно близко к понятию термодинамической энтропии. [c.129]

ТЕОРИЯ ИНФОРМАЦИИ ШЕННОНА [c.15]

В теории информации Шеннона рассматриваются вопросы кодирования сообщений при передаче их по каналам связи с учетом статистических свойств сообщений и помех на линиях связи. [c.15]

Как следует из формулы Шеннона, информационная энтропия, как и термодинамическая энтропия Больцмана, обладает свойством аддитивности. Этот исключительно важный принцип теории информации может в некоторой степени явиться обоснованием для теоретического оправдания правомерности эмпирических методов моделирования, базирующихся на принципе аддитивности свойств веществ. В этой связи надо уточнить, что аддитивна не сама информация (т е. свойства), а энтропия информации. [c.21]

Шеннон К. Работа по теории информации и кибернетике / К. Шеннон. - М. [c.158]

Однако, если в термодинамике формула Больцмана была получена в результате развития интерпретации процессов, происходящих в физических системах, то в теории информации, где была получена совершенно аналогичная формула, соответствующая именно распределению частиц в физической системе по статистике Максвелла-Больцмана и служащая для измерения количества информации, отправной точкой служила разработанная Шенноном система постулатов. [c.100]

Шеннон К. Математическая теория дифференциальное анализатора. В кн. Работы по теории информации и. кибернетики. Пер.с англ. - М. Иностранная литература, 1963, с. 709 728. [c.150]

Большое значение в кибернетике имеет понятие количества информации . Это понятие в кибернетике сыграло роль, аналогичную понятию энергии в физике, также дающему возможность с общей точки зрения описать различные физические процессы. За сравнительно короткий срок ученым удалось создать теорию информации, которая позволила количественно характеризовать информацию. Основные положения этой теории изложены в статье Математическая теория связи , опубликованной в 1948 г. американским ученым К. Э. Шенноном. [c.26]

До создания теории информации понятие "информация" фактически не имело строгого научного значения. В связи с потребностью в машинной переработке экспоненциально возрастающего потока информации и ее хранения возникли актуальные проблемы количественного измерения информации и такая наука, как информатика возникла в 1948 г. Ее создателем стал выдающийся американский ученый Клод Шеннон [37]. Фундаментальной основой разработанной им теории информации явилась вероятностная энтропийная формула Людвига Больцмана (1896) [c.21]

Довольно часто в дискуссиях по цифровому преобразованию спектров автору приходилось спорить о необходимости большой плотности записи спектра. Дело в том, что если исследовать задачу о получении спектроскопических данных с точки зрения теории передачи информации Шеннона (а следует заметить, что [c.356]

Шеннон К- Э. Математическая теория связи. Работа по теории информации и кибернетики. М., ИЛ, 1963. [c.322]

Большинство известных вариантов теории информации, например Шеннона, имеет в своей основе понятия случайности и веро- [c.286]

Шеннон К- Связь при наличии шума. В сб. Теория информации и ее приложения . Пер. с англ., под ред. X а р к е в и -ч а А. А. Физматгиз, 1959. [c.19]

Предельные соотношения имеют особое значение с точки зрения теории информации. Формула Шеннона для пропускной способности канала с полосой W при помехах в виде аддитивного нормального шума с равномерной односторонней спектральной плотностью Nq имеет вид [c.280]

В теории информации источник информации задается в виде множества сообщений Х , Х2,...,Х , с вероятностями соответственно Pj, Pg,...,P . В этом случае среднее количество информации, приходящееся на одно сообщение, определяется по формуле Шеннона [c.228]

Наиболее широко термин информация определяется в двух основных значениях общепринятом (бытовом) и научно-техническом. Под информацией в первом смысле понимается всякое сообщение оформленное как словосочетание номинативного характера. Это может быть предложение, сочетание предложений, текст. Второе значение термина информация - употребляется в работах по теории коммуникации, информатики. Например, в теории К.Шеннона само понятие информация по сути не определялось. Им были установлены лишь количественные соотношения между минимальной информационной емкостью, для надежной передачи сообщения [161,126], но ввиду отсутствия других формальных теорий аппарат К.Шеннона был положен в основание различных информационных теорий [77]. [c.47]

Отсюда ясно, что нулевой энтропии соответствует полная информация о системе, а высокой энтропии соответствует нулевая информация. Работа Сциларда появилась в 1929 г., но тогда на нее не обратили внимания. Только двадцать лет спустя К. Шеннон [421 вновь открыл термодинамическую концепцию информации. Это открытие явилось фундаментом современной кибернетики и теории связи (передачи информации). [c.50]

Книга задумана как изложение с единой точки зрения теории модуляции для фазово-ког рентных систем связи. Техника модуляции ведет свое начало от первых попыток доисторического человека передавать информацию на расстояние. Основные методы и теория модуляции изложены несколькими авторами [1 и 2]. Особое внимание они уделили конструкции и теории обычных модуляторов и демодуляторов, применяемых в некоторых системах модуляции. Начиная с середины сороковых годов, когда для исследования проблем связи впервые была применена статистическая теория, был выполнен ряд важных исследований систем модуляции, некоторые из них излагаются в учебниках статистической теории связи [3 и 4]. Труды Шеннона [5], Винера [6] и Вудворда [7] создали теоретические основания для проектирования оптимальных систем модуляции для разнообразных систем радиосвязи. В нашей книге будут изложены основы статистической теории связи, приводящей к исследованию и оптимальному построению систем модуляции для фазово-когерентных систем, работающих при наличии теплового шума. (См. также [9 . Прим. ред.) [c.11]

Теория передачи сообщений, развитая Шенноном, рассматривает понятия информации и энтропии в узком смысле - применительно к анализу символьных последовательностей. [c.75]

Эта теория возникла в ходе решения задач передачи потоков сообщений по каналам связи в технических системах, и первый фундаментальный труд принадлежит К.Шеннону Математическая теория связи (1948 г.). Сегодня понятие информация является одной из основных философских категорий, наряду с такими категориями, как материя, энергия, без которых невозможно описание функционирования живых систем. [c.227]

Из приведенных примеров ясно, что рассуждения об общей информационной способности метода малоэффективны, они нуждаются в привязывании к специфическому количеству информации, необходимому для решения той или иной задачи. В общем-то эти ножницы не новы, они встречаются как в деятельности аналитиков, так и в других областях человеческой деятельности и в настоящее время тщательно изучаются. Так, в обзоре [68] обсуждаются работы Р. Карнапа, К. Мэлони, А. Н. Колмогорова, Ю. А. Шрейдера и др., направленные на создание теории, позволяющей учитывать семантическую (содержательную) информацию, что недоступно классической теории информации Шеннона. [c.85]

Предлагаемый метод математического моделирования основан на универсальной теории информации К. Шеннона, положивщей во второй половине XX в. начало бурному развитию мировой информационной технологии. Фундаментальной основой этой теории является вероятностная энтропийная формула Л. Больц-мана, преобразованная К. Шенноном применительно к информационным системам (в случае неравновероятных событий) в уравнение для расчета энтропии (количества) информации 3 [c.48]

В теории информации за количественную меру информации принята информационная энтропия S , вычисляемая применительно к неравновероятностным событиям по формуле К. Шеннона [c.21]

Одна из задач теории информации заключается в следующем. Предположим, что известны вероятности р, осуществления всех возможных событий. В общем случае, когда р,- нельзя с достоверностью сказать, какое именно событие осуществится. В связи с этим возникают вопросы о том, насколько неопределенным является факт осуществления какого-либо из всех возможных событий (или, иначе говоря, насколько неопределен исход опыта, в результате которого реализовалось одно из возможных состояний) и существует ли количественная мера этой неопределенности. На эти вопросы впервые дал ответ Шеннон [26]. При этом искомую количественную меру он нашел, исходя из следующих разумных априорных требований, которым должна удовлетворять эта величина. [c.353]

Первые годы после выхода книги Н. Винера Кибернетика и публикации фундаментальных работ К. Шеннона по теории информации совпали с началом периода бурного развития и внедрения ЭВМ. Первая большая ЭВМ — ЭНИАК, успевшая уже давно и безнадежно устареть, была предназначена для узкоспециализированных расчетов. Однако, как это часто случается с изобретениями, немедленно же выяснилось, что она пригодна также для решения неожиданно широкого класса задач. Вскоре начались почти лихорадочные поиски новых, неожиданных и увлекательных применений ЭВМ под лозунгом — Что бы это такое еще запрограммировать Не только все классы вычислительных задач пошли в машину , но появилось также и Nnroro логических программ, имитирующих работу счетовода, бухгалтера, кассира на транспорте, диспетчера [c.9]

В этом отношении энтропии крупно не повезло, ибо следующий аналогичный шаг, но уже относящийся к теории информации и кибернетики, был сделан К., Шенноном в его математической теории связи. В своей беседе с М. Трибусом, Шеннон не без юмора заметил Меня больше всего беспокоило, как назвать эту величину. Я думал назвать ее информацией , но это слово слишком перегружено, поэтому я решил остановиться на неопределенности . Когда я обсуждал все это с Джоном фон Нейманом, тот предложил лучшую идею. Фон Нейман сказал мне Вам следует назвать ее энтропией по двум причинам. Во-первых, ваша функция неопределенности использовалась в статистической механике под этим названием, так что у нее уже есть имя. Во-вторых, и это важнее, никто не знает, что же такое эта энтропия на самом деле, поэтому в споре преимущество всегда будет на вашей стороне [55, с. 18]. [c.406]

Наиболее простым и исследованным аспектом биоразнообразия являются вычисления информационных индексов. Попытки измерения функционального разнообразия проводились и ранее (Zak et al, 1994), но не получили должного развития. Несмотря на большое количество существующих индексов оценки биоразнообразия (Мэгарран, 1992), исследователи остановились на индексе Шеннона и выровненности, как наиболее универсальных критериях оценки разнообразия системы (энтропийные индексы), выводимых из общей теории информации. [c.53]

Справочник химика 21

Химия и химическая технология