Энтропия Винера

Таким образом, количество информации измеряется количеством снятой неопределенности, следовательно, информацию можно рассматривать как меру упорядоченности или порядка системы. (Н. Винер определил энтропию как меру хаоса системы.) В частном случае, когда в результате опыта неопределенность полностью снимается, получаем /=Я. Хотя здесь количество информации численно равно энтропии, следует различать количество информации и энтропию. Связь между понятиями энтропии и количеством информации напоминает соотношение между физическими понятиями потенциала (энтропии) и разности потенциалов (количество информации). [c.23]

Многие ученые, и среди них Л. Сциллард, Дж.фон Нейман, К. Шеннон, Л. Бриллюэн, Н. Винер, высказывались о связи энтропии и информации. Приравнивая значения физической и информационных значений энтропии [3] получаем, что 1 бит равен к / 2, где к- постоянная Больцмана. [c.202]

Работы Винера и Шеннона были прочтены и подхвачены в первую очередь инженерами связи и устройств автоматического регулирования. Для них понятия информации и управления были профессионально привычными и не требовали разъяснений или определений. Но в дальнейшем, когда кибернетикой начали заниматься лица самых различных специальностей, подчас весьма далекие и от техники, и от математики, основные понятия кибернетики стали получать весьма разнообразные, а подчас и произвольные толкования. Кибернетики сами не сумели соблюсти порядок в собственном доме. В некоторых книгах по кибернетической оптимизации производства термин шформация стал применяться к. .. сырью ( входная информация ) и изделиям ( выходная информация — о чем 1), а обработка сырья трактовалась как язык для перекодирования входной информации в выходную . Другими авторами управление трактовалось как любое взаимодействие элементов системы , чем вольно или невольно в состав кибернетики включалась вся физика и многие другие естественные пауки. Информационную энтропию и негэнтроппю (меру количества информации) некоторые авторы стали смешивать с физической энтропией и негэнтропией и утверждать, что растение получает с солнечным светом будто бы информацию , а не свободную энергию. Особенно не повезло самому понятию информация (как соответствию сигнала или знака другому сигналу или событию), которое стало не принято отличать от меры количества информации по Шеннону (негэнтропия на символ), что равноценно, например, замене тонны угля тонной льда подтем п едлогом, [c.13]

Таким образом, энтропии Планка, Шеннона и Винера (как показал один из классиков кибернетики Эшби, между функциями, Шеннона и Винера принципиальной разницы нет) и негэн-тропия (отрицательная энтропия) Шредингера могут называться энтропиями и сопоставляться с энтропией Клаузиуса только с единственной целью, чтобы иметь преимущества [c.406]

Справочник химика 21

Химия и химическая технология