Справочник химика 21

Химия и химическая технология

Статьи Рисунки Таблицы О сайте English

Гессиан

    Метод Гаусса — Ньютона. Воспользуемся методом Ньютона для минимизации функции F (х). Как показано в Приложении Б, для нахождения последующего приближения к минимуму на каждой итерации необходимо решить уравнение (Б.2). Заменим в этом уравнении Гессиан его аппроксимацией (111,14), а вместо градиента F (а ) подставим его значение (111,13). Тогда получим  [c.134]

    Гессиан С функции Е имеет структуру [c.42]

    Для использования метода Ньютона необходимо, чтобы Z(x) была дважды дифференцируемой и в каждой точке х R были определены градиент VZ (Jf) и гессиан V Z (лг) размерностью пХп. Линеаризация VZ в окрестности точки j и приравнивание полученного выражения к нулю приводит к уравнению [c.209]


    Отметим, что метод Ньютона (см. У.86) в силу двух существенных недостатков ограниченно применяется в практических расчетах. Первый из них — это необходимость вычисления гессиана целесой функции в каждой точке. Поскольку критерий оптимальности обычно имеет довольно сложную форму, гессиан может быть вычислен только с помощью конечных разностей второго порядка- [c.210]

    Это означает, что в окрестности точки лг необходимо произвести п (п 1)/2 вычислений критерия оптимальности. Очевидно, для этого требуются значительные затраты вычислительного времени. Если же гессиан в процессе поиска изменяется, то информация [c.211]

    Сравнение этого выражения с формулой (У.8б) показывает, что для квадратичной функции после п шагов в линейно независимых направлениях матрицы // и (лг") 1 совпадают с точностью до множителя р 0. В общем случае матрицы аппроксимируют гессиан целевой функции, и эта аппроксимация тем точнее, чем меньше изменяется гессиан в процессе движения к экстремуму. [c.211]

    Подставляя выражение для х из (11,73) и используя (11,74), можно легко убедиться в справедливости (11,72). Отсюда ясен смысл выбора матрицы Р в виде (11,70) на шаге I = кп к — целое число). Если функция близка к квадратичной, то в соответствии с (11,71) матрица Р,- (11,70) будет близка к обратному Гессиану. Следовательно, применение ее может дать направление, близкое к направлению метода Ньютона [см. (Б.8)]. [c.46]

    Здесь рассмотрены методы минимизации квадратичных функций (И,9), которые наряду с построением сопряженных направлений позволяют после конечного числа шагов найти матрицу, обратную к гессиану, т. е. матрицу А . Пусть на каждой итерации вектор р, определяется из соотношения (1,41). При этом векторы и,- будем строить таким образом, чтобы направления (11,20) были сопряженными, а матрицу Я,- размерности п X п находить так, чтобы на ге-ом шаге она равнялась матрице А . При этом примем, что метод обеспечивает построение ненулевых векторов р (г = О, [c.62]

    Покажем теперь, что выполняется свойство 2 функции В. Непосредственным дифференцированием легко найти, что Гессиан функции В будет  [c.236]

    Метод Ньютона, обеспечивающий минимизацию произвольных функций, описан в работе [11, с. 268]. Основным недостатком этого метода является необходимость на каждом шаге вычислять матрицу вторых производных (гессиан) функции / (х). Это обстоятельство явилось побудительной причиной развития квазиньютоновских методов, в которых на основе информации о значениях функции и ее производных в точках поиска строится некоторая аппроксимация либо самого гессиана Bi, либо обратного гессиана Hi i — номер точки). [c.86]

    Гессиан G является симметричной матрицей [c.87]

    Оценивая перспективы применения метода Ньютона, следует отметить, что его широкое практическое использование начнется лишь после того, как на основе развитых алгоритмических методов будут созданы программы для ЭВМ, позволяющие для схем произвольной структуры вычислять значения вторых производных критерия по поисковым переменным только на основе знания математических моделей отдельных блоков, и информации о структуре ХТС, т. е. программы, аналогичные вышеупомянутым программам вычисления первых производных. Поскольку трудно предположить, что такие программы будут созданы в ближайшие годы, основное применение найдут квазиньютоновские методы первого порядка. Как мы уже отмечали, эффективность этих методов с увеличением размерности задач должна уменьшаться. Однако, есть обстоятельство, которое позволяет существенно повысить эффективность квазиньютоновских методов при оптимизации больших систем либо сама структура ХТС приводит к тому, что гессиан целевой функции имеет сильно разреженную структуру (большое число нулевых элементов), либо же с помощью специального приема удается получить модифицированный критерий, гессиан которого будет иметь сильно разреженную структуру. В связи с этим рассмотрим квазиньютоновские методы минимизации функций, имеющих сильно разреженные гессианы. Развитие этих методов началось в самое последнее время. Также как и в главе П1 мы здесь рассмотрим квазиньютоновские методы 1-го и [c.169]


    В окрестности минимума функция / х) может быть достаточно хорошо аппроксимирована квадратичной формой с положительно определенной матрицей. Это значит, что в достаточно малой окрестности точки минимума функции / гессиан G будет положительно определенным [c.87]

    В случае решения систем нелинейных уравнений аналогов этих свойств нет. При построении приближений к гессиану (обратному гессиану) естественно потребовать, чтобы они удовлетворяли возможно большему числу свойств, которыми обладает сам гессиан (обратный гессиан). Имея в виду свойства (III, 45), в большинстве случаев будет требовать, чтобы матрицы , Hi были симметричными [c.87]

    Вначале рассмотрим случай построения приближения к самому гессиану. Для получения матрицы Е [см. равенство (II, 38) ] воспользуемся принципом наименьшего изменения матрицы В . При этом матрица должна удовлетворять квазиньютоновскому условию 1-го рода (II, 25) и условию симметричности (III, 47). Отсюда следует, что матрица Е должна удовлетворять условию (II, 39) и условию симметричности. Итак, матрица Е будет определяться как решение следующей задачи [c.88]

    Произведем замену переменных х = М < х для функции / (х), тогда ( ) = / М х). Гессиан функции / (л ) равен [c.93]

    Почему же все-таки преобразование, полученное на основе задачи (III, 68) обеспечивает хорошие практические результаты. Дело в том, что пространство х можно сделать очень удобным для поисковых методов соответствующим подбором матрицы М. Действительно, если выбрать М = V / ( ). где х — минимум функции f (дс), то в точке минимума гессиан (III, 86) функции т (х) будет равен единичной матрице. Таким образом, в пространстве х в окрестности минимума поверхности уровня функции (л) близки к гиперсферам. Это наиболее благоприятная ситуация для поисковых методов, и если бы мы действительно могли выбрать М = V / (х ), это объясняло бы причины хорошей работы преобразования (III, 75). К сожалению, мы заранее не знаем матрицы у / (дс ). Однако можно считать, что матрица М является некоторым приближением к матрице (х ), поскольку она является симметричной, положительно определенной и удовлетворяет квазиньютоновскому условию (III, 79). Отсюда и преобразование (III, 75), полученное с использованием этой матрицы, должно показывать результаты, близкие к тем, которые бы мы имели при М = ( )- [c.93]

    Рассмотрим теперь случай, когда ищется аппроксимация к обратному гессиану. Будем предполагать, что матрица Q [с.м. выражения (111,78)] является положительно определенной. [c.94]

    Вначале рассмотрим методы минимизации квадратичных функций (П1, 2). Аппроксимация В] прямого и Н] обратного гессианов будем искать с помощью соотношений (П, 29) и (П, 32) соответственно. На первой стадии будем вести изложение применительно к случаю, когда ищется матрица Я . В статье 133] (см. также [11, с. 63]) показано, что, если векторы строятся в соответствие с формулой (1,41), в которой Я удовлетворяет соотношению (II, 32), а коэффициенты а — условию (I, 47), то поисковые направления будут сопряженными, и, следовательно, минимум функции (П1, 2) будет найден на п-м шаге. Кроме того, в п-й точке будет выполняться соотношение [c.94]

    Надо оценить гессиан у2/7(/+1) же точке [c.132]

    Рассмотрим методы, в которых аппроксимируется обратный гессиан. Итак, рассмотрим задачу  [c.150]

    Характеристика квазиньютоновских методов минимизации функций с разреженными гессианами [c.171]

    Вначале покажем возможность появления критериев с сильно разреженными гессианами. Иногда сама структура ХТС приводит к задаче, в которой критерий имеет сильно разреженный гессиан. Рассмотрим в виде примера задачу оптимизации последовательно-параллельной схемы (рис. 29), имеющей I параллельных ветвей, каждая из которых содержит п блоков. Пусть номер ЛА, (ЛА = /п + л + 1) соответствует блоку смешения. Для простоты предположим, что в каждом блоке имеется только одно управление и, следовательно, число управлений равно т + п1. Пусть критерий оптимизации имеет вид  [c.171]

    Первые т строк столбцов) гессиана функции Р (рис. 30) соответствуют дифференцированию по переменным 1 = 1, т), следующие п строк (столбцов) —дифференцированию по переменным (I = т + 1, т + п) и т. д. Здесь и далее заштрихованная часть гессиана соответствует ненулевым элементам гессиана, элементы же, стоящие вне заштрихованных частей, тождественно равны нулю, К сожалению, в большинстве случаев при оптимизации ХТС гессиан критерия не получается разреженным. Так, если в схему, показанную на рис. 29, ввести рецикл, то гессиан будет плотно заполненным [c.171]

    При такой постановке задачи гессиан критерия Фх в общем случае является плотно заполненным. Чтобы получить критерий с сильно разреженным гессианом поступим следующим образом. Выберем в качестве поисковых переменных наряду с (к = I, Ы) все входные переменные (й = 1, Л/) блоков схемы, а соотношения связи (I, 6) будем трактовать как ограничения типа равенств. В этом случае число поисковых переменных 7 равно [c.172]

    В таком виде критерий Фа имеет сильно разреженный гессиан, если каждый блок ХТС связан с небольшим числом других блоков. В значительном большинстве случаев выходной поток блока не подаете  [c.172]

    Таким образом, благодаря специальному выбору поисковых переменных и существенному увеличению размерности задачи удалось привести критерий к виду, имеющему сильно разреженный гессиан. При этом существенно увеличилось число штрафных членов функции Фа по сравнению с функцией Ф что должно ухудшить сходимость поисковых методов. Однако, вычислительный опыт показывает, что если в критерии имеются штрафные члены, то добавление новых часто ненамного ухудшает сходимость применяемого метода. В любом случае, только опыт может дать ответ на вопрос компенсирует ли получение сильной разреженности гессиана отрицательные последствия увеличения размерности задачи и числа штрафных членов. [c.173]


    Таким образом, функция Ф2 (к = 2, Л ) зависит только от переменных а Ф + > от переменных Гессиан функции Фг размерности N (г + п)Х N (г + п) приведен на рис. 31. В нем первые п строк (столбцов) соответствуют дифференцированию по переменным следующие г строк (столбцов) — дифференцированию по переменным следующие п строк (столбцов) —диф - [c.173]

    Резюмируя приведенное рассмотрение, отметим, что в гессиане могут быть элементы двух видов. Элементы первого вида — постоянные числа (в частном случае равные нулю), второго вида —легко вычисляемые [например, с помощью формул (V, 7)] выражения. Относительно построения квазиньютоновских методов минимизации функций с разреженными гессианами можно сказать то же, что было сказано о построении методов решения систем нелинейных уравнений с разреженными матрицами Якоби. Ясно, что мы должны аппроксимировать сам гессиан, а не обратную ему матрицу, поскольку гессиан может иметь большое число нулей, а его обратная матрица — быть плотно заполненной. При построении матриц Б , аппроксимирующих гессиан О, желательно сохранить структуру самого гессиана, т. е. обеспечить равенство постоянных (в частности нулевых) и легко вычисляемых элементов матрицы О соответствующим элементам матрицы В. [c.174]

    Квазиньютоновские методы 1-го рода для минимизации функций с разреженным гессианом [c.174]

    Задача состоит в построении такой матрицы В +1 в к + 1)-й точке, которая являлась бы некоторым приближением к гессиану а ее элементы к = I, п) удовлетворяли бы соотнощениям [c.175]

    Наконец, примем, что функция g (х) определена и дифференцируема (ио Гато) в некотором открытом выпуклом множестве В, т. е. якобиан g (х) пли, что то же, гессиан /" (г) минимизируемой функции / (х) удовлетворяет соотношению [c.274]

    В этом случае также и в матрице Я должна в максимальной степени сохраниться информация о гессиане, которая содержалась в матрице Я/ ,. Конечно, если ограничение (IV, 124) было активно на достаточно большом числе итераций, то в матрице Я 1 (так же, как и в случае применения методов Гольдфарба и Муртага —Саджента) будет отсутствовать информация о кривизне / (ж) вдоль нормали к гиперплоскости (IV, 124). Однако в этом случае можно поступить следующим образом. Вычислим значение градиента функции f (х) в некоторой точке, находящейся на нормали Пд и после этого подсчитаем величину о  [c.156]

    Пусть требуется минимизировать функцию / (х), где л — /г-вектор с разреженным гессианом. Построениё алгоритма минимизации таких функций будет основываться на подходах, развитых при выводе квазиньютоновских методов метода 1-го рода для минимизации произвольных функций и метода решения систем нелинейных уравнений с разреженной матрицей Якоби. Так же, как и в последнем методе введем множества М , Ма, М, М следующим образом — множества пар целых чисел ( , /) таких, что соответствующие элементы G гессиана являются постоянными, не зависящими от точки (номера итерации), т. е. выполняются равенства [c.174]


Смотреть страницы где упоминается термин Гессиан: [c.214]    [c.31]    [c.203]    [c.210]    [c.86]    [c.93]    [c.94]    [c.97]    [c.132]    [c.132]    [c.155]    [c.155]    [c.156]    [c.174]   
Обнаружение и диагностика неполадок в химических и нефтехимических процессах (1983) -- [ c.158 , c.160 ]




ПОИСК





Смотрите так же термины и статьи:

Квазиньютоновские методы 1-го рода для минимизации функций с разреженным гессианом

Характеристика квазиньютоновских методов минимизации функций с разреженными гессианами



© 2024 chem21.info Реклама на сайте