Бинарные классификаторы

Настоящая книга представляет собой вводный курс, посвященный приложениям некоторых методов распознавания образов к решению химических задач. Распознавание образов охватывает чрезвычайно широкую область разнообразных методов и их применений, однако мы сознательно сузили круг рассматриваемых вопросов. Значительная часть книги посвящена обсуждению таких непараметрических распознающих систем, которые называются обучающимися машинами . Свое название эти машины получили от способности обучаться давать с накоплением опыта все более правильные ответы на вопросы, относящиеся к классификации. Основным блоком подобных систем служит приспосабливающийся бинарный классификатор образов, или адаптивный пороговый логический элемент. Такие устройства обследуют множество помеченных данных на инвариантность, которую можно использовать при классификации. Эта процедура известна как обучение с учителем. Большая часть рассмотренных в книге работ связана с использованием адаптивных бинарных классификаторов образов, которые при обучении с учителем вырабатывают способность к классификации. [c.7]

БИНАРНЫЕ КЛАССИФИКАТОРЫ Простой пороговый логический элемент [c.45]

Книга состоит из семи глав. В первой изложены общие основы распознающих систем с краткой характеристикой их составных частей. Во второй даны основные математические принципы, используемые в бинарных классификаторах образов, описывается способ обучения при построении последних и рассматриваются критерии оценки их полезности. Третья глава посвящена некоторым методам предварительной обработки данных, позволяющим экономно осуществлять классификацию, с примерами практиче- [c.7]

Из непараметрических бинарных классификаторов широко исследован пороговый логический элемент. Кроме векторов образов обучающей выборки подстраиваемыми параметрами логических элементов являются только их линейные коэффициенты, определяемые в процессе обучения. Адаптивный пороговый логический элемент снабжается устройством для регистрации показаний по отношению к точно известному воздействию (объекту), т. е. способностью изменения своих параметров для того, чтобы реакция была верной. Обычно пороговые логические элементы можно подстраивать только на стадии конструирования. Подробно характеристики пороговых логических элементов рассматриваются в гл. 2. Пороговые логические элементы, соединенные во взаимосвязанные цепи, используют- [c.16]

ВВЕДЕНИЕ В ТЕОРИЮ БИНАРНЫХ КЛАССИФИКАТОРОВ ОБРАЗОВ [c.19]

Введение в теорию бинарных классификаторов образов 21 [c.21]

ПОРОГОВЫЕ ЛОГИЧЕСКИЕ ЭЛЕМЕНТЫ КАК БИНАРНЫЕ КЛАССИФИКАТОРЫ ОБРАЗОВ [c.22]

Хотя наибольшее распространение получили линейные пороговые логические элементы, в качестве бинарных классификаторов образов могут применяться пороговые логические элементы с любой другой функциональной зависимостью ответа. Необходимо только, чтобы они надежно отличали образы одного интересующего нас класса от образов другого. [c.23]

Настоящая глава посвящена рассмотрению ряда примеров линейной препроцессорной обработки химических данных, при которых сохраняется размерность пространства изображений. Поскольку данн ю стадию нельзя рассматривать отдельно от всей системы классификации образов, при сопоставлении различных подходов к препроцессорной обработке приходится обращаться к общим рабочим характеристикам бинарного классификатора. Поэтому в настоящей главе приведены некоторые рабочие характеристики распознающих систем в целом. Однако объем сведений, обстоятельно излагаемых в последующих главах, сведен к минимуму. В начальных разделах данной главы рассмотрена препроцессорная обработка данных, заимствованных из одного источника, т. е. характеризующихся тесной взаимосвязью замеров. В последующих же разделах главное внимание уделено препроцессорной обработке разрозненных данных, т. е. заимствованных из разных источников и полученных в ходе самостоятельных, не связанных между собой измерений. [c.30]

Характеристики бинарных классификаторов в зависимости от характера предварительной обработки данных (классификация по содержанию кислорода число положений т/е равно 132) [c.32]

Большая часть настоящей главы посвящена результатам применения линейных бинарных классификаторов для решения задач расшифровки химических данных. В остальных разделах главы рассмотрены вопросы нелинейной и множественной классификации. [c.45]

Таким образом, какую бы классификационную схему мы ни выбрали, она сама должна в той или иной форме оценивать распределение неизвестных масс-спектров на основе совокупности известных спектров. Линейный бинарный классификатор делает это при помощи решающей поверхности, эффективно делящей многомерное пространство изображений масс-спектров на два интересующих нас класса. Затем такой классификатор используется для классификации неизвестных спектров. Эту математическую процедуру химики обычно на практике не применяют, но по существу она сводится к предсказанию новых ответов на базе прошлой практики. Поэтому [c.47]

Результаты обучения бинарных классификаторов образов на углеводородах [c.49]

В табл. 4.6 приведены результаты обучения бинарных классификаторов образов с порогом и без него. Обучение проводилось на том же массиве данных, что и в случае табл. 3.1. Для каждой проверки из массива случайно выбирали по 300 масс-спектров. В результате трех процедур рандомизации были составлены три варианта обучающей и экзаменационной выборок, состав которых указан в нижней части табл. 4.6. Пороговые логические элементы с 2 = 50 в каждом случае для достижения 100%-ного распознавания требуют больше коррекций, но каждый раз они обеспечивают повышение прогнозирующей способности. Такие пороговые логические элементы с 2 = 50 способны правильно классифицировать 95,0, 95,8 и 96,0% полностью неизвестных образов из экзаменационной выборки (остальные данные табл. 4.6 обсуждаются ниже). [c.64]

В табл. 4.7 приведены результаты исследования характеристик бинарных классификаторов образов в зависимости от величины порога. Как и следовало ожидать, число коррекций через обратную связь, необходимых для правильной классификации всех образов из обучающей выборки, тем больше, чем выше порог Z. Одновременно возрастают прогнозирующая способность и надежность. В последнем столбце указано, сколько из исходных 132 положений mie, использованных при обучении, были исключены как неопределенные. По мере возрастания Z и сокращения объема, в который попадает решающая поверхность, число используемых классификатором образов положений mie возрастает. [c.66]

Характеристики бинарных классификаторов образов в зависимости от величины порога [c.67]

Повышение прогнозирующей способности бинарных классификаторов образов при использовании порогов [c.67]

Интересная возможность проверить кусочно линейный классификатор и его способность усложняться по мере необходимости представилась в задаче обнаружения двойной связи С=С, которая является важной структурной особенностью. В молекуле того или иного соединения двойная связь может реализоваться несколькими интересными способами. Простой бинарный классификатор не дает хорошей сходимости при обучении в этой задаче даже после нескольких тысяч коррекций через обратную связь, а прогнозирующаяся способность результирующего весового вектора составляет 75%. Результаты обучения кусочно линейного классификатора приведены в табл. 4.16, где указаны значения т и а, число классификаций в процессе обучения, число коррекций, число понадобившихся весовых векторов и, наконец, прогнозирующая способность обученного классификатора. Приведенные в этой таблице данные [c.85]

В каждом опыте к классификации приступали лишь с двумя весовыми векторами, пополняя в дальнейшем их число по мере необходимости. Очевидна зависимость конечного числа построенных векторов от постоянной времени т. Чем больше т, тем в большей степени функция Р подвержена колебаниям и тем больше число весовых векторов. (Кажущееся большим число векторов в пятом опыте объясняется одновременным добавлением пары векторов по одному для каждой категории.) Прогнозирующая способность изменялась приблизительно от 78 до 87%, что на 3—12% лучше, чем для бинарного классификатора. [c.86]

Дерево бинарных классификаторов образов [c.87]

На рис. 4.3 изображено дерево (ветвящаяся схема) бинарных классификаторов, построенное для вывода молекулярных формул [11]. Для обеспечения правильности разбиений на два класса ин- [c.87]

Рис. 4.3. Дерево бинарных классификаторов.

Бинарные классификаторы образов были расположены по ветвящейся схеме. Классификацию осуществляли по выборке спектров углеводородов. Каждый бинарный классификатор обучали разбиению векторов образов на две категории по схеме, изображенной на рис. 4.4. При построении шести классификаторов были использованы только те спектры, которые относились к соответствующей точке ветвления. Например, весовой вектор для точки 3 строили только для тех спектров полной обучающей выборки из 200 соединений, число атомов углерода в молекулах которых было равно 4 или 5. Прогнозирующую способность каждого весового вектора определяли аналогично на контрольной выборке из 172 векторов. Результаты такого обучения и данные о прогнозирующей способности приведены в табл. 4.17. Затем обученные весовые векторы были использованы для классификации по главной программе ветвящейся классификации. Доля правильных предсказаний составляла при этом 95,4%. [c.89]

Бинарные классификаторы образов для ветвящейся классификации (массив углеводородов) [c.90]

Ветвящуюся классификацию параллельными весовыми векторами проводили также на массиве из 600 спектров. Доля правильных классификаций составила 76,3%. Здесь понадобилось симметричное расположение семи бинарных классификаторов образов, чтобы разделить все углеводороды на 8 классов по числу атомов углерода в молекулах (от 3 до 10 включительно). [c.90]

Параллельное соединение бинарных классификаторов образов [c.90]

Ряд бинарных классификаторов можно соединять параллельно с возрастанием порогов. Например, при классификации углеводородов, содержащих от 4 до 10 атомов углерода, по схеме, приведенной на рис. 4.4. Сначала соединения, содержащие от 4 до 7 атомов углерода, относили к одной категории, а соединения, с числом атомов от 8 до 10 — к другой. Затем эти категории подразделяли, согласно схеме дерева, изображенной на рис. 4.4. Другой способ состоит в том, чтобы расположить 6 классификаторов так, как это показано [c.90]

На рис. 4.5 иллюстрируется параллельное соединение бинарных классификаторов образов для определения числа атомов углерода на том же массиве данных, что и в предыдущем случае. При таком расположении каждый бинарный классификатор относит векторы к одной из двух категорий, в зависимости от уровня порога. Положительная категория состоит из векторов образов с числом атомов углерода, превосходящим порог, а отрицательная — из векторов с числом атомов углерода не больше порога. Классификаторе порогом 7, например, обучали таким образом, чтобы он давал положительное скалярное произведение для векторов с числами атомов углерода, равными 8, 9 и 10, и отрицательное — для векторов с числом атолюв углерода не меньше 7. [c.91]

В табл. 4.18 приведены данные об индивидуальной прогнозирующей способности бинарных классификаторов, обучение каждого из которых проводили со своим порогом. Здесь, как и во всем этом исследовании, весовые векторы строили по каждой категории двумя способами в первом случае все начальные компоненты считали равными +1, а во втором случае —1. Из двух таких векторов сохраняли один с лучшей прогнозирующей способностью. [c.92]

Чтобы отнести вектор образа к одной из т категорий, как при параллельном соединении классификаторов, так и при соединении по схеме дерева, требуется т—1 бинарный классификатор. Другой метод состоит в том, чтобы использовать п классификаторов, где так что при представлении результата каждой классификации нулем или единицей полученное двоичное число означало бы десятичный номер соответствующей категории. До восьми категорий можно описать при помощи трехразрядного двоичного числа d 2di. Например, ООС категория 1 (Сд), 001= категория [c.93]

Для исправления ошибок понадобилось обучать еще три бинарных классификатора с,, Сг и с их обучение проводили на подходящих подвыборках из обучающей выборки, служивших положительной и отрицательной категориями. Данные о выборках, а также результаты обучения и прогнозирования приведены в табл. 4.19. Прогнозирование числа атомов углерода при помощи кодов (6, 3) повысило долю правильных ответов до 93,0 и 93,6% по вариантам 1 и 2 соответственно для массива углеводородов и до 68,5% для полного массива исходных данных. [c.95]

В схеме параллельного соединения подавляющее большинство неправильных классификаций было следствием единственной ошибки в одном из 6—7 бинарных классификаторов. Действительно, для углеводородов все неправильные классификации были как раз такого рода. Здесь число неверных классификаций равнялось числу ошибочных решений, принимавшихся бинарными классификаторами. Десять ошибок пришлось на границу между нулем и единицей в двоичном слове, в двух случаях нуль попал между единицами (никакое решение не принималось). Для полного массива исходных данных 10 из 96 неверных классификаций были следствием более чем одной ошибки бинарных классификаторов. Нуль между единицами встретился три раза. Эти результаты согласуются с общим принципом, согласно которому число ошибок, допускаемых любым набором бинарных классификаторов, не может быть больше суммы двоичных ошибок и меньше числа ошибок лучшего бинарного классификатора. [c.97]

Использование весовых векторов, обученных принимать параллельные решения при ветвящейся классификации, улучшает результаты прогнозирования на обоих массивах данных. Те два спектра из массива углеводородов, для которых нуль оказался между единицами при параллельном соединении классификаторов, были правильно классифицированы этой схемой. Это можно объяснить удачным выбором точек ветвления. При ином выборе (если бы, например, точка ветвления 1 отделяла векторы с числами атомов углерода 10, 9, 8 и 7 от векторов с числами атомов углерода 6, 5 и 4) ветвящаяся схема дала бы такие же результаты, что и параллельное соединение. В случае полного массива спектров один из трех векторов с нулями между единицами был классифицирован правильно. Таким образом, поскольку ветвящаяся схема использует при каждой классификации не все бинарные классификаторы, достигаемая ею прогнозирующая способность не хуже, чем при параллельном соединении классификаторов для одинаковых весовых векторов и одной и той же контрольной выборки. [c.97]

Применение ветвящейся схемы и кодов, исправляющих ошибки, включает три шага разбиение объектов массива данных на нужные подвыборки, обучение бинарного классификатора образов отдельно на каждой такой подвыборке и окончательное прогнозирование комбинированием отдельных бинарных классификаторов. (Следует отметить, что в подобных устройствах можно использовать любые бинарные классификаторы. Повышения прогнозирующей способности индивидуальных бинарных классификаторов можно добиться, например, применением ненулевых порогов в процессе обучения или использованием многоуровневых пороговых логических элементов.) Параллельный метод проще, поскольку он не требует разбиения объектов массива на подвыборки. [c.99]

При обучении бинарных классификаторов объекты обучающей выборки выгодно распределять равномерно между положительной и отрицательной категориями, чтобы исключить систематические отклонения при классификации. В этом отношении параллельный метод имеет большой недостаток. Как видно из табл. 4.18, кроме средних порогов, распределение объектов по категориям является в принципе неравномерным, особенно для первого и последнего порогов. Для ветвящейся схемы положительная и отрицательная категории комплектуются равномернее (табл. 4.19), поскольку некоторые объекты отбрасываются в процессе отбора. Что же касается бинарного метода, то здесь обучение каждого классификатора проводится на всей обучающей выборке с балансированным распределением объектов между положительной и отрицательной категориями (табл. 4.20). Более того, по мере того как число категорий возрастает, например по числу возможных атомов углерода в молекуле, распределение приближается к оптимальному (50%-ному) уровню даже в тех случаях, когда спектры исходного массива распределяются по соединениям с разным числом атомов углерода довольно неравномерно. [c.99]

Двоичный код с исправлением ошибок, параллельное соединение и ветвящаяся схема требуют наличия шести бинарных классификаторов, если массив данных необходимо разбить на восемь категорий. При расширении масштабов классификации, например за счет новых категорий по числу атомов водорода и углерода в соединениях менее ограниченного массива данных, двоичные коды предпочтительнее, поскольку эта схема проще и способна обеспечить высшую прогнозирующую способность, так как можно использовать мини- [c.99]

Эффективность использования двоичных кодов при решении важных в химии задач определяется тем, удастся ли построить соответствующие бинарные классификаторы с достаточно высокой прогнозирующей способностью. [c.100]

В табл. 4.21 приведены результаты обучения кусочно линейного классификатора по величине отношения числа атомов углерода к числу атомов водорода (категории 2л+2, 2п, 2п—2, 2л—4, 2п- 6). Результаты сравнивались с характеристиками бинарного классификатора. Прогнозирующая способность кусочно линейного классификатора для многих категорий, усредненная по пяти опытам, составляла 97,2%. При разбиении на индивидуальные категории прогнозирующая способность изменялась от 98,3% для категории 2л+2 до 92,4% для категории 2л—4. Как показал сравнительный анализ, результаты для пяти бинарных классификаторов, построенных независимо для каждого конкретного значения С Н, были хуже, особенно для малочисленных категорий. Так, например, хотя бинарный классификатор, отделяющий соединения категории 2л—4 [c.100]

Время, необходимое для расчетов по методу наименьших квадратов, пропорционально квадрату размерности задачи и по меньшей мере первой степени числа образов. Когда категорий мало, классификация по методу наименьших квадратов обычно требует больше времени, чем использование набора бинарных классификаторов. Тем не менее, поскольку объем вычислений по методу наименьших квадратов не зависит от числа категорий, его эффективность возрастает с увеличением их числа. Метод наименьших квадратов применим, впрочем, только в том случае, когда категории можно количественно упорядочить. [c.104]

Эти же два метода отбора признаков — по весу и по критерию Н — рассматриваются в статье [7] применительно к бинарным классификаторам образов, корректируемым через обратную связь, а также в работе [8], посвященной распознаванию образов на основе данных из разных источников (результаты для этих данных были приведены в табл. 3.2). [c.111]

Для массива углеводородов С4 дополнительный вектор показал одинаковую распознающую способность в обоих вариантах по числу атомов углерода, но по-разному сказывался на общей прогнозирующей способности. Если по первому варианту доля правильных Предсказаний несколько возросла, то по второму варианту она была хуже, чем в любой схеме с 6 или 7 бинарными классификаторами. На полном массиве данных семибитовый код дает несколько худший результат, чем шестибитовый. Поэтому благоприятный эффект кода с исправлением однократных и обнаружением двукратных ошибок во многом зависит от того, какие объекты контрольной выборки приводят к неверному ответу при проверке общей четности. [c.98]

Справочник химика 21

Химия и химическая технология