Технологии искусственного интеллекта. Задача выбора признаков при обучении без учителя. Анализ главных компонент и факторный анализ

При выборе признаков, как и при нахождении преобразования кластеризации, требуется найти некоторое оптимальное преобразование F: Χ → Χ ′, причем в дискриминантном подходе пространства имеют вид Χ = R^N и Χ ′ = Rⁿ, n ≤ N. Однако здесь в качестве исходных данных выступает набор векторов без информации об их принадлежности классам.

Исторически первыми и наиболее разработанными методами выбора признаков в случае обучения без учителя являются методы, использующие статистические моменты второго порядка. В этих методах в качестве критерия качества выступает точность, с которой образы описываются в новом пространстве признаков уменьшенной размерности. Потеря же точности описания трактуется с точки зрения евклидового расстояния. Применение этих методов в некоторых приложениях, в частности в распознавании образов, показало их ограниченность. Это вызвало интерес, подкрепленный некоторыми нейрофизиологическими данными, к методам, ведущим поиск наиболее «интересных» признаков, привлекая статистики более высоких порядков. В итоге исследователи пришли к критерию, указывающему, что наилучшие признаки должны быть статистически независимыми.

Классические методы второго порядка, предназначенные для выбора признаков, – это анализ главных компонент (АГК) и факторный анализ (ФА). Эти методы очень похожи, если сравнивать их по результирующим формулам, поэтому они иногда отождествляются или один метод рассматривается в качестве частного случая другого метода, хотя исходные предпосылки в них различаются. Начнем описание с АГК.

Предположим, что мы хотим уменьшить размерность векторов признаков таким образом, чтобы по образам, описанным с помощью новых признаков, можно было бы как можно более точно восстановить исходные образы. Рассмотрим сначала случай n = 1.

Ограничимся линейными преобразованиями пространства Χ. Тогда новый признак должен являться линейной комбинацией исходных признаков, то есть должен определять некоторое направление 1 w в пространстве Χ. Это направление называется первой главной компонентой. Минимизация потери точности эквивалентна максимизации дисперсии проекций векторов обучающей выборки на искомое направление:

.

Значение найденного таким образом признака для i-го вектора будет равно . Однако поскольку вектор w ₁ соответствует некоторому направлению в исходном пространстве, величина будет проекцией i -го вектора на данное направление, а – его проекцией на N –1 мерное пространство, перпендикулярное этому направлению. Это тот остаток от вектора x_i, который не описывается новым признаком. В таком N –1-мерном пространстве можно найти следующее направление, проекция векторов обучающей выборки на которое обладает максимальной дисперсией. После k –1 таких итераций остатки будут иметь вид:

,

и на их основе можно будет найти очередную k -ю главную компоненту w_k абсолютно так же, как была найдена первая и все последующие компоненты. Направления, соответствующие главным компонентам, получаются ортогональными.

Поиск n главных компонент совпадает с нахождением n собственных векторов ковариационной матрицы

,

соответствующих n наибольшим собственным числам. Это дает возможность не искать последовательно главные компоненты, максимизируя дисперсию проекции векторов обучающей выборки, а использовать стандартные операции с матрицами для определения собственных векторов и чисел. Собственные векторы соответствуют направлению осей эллипсоида, вписанного в данные, а собственные числа – размерам осей (точнее, их квадратам).

В ФА, в отличие от АГК, не минимизируются погрешности произвольного описания, а производится построение оптимальной модели объектов одного типа. Векторы обучающей выборки – это измерения характеристик объектов, но эти измерения выявляют не «истинные» свойства или признаки объектов (или скрытые факторы), которые недоступны наблюдателю, а некоторые внешние проявления этих факторов. В своих проявлениях, доступных наблюдателю, факторы смешаны друг с другом и зашумлены. Если предполагать, что факторы смешиваются линейным образом, то модель, описывающая измерение признаков некоторого объекта, будет иметь вид:

где c – вектор скрытых факторов (признаков), W – матрица, определяющая связь между скрытыми признаками и наблюдаемыми признаками, а случайный вектор ν описывает шум. Разные объекты обладают различными значениями скрытых признаков, но одной и той же матрицей W, поскольку она описывает природу признаков.

Поскольку ФА – метод второго порядка, при отсутствии шума следовало бы минимизировать величину

,

определяющую точность, с которой модель описывает процесс порождения данных. Это выражение полностью соответствует критерию, выводимому в АГК. Помимо того, что этот факт позволяет применять и в ФА прием, использованный в АГК, а именно, позволяет искать скрытые факторы (или " истинные" признаки объектов) как собственные векторы ковариационной матрицы C, он также имеет крайне важное следствие. Суть этого следствия в том, что поиск оптимального представления данных (осуществляемый в АГК) идентичен поиску оптимальной модели источника, порождающего эти данные (что реализуется в ФА).

Следует, однако, заметить, что, исходя из уравнения для погрешности e, факторы определяются неоднозначно. Действительно, если взять подпространство Χ ′ ⊆ Χ, натянутое на факторы, то любая полная система векторов в этом подпространстве, называемым факторным или АГК подпространством, будет соответствовать минимуму погрешности e. Таким образом, помимо минимизации погрешности необходимо использовать дополнительный критерий для выбора конкретных факторов внутри этого подпространства.

Еще одна деталь, отличающая ФА от АГК, заключается в том, что в АГК размерность n пространства Χ ′ является либо заданной, либо может быть вычислена, если задана погрешность, с которой в новом пространстве признаков описываются образы. Иными словами, в АГК размерность n определяется тем, где и как будет использоваться новое представление. Факторный же анализ претендует на восстановление истинных признаков объектов, поэтому число таких признаков должно определяться вместе с ними самими, для чего приходится привлекать дополнительные критерии.

И, наконец, отличие ФА и АГК, которое сказывается на конечных формулах, заключается в ведении слагаемого ν, описывающего шум. При наличии шума, который обычно предполагается гауссовым, необходимо искать собственные векторы и собственные числа не ковариационной матрицы C, а матрицы C − C [ ν ], где C [ ν ] – ковариационная матрица шума. Если эта матрица известна, то содержательно задача не меняется, в противном случае необходимы более сложные методы анализа.

Несмотря на свою ограниченность, методы второго порядка обладают определенной привлекательностью. Такие методы опираются лишь на информацию из ковариационной матрицы и вектора средних, вычислительно просты и используют лишь классические операции с матрицами, не требуя разработки процедур поиска в пространстве параметров преобразования. В связи с этим для образов, содержащих очень большое количество признаков, АГК и ФА могут стать наиболее подходящими методами предварительного выбора признаков. И конечно, такие методы будут являться оптимальными, если векторы действительно распределены нормально.

15. Технологии искусственного интеллекта. Интеллектуальные информационные системы: назначение, проектирование и архитектура

Интеллектуальная информационная система (ИИС) представляет собой комплекс программных, лингвистических и логико-математических средств для реализации основной задачи: осуществление поддержки деятельности человека, например, возможность поиска информации в режиме продвинутого диалога на естественном языке.

ИИС – это компьютерная система, состоящая из 5 основных взаимодействующих компонентов: языковой подсистемы (механизм обеспечения связи между пользователем и другими компонентами ИИС), информацией подсистемы (хранилище данных и средств их обработки), подсистемы управления знаниями (хранилище знаний о проблемной области, таких как процедуры, эвристики и правила, и средства обработки знаний), подсистемы управления моделями и подсистемы обработки и решения задач (связующее звено между другими подсистемами).

Классификация задач, решаемых ИИС:

· Интерпретация данных. Это одна из традиционных задач для экспертных систем. Под интерпретацией понимается процесс определения смысла данных, результаты которого должны быть согласованными и корректными. Обычно предусматривается многовариантный анализ данных.

· Диагностика. Под диагностикой понимается процесс соотношения объекта с некоторым классом объектов и/или обнаружение неисправности в некоторой системе. Неисправность – это отклонение от нормы. Такая трактовка позволяет с единых теоретических позиций рассматривать и неисправность оборудования в технических системах, и заболевания живых организмов, и всевозможные природные аномалии. Важной спецификой является здесь необходимость понимания функциональной структуры («анатомии») диагностирующей системы.

· Мониторинг. Основная задача мониторинга – непрерывная интерпретация данных в реальном масштабе времени и сигнализация о выходе тех или иных параметров за допустимые пределы. Главные проблемы – «пропуск» тревожной ситуации и инверсная задача «ложного» срабатывания. Сложность этих проблем в размытости симптомов тревожных ситуаций и необходимость учёта временного контекста.

· Проектирование. Проектирование состоит в подготовке спецификаций на создание «объектов» с заранее определёнными свойствами. Под спецификацией понимается весь набор необходимых документов: чертёж, пояснительная записка и т.д. Основные проблемы здесь – получение чёткого структурного описания знаний об объекте и проблема «следа». Для организации эффективного проектирования и в ещё большей степени перепроектирования необходимо формировать не только сами проектные решения, но и мотивы их принятия. Таким образом, в задачах проектирования тесно связываются два основных процесса, выполняемых в рамках соответствующей ЭС: процесс вывода решения и процесс объяснения.

· Прогнозирование. Прогнозирование позволяет предсказывать последствия некоторых событий или явлений на основании анализа имеющихся данных. Прогнозирующие системы логически выводят вероятные следствия из заданных ситуаций. В прогнозирующей системе обычно используется параметрическая динамическая модель, в которой значения параметров «подгоняются» под заданную ситуацию. Выводимые из этой модели следствия составляют основу для прогнозов с вероятностными оценками.

· Планирование. Под планированием понимается нахождение планов действий, относящихся к объектам, способным выполнять некоторые функции. В таких ЭС используются модели поведения реальных объектов с тем, чтобы логически вывести последствия планируемой деятельности.

· Обучение. Под обучением понимается использование компьютера для обучения какой-то дисциплине или предмету. Системы обучения диагностируют ошибки при изучении какой-либо дисциплины с помощью ЭВМ и подсказывают правильные решения. Они аккумулируют знания о гипотетическом «ученике» и его характерных ошибках, затем в работе они способны диагностировать слабости в познаниях обучаемых и находить соответствующие средства для их ликвидации. Кроме того, они планируют акт общения с учеником в зависимости от успехов ученика с целью передачи знаний.

В общем случае все системы, основанные на знаниях, можно подразделить на системы, решающие задачи анализа, и на системы, решающие задачи синтеза. Основное отличие задач анализа от задач синтеза заключается в том, что если в задачах анализа множество решений может быть перечислено и включено в систему, то в задачах синтеза множество решений потенциально не ограничено и строится из решений компонент или подпроблем. Задачами анализа являются: интерпретация данных, диагностика, поддержка принятия решения; к задачам синтеза относятся проектирование, планирование, управление. Комбинированные: обучение, мониторинг, прогнозирование.

Процесс построения систем ИИ можно разделить на пять этапов

1. Идентификация определения задач и идентификация их характеристик. Разрабатывается техническое задание на проектируемую систему, ограничивается круг пользователей системы.

2. Выделение главных концепций предметной области, которые отражают знания круга экспертов. Инженер знаний определяет формальные средства представления знаний и процедуры получения решений. Выявля­ются и формулируются понятия, определяющие выбор характерной схемы представления знаний эксперта о предметной области. Основным источником знаний о проблемной области является человек-эксперт, книги, технологические описания, инструк­ции, документы, методы «мозгового штурма», методы автоматизированного заполнения БЗ. Другим важным источником знаний является Интернет (традиционный поиск необходимой информации и знаний, а также интеллектуальные агенты (программные роботы)).

3. Выбор формализма представления знаний и определение механизма вывода решений. Разработанная структура для представления знаний является основой для реализации следующего этапа — непосредственного построения базы знаний системы.

4. Выбор или разработка языка представления знаний. После того как правила сформулированы и представлены на выбранном языке представления, они заносятся инженером знаний в БЗ.

5. Тестирование системы путем решения конкретных проверочных задач.

Обобщенная структура и компоненты интеллектуальной системы, а также ее окружение представлены на рисунке:

Структурно БЗ можно организовать в виде двух основных подбаз: базы правил (БП) и базы данных (БД).

В БД хранится фактографическая информация о решаемых на объекте задачах и данные, которые относятся к указанной предметной области. БП определяет отношения между элементами данных, хранящихся в БД, на основе моделей представления знаний о предметной области, а также способы активизации этих знаний.

Таким образом, очень обобщенно можно говорить о двух уровнях представления знаний: первый уровень – фактографическая информация, данные; второй уровень – описания, отношения, правила и процедуры, определяющие способ манипулирования фактографической информации.

Помимо знаний о предметной области в БЗ должны храниться и другие типы знаний: модель мира системы, знания о пользователе, целях и т. д. Эти знания в основном содержатся на втором уровне представления в виде блоков или органических частей БП.

Во многих интеллектуальных системах, особенно работающих в реальном времени, реализуется уровень метазнаний, который необходим для обеспечения рационализации процессов оперирования знаниями в БЗ, уменьшения области поиска решения, сокращения время обработки ин­формации. Метазнания - это знания системы о себе, т. е. знания о своих знаниях, их структуре и о принципах своего функционирования. На основе этих знаний на уровне метазнаний (в блоке метазнаний) среди имеющегося набора стратегий поиска определяется наиболее эффективная.

При варианте структуры БЗ, в которых включен уровень метазнаний, функции интерпретатора правил, рациональным образом реализующего механизм вывода решений, по существу выполняет верхний уровень БЗ - метазнания (или блок метазнаний).

Необходимо подчеркнуть, что существуют различные варианты как организации самой БЗ, так и взаимодействия БЗ с другими компонентами ИИС.

Схема взаимодействия БЗ с основными модулями системы при поиске и генерации знаний:

Вывод решения либо генерация новых правил и знаний осуществляется с помощью блока вывода, который взаимодействует с метауровнем БЗ при интерпретации правил и данных БЗ.

Решение задачи и работа с правилами и данными осуществляются в специальном блоке - рабочей области. В рабочей области представляются описания запроса - или решаемой задачи, данные и правила из БЗ, процедуры или стратегия механизма вывода.