F) Тестирование НС на внешней выборке

Совокупность пациентов и ответов на вопросы из пункта А не входящих в обучающую выборку будут являться внешней выборкой. Правильность постановки диагноза по внешней выборке будет говорить о способности НС ставить диагноз в реальных условиях.

Выполнение работы:

1. Загрузить нейроимитатор MultiNeuron 2.0: выбрать файл mn_train.exe

2. Загрузить обучающую выборку: нажать F3, выбрать файл class.db. Ознакомиться с данными в таблице – выборка состоит из (2+37) столбцов и 50 строк. Первый (слева направо) столбец обозначает номер пациента в выборке. Второй столбец представляет реальный диагноз. Следующие 37 столбцов – это ответы на вопросы в следующей интерпретации – утвердительный ответ соответствует единице (1), отрицательный ответ минус единице (-1), ответ " неизвестно" нулю (0). Строки в данной таблицы обозначают пациентов.

3. Загрузить нейронную сеть: нажать F10, выбрать пункт меню " Сеть", выбрать подпункт меню " Читать", выбрать файл class.nn.

4. Ознакомиться с параметрами НС. Обратить внимание на количество нейронов, число классов и входную схему НС. Наличие знака " Х" обозначает, что данный вопрос участвует в обучении НС. Отсутствие – что данный вопрос исключен. Убедиться, что первоначально на НС подаются все вопросы без исключения.

5. Провести обучение НС: нажать F10, выбрать пункт меню " Обучение", выбрать подпункт меню " Текущие сеть и задачник". На экране можно будет наблюдать процесс обучения НС. Если обучение пройдет успешно, то значение элемента отображающего функцию будет равно Finish!. Записать обученную сеть на диск: нажать F10, выбрать пункт меню " Сеть", выбрать подпункт меню " Записать".

6. Тестирование НС на обучающей выборке: нажать F10, выбрать пункт меню “Тест”, выбрать подпункт меню " Текущие сеть и задачник". В появившейся таблице показаны диагнозы, поставленные клинически (вторая колонка), НС (третья), коэффициент уверенности в ответе в процентах (четвертая), результаты для каждого из пяти классов (пятая- девятая). Обратите внимание на выделение цветом: красный цвет- цвет ошибки, когда сеть ставит свой диагноз, отличный от клинического с высокой уверенностью, зеленый цвет - уверенное совпадение, возможен желтый – НС ставит диагноз с уверенностью около 50%. Проверить, что НС обучена полностью.

7. Провести расчет значимости параметров: нажать F10, выбрать пункт меню “Сеть”, выбрать подпункт меню " Подсчет значимости". Появившаяся диаграмма дает численное и графическое представление о значимости каждого из 37 параметров для постановки диагноза (классификации). Запишите номера вопросов значимость которых: а) равна нулю; б) значимость которых менее 0.1; с) значимость которых более 0.3. Сделайте выводы.

8. Проведение отбора существенных признаков: на основе номеров вопросов из пункта 7 (а и б) провести сокращение набора признаков, оставляя тем самым только существенные. Нажать F10, выбрать пункт меню " Сеть", выбрать подпункт меню " Читать", выбрать файл class.nn. Ставим подсветку (с помощью стрелок Вверх, Вниз) на номер вопроса, который необходимо отключить и нажимаем клавишу “Del". Повторяем данную процедуру для всех малозначащих номеров из пункта 7 (а и б).

9. Повторить обучение НС: См. пункт 5.

10. Повторить тест по обучающей выборке: См. пункт 6. Убедиться, что сеть уверенно ставит диагноз и при меньшем числе обучающих параметров, что минимизирует размерность фазового пространства.

11. Тест на внешней выборке: нажать F3, выбрать файл ext.db. Нажать F10, выбрать пункт меню “Тест”, выбрать подпункт меню " Текущие сеть и задачник". Проверить, имеются ли случаи, когда НС ставит диагноз неверно. Сделать выводы.

12. Выйти из программы, одновременно нажав клавиши " Alt+X"