ВВЕДЕНИЕ. Бесспорна значимость знаний в формировании системно-информационной картины мира, оптимальных взаимоотношений человека и информационной среды

Бесспорна значимость знаний в формировании системно-информационной картины мира, оптимальных взаимоотношений человека и информационной среды, формировании навыков использования информационных технологий как основной составляющей профессиональной деятельности в современном информационном обществе. Вместе с тем в обществе происходят глубокие социальные перемены, инициируемые информационными технологиями, приводящие к изменениям методологии на уровне парадигмы педагогической науки.

Актуальность

В условиях стремительного внедрения компьютерных технологий в сферу образования возникает необходимость в разработке и создании автоматизированных систем для проверки и контроля знаний учащихся, содержащих базы вопросов, упражнений и задач.

Оценка студента, с позиции проставления преподавателем студенту оценки, или позиционирование студента в группе (по шкале «отдачи», насколько студент сильнее или слабее соседей) – есть «камень преткновения» для преподавательского состава любого ВУЗа. В процессе обучения у преподавателя складывается субъективное мнение «кто, как и на что» способен из обучаемых. А по результатам экзаменационного теста, который по максимуму копирует бумажный, группа учащихся нередко дифференцируется вопреки ожиданиям преподавателя.

Очевидно, в условиях рейтинговой системы, «объективизация» санкций, влияющих на итоговый рейтинг студента, является актуальной. Кроме того, ВУЗы Казахстана стремятся к международному признанию выдаваемых дипломов. Но если в ВУЗах РК тесты – распространенный метод, признанный как объективный и качественный способ оценки учебных достижений обучающихся, то многие зарубежные ВУЗы к тестированию относятся с осторожностью. В таких условиях, разработка взаимно признаваемого «механизма» контроля и оценивания достижений обучаемых, который к тому же являлся бы принципиально автоматизированным, и в то же время примирял существующие процедуры тестирования с классическим экзаменом в письменном виде, может стать панацеей.

Объектом исследования является учебный процесс высшего учебного заведения.

Предметом выступает процесс контроля обучения студентов ВУЗа в условиях использования новых информационных технологий.

Цель исследования

Цель дипломного исследования сводится к тому, чтобы на основе положительного мирового опыта применения компьютерных технологий в сфере образования обосновать приемлемость АСМ-технологии как процедуры дифференцирования и оценивания студентов по уровню овладения отдельными учебными дисциплинами.

Задачи исследования

В соответствии с целью исследования поставлены следующие задачи:

1. изучение и краткий обзор предметной области исследования;

2. сбор статистики проведения АСМ-олимпиад вдостаточном объеме;

3. выявление «исторических мотиваций» наличия и величины санкционированного «штрафа» для естественного введения параметризации модели дифференциации;

4. статистический анализ для обоснования допущений модели дифференциации;

5. построение гипотез и характеристик динамической версии модели дифференциации по различным технологиям;

6. исследование гипотетических динамических моделей на устойчивость;

7. разработка модели, имитирующей регистрацию и контроль аттестующей процедуры с возможностью дифференциации участников контрольной процедуры (экзамена);

8. реализация имитационной модели для технологии дифференциации по правилам АСМ;

9. апробация модели и анализ результатов;

10. обоснование эффективности проекта;

11. выявление обязательных перспектив данного исследования.

Научная новизна

Крайне тяжело внедряется в обыденную практику автоматизированного применения технология открытого теста, здесь и определенные трудности в реализации хорошего уровня искусственного интеллекта, и отсутствие универсальной базы знаний, выраженной в форме, приемлемой для реализации в рамках информационных технологий, применимых на повсеместно распространенных ПК. АСМ технология проведения соревнований по программированию на протяжении двух десятилетий успешно доказывает свою состоятельность, но лишь теперь, в данной работе, замечена адекватность данной технологии задаче дифференциации студентов по уровню овладения предметами, близкими к обучению технологии программирования «на чем-нибудь и чего-бы-то-ни-было». Таким образом, на данном этапе научная новизна может быть ограничена перенесением традиционной отработанной АСМ технологии на новую содержательную платформу с целью оперативной оценки и контроля посредством открытого теста в рамках образовательного цикла обучения технологиям программирования.

Основные положения, выносимые автором на защиту

1. О применимости аналогии инерционного звена для моделирования поведения студента на всех видах компьютерного тестирования.

2. О применимости аналогии идеального интегрирующего звена для моделирования накопительной оценки в процедуре оценивания классическим закрытым тестом.

3. О применимости аналогии последовательного повторного применения идеального интегрирующего звена для моделирования двух уровневой накопительной оценки в процедуре оценивания открытым тестом по технологии АСМ.

4. О стабилизации статистических оценок на доступных объемах итогов АСМ олимпиад и выделении трех нормально распределенных групп участников тяготеющих к демонстрации соответственно - устойчивых навыков, достаточных умений и соответствующих знаний. Вывод касается, прежде всего, простейших олимпиадных заданий АСМ.

5. Имитационная модель поведения тестируемого по технологии АСМ с реализацией в среде Stratum2000.

6. Итоги апробации имитационной модели поведения тестируемого.

7. Тезис о подтверждении, в рамках имитационной модели, тестирования по технологии АСМ, существенного сокращения необходимого объема статистики для оценки пригодности конкретного открытого тестового задания (в комплекте с набором проверочных шаблонов, вплоть до одно- двукратного применения задания в одной, двух стандартных студенческих группах).

8. Все положения, изложенные в качестве обязательных к реализации в перспективе.

Достоверность результатов работы

Достоверность научных положений, выводов и рекомендаций подтверждается корректностью применения проведенных исследований методами теории автоматического управления, статистического анализа, а также положительными результатами имитационного моделирования процесса регистрации и контроля успеваемости по АСМ-правилам с помощью инструментального средства Stratum2000.

Практическая значимость работы

Практическая значимость работы заключается в следующих основных аспектах:

1. В научной обоснованности применения в дальнейшем для целей оперативного контроля обучения открытых тестов по АСМ технологии. При этом сама АСМ технология оказывает положительное влияние на качество образования, прежде всего, за счет существенного роста предварительной подготовительной работы преподавателя по формированию адекватных учебной ситуации, проверочных шаблонов к открытым тестовым заданиям.

2. В понимании важности содержания образовательных стандартов (например, в пояснительной записке существенно используется ранее проработанный материал курсовых проектов по моделированию информационных процессов и систем и системотехнике).

3. Объективная значимость доступных через Интернет материалов, после их статистической оценки, показала обоснованность оценки снижения в целом трудоемкости контроля успеваемости при росте его качества (конечно, в рамках построенной модели).

4. Данная работа открывает и обосновывает очевидные перспективы использования подхода АСМ олимпиад в учебных процессах на современном информационном и технологическом уровне.

Реализация результатов работы

Отчет на семинаре, выступление на конференции

Публикации по теме работы

………………………….

Структура и объем пояснительной записки

Структура дипломной работы, общим объемом в … страниц такова: титульный лист (1 стр.), аннотация (1 стр., не нумеруется), техническое задание на работу (1 стр., не нумеруется), содержание (… стр.), введение (… стр.), основная часть (… стр.), заключение (… стр.), список использованных источников литературы (… стр.), приложения (… стр.)

Далее содержание – тезисное, основной акцент – на логику изложения и оформление ссылок.

В*. 1 АНАЛИТИЧЕСКАЯ ЧАСТЬ

В*. 1.1 Информационные технологии в обществе и образовании

Главную роль в процессе информатизации играет собственно информация, которая сама по себе не производит материальных ценностей [1].

Современные научные исследования убеждают в том, что совершенствование информационной среды общества инициирует формирование прогрессивных тенденций развития производительных сил, процессы интеллектуализации деятельности членов общества во всех его сферах, включая и сферу образования, изменение структуры общественных взаимоотношений и взаимосвязей [2].

Последствия внедрения средств новых информационных технологий в систему образования, в том числе - создание и использование компьютерных тестирующих, диагностирующих, контролирующих и оценивающих систем [3].

В*. 1.2 Характеристика АСМ-олимпиад

История проведения командных чемпионатов мира по программированию среди сборных команд высших учебных заведений технологией ACM (Association for Computer Machinery) (Приложение А).

В настоящее время АСМ является наиболее авторитетной международной организацией в мире компьютеров, объединяющей более 80000 своих членов - ученых, инженеров, программистов, студентов [4].

Правила проведения: подробнее (Приложение Б). Принципы составления задач. При подготовке задач преимущество отдается таким областям, как теория графов, комбинаторика и геометрия [5, 6].

В число стран, где проводятся туры ACM олимпиад, входит и Казахстан; команда СКГУ им.М.Козыбаева – один из участников этих туров в течение трех сезонов.

В* .1.3 Динамическая модель контроля знаний

Авторское обоснование того, что в терминологии систем управления и студент и счетчик будут отображены как нарастающий сигнал: информация студенту в виде заданий теста и студент в роли интерпретатора, как инерционное звено первого порядка.

По АСМ технологии в оценке знаний испытуемого применяются двойные оценочные шкалы: [6].

В контексте систем управления студент может рассматриваться как инерционное звено первого или даже второго порядка (рисунок №) [7].

Возможны и другие предположения, особенно относительно вида передаточных функций более высокого порядка [7-10].

В авторском курсовом проекте по системотехнике имело место моделирование схемы в среде Matlab [7]. Приведены основные результаты.

В* .1.4 Математическая формализация проблемы и результаты ее реализации

В* .1.4.1 Теория выборки, выборочный метод

Суть методов выборочного исследования [12-16].

Данное исследование основано на идее случайного выбора: считается, что генеральная совокупность нам мало известна. Действительно, сложно и нецелесообразно все данные по проведению АМС олимпиад, имеющиеся на официальном сайте, обработать. Мало того, что данные представлены в разных форматах (Приложение В), так и постоянно банк пополняется новой информацией (Приложение А).

В выборку, подвергшуюся обработке, вошли данные результатов олимпиад, проводимых во всех регионах [6, 17, 18].

В* .1.4.2 Выявление «исторических мотиваций» величины «штрафа»

Проведено самостоятельное исследование, предложена своя методика решения вопроса. Авторский вывод: существенного вклада изменение правил не принесет, следовательно, и решающего смысла изменение величины штрафа не содержит.

Совершенно иначе ситуация выглядит в применении к сессионным тестам. Высшее образование с повальным применением тестирования, тем не менее, не может обеспечить достаточное количество статистики по тестам предметов профессионального цикла (Приложение Г). Предложено естественное объяснение этого факта.

Авторские результаты: выявлена видимая устойчивость в оценках влияния величины штрафа и практически неизменность в структуре гистограммы по предложенной технологии; предложена «минимальная» схема для экзаменационного тестирования по АСМ-технологии; отмечена относительность оценки студента.

В* .1.4.3 Оценивание параметров

Полученное по данным выборки точечное значение оценки не дает представления об оцениваемом параметре [13, 14, 16]. Ответ на вопрос о количественной оценке параметра должен позволять судить:

Ÿ в ка­ких интервалах следует ожидать появление случайной величины в опыте на заданном доверительном уровне;

Ÿ к каким ошибкам может при­вести замена параметра (например, истинного среднего, разброса и т.д.) его оцен­кой, вычисленной по выборке.

Приводятся точечные и доверительные оценки необходимых для проектной части параметров.

В* .1.4.4 Проверка гипотезы о законе распределения случайной величины

Формально задача ставится так: сравнить эмпирическую функцию эмпирического распределения с соот­ветствующей теоретической функцией эмпирического распределе­ния [14, 16, 19, 20].

В данном исследовании предполагается только вид функции распределения, а параметры распределения рассчитываются по эмпирическим данным. Приводится формулировка гипотезы, статистики критерия, схема практического применения критерия. Приведена характеристика нормального закона распределения случайной величины.

В* .1.4.5 Кластеризация объектов

Методами кластерного анализа решается задача разбиения множества объектов таким образом, чтобы все объекты, принадлежащие одному кластеру, были более похожи друг на друга, чем на объекты других кластеров [14]. Приведено обоснование применения в данном исследовании метода k-средних Мак-Куина, евклидовой метрики в качестве меры сходства и центроидный принцип классификации.

В* .1.4.6 Результаты применения статистических методов в исследовании

Описана технология получения необходимых характеристик. Расчеты проводились в вычислительной среде Excel и Statistica (в силу «одноразовости» автоматизация в виде единого пакета не предусмотрена) [14, 19, 20].

Для простейших задач выявлена ярко выраженная кластеризация участников олимпиады по номинациям: знания, умения, навыки. Доказана нормальность распределения времени решения задач в каждом кластере (Приложение Д, Приложение Е). Представлено изображение аддитивной свертки теоретических нормальных (кластерных) и эмпирического (по совокупности) распределений с учетом «подбора» распределений с параметрами из доверительных интервалов так, чтобы уменьшить суммарную величину остатков и автокорреляцию остаточного ряда. Задача оптимизации не ставится, т.к. график только иллюстрирует содержательную сторону, а точность результатов не влияет на дальнейшее исследование.

Для задач большей сложности удается выявить ярко выраженные кластеры в меньшем количестве. Автор интерпретирует этот факт отсутствием навыков (а иногда и умения, а то и знаний) в решении подобных задач у большинства команд.

В* .2 ПРОЕКТНАЯ ЧАСТЬ

В* .2.1 Обоснование выбора метода моделирования и программного обеспечения

Приведены принципы разработки модели: а) аналогия; б) имитационного моделирования [22].

С технологической точки зрения имитационная модель в данной работе реализована в виде серий численных экспериментов [23, 24].

Описана классификация целевых критериев имитационных экспериментов по контролю успеваемости, а в дальнейшем – для оценки навыков, умении и знаний, и управления процессом обучения.

На данный момент существует несколько распространенных сред моделирования (GPSS, Stratum2000) для исследования моделей любой сложности [22-24]. Обоснование выбора Stratum2000.

В* .2.2 Описание математических основ модели и алгоритма

Приведено обоснование выбора нормального распределения сложности задач, типичного времени решения и времени конкретного студента для решения самих задач.

Описана генерация нормально распределенной случайной величины с конкретными оценками выборочных параметров, времени проведения теста и размера штрафа.

Описана схема алгоритма (параметры условны) [25]:

Ÿ 10 одинаковых для всех экзаменующихся заданий, различаемых по «трудоемкости решения»: решаемые, простые, типовые, сложные, очень сложные;

Ÿ каждому из десяти заданий приписывается серия типичных значений времени, затрачиваемого на решение «отличником», «хорошистом», «троечником»;

Ÿ имеем 25 экзаменуемых, различимых по успешности (задется парой параметров - средним временем затрачиваемым на решение всех типов заданий, соответствующих какому-нибудь характерному значению шкалы трудоемкости, и разбросом по каждому типу трудоемкости).

Описаны: поведение испытуемого «в идеале», модули «оракул» и «протокол».

В* .2.3 Описание результатов работы модели

Приведена и обоснована сводка исходных данных, основанных на результатах, описанных в п.1.4.6, для стартовой настройки имитационной модели.

Статистика прогона имитационной модели в одних условиях в полном объеме отражена в приложении Ж; в данном параграфе приведен характерный фрагмент, отражающий состояние имитации а) по простейшим заданиям; б) с параметрами, характерными отсутствию навыка у испытуемых; в) по сложным заданиям; г) задачи, которую при всех проведенных испытаниях и вариациях разброса «решить» никому не удалось.

Приведена полная гистограмма по простейшей задаче, которая отражает характерные три всплеска (кластерных моды) соответствующие условным категориям «навыки-умения-знания».

Важные авторские результаты:

Ÿ наиболее информативной, с точки зрения классификации по правилам АСМ, оказалась простейшая задача;

Ÿ предположение и демонстрация (на уровне несложной имитационной модели) параметрической устойчивости средних характеристик кластера «навык» задания (описательные статистики характеристик практически совпали для всех прогонов имитационной модели). На модельном уровне, как видно из итогов имитации именно для «простейших» заданий, возмущения параметров не искажают предположения о нормальности распределения и стабильности характеристик кластера «навыка.

В* .2.4 Описание применения АСМ модели при оперативном контроле успеваемости

Сравнение возможностей закрытого теста и АСМ-подхода. Предложена процедура оперативного контроля на адекватном классификационном уровне.

В* .2.5 Эффективность внедрения результатов исследования

В* .2.5.1 Определение эффекта от внедрения проекта

В* .2.5.1.1 Перечислены конкретные факторы, в которых косвенно отражается экономический эффект (некоторое благо в качественном показателе) в зависимости от масштабов оценки результатов применения АСМ-технологии, со ссылками на [26, 27].

В* .2.5.1.2 «Социальный эффектзаключается в получении некоторого блага, выраженного социальной организацией труда, сокращением трудоемкости, психологической нагрузки и снижением ответственности, получением универсальности» [28].

Приведены конкретные, специфические для данного исследования, показатели.

В* .2.5.1.3 «Научный эффект –получение результатов, которые могут быть в дальнейшем применены на практике для получения экономического или социального эффекта» [28].

Ссылки на обоснование в данной работе ряда количественных характеристик новой методики проведения открытого тестирования по АСМ принципам.

«Определение экономической эффективности предполагает сравнение полученных эффектов (экономического, социального и научного) с теми затратами, которые необходимо произвести для получения данного эффекта (отношение количественного эффекта к косвенным затратам)» [28].

В* .2.5.2 Оценка экономической эффективности

Трудно рассчитать, какое последует изменение затрат, если применить новую методику контроля успеваемости, тем более – определения качества подготовки специалиста. «Иными словами, при экономической оценке моделей ИП, как правило, не удается использовать готовые нормативы» [28].

Введены и обоснованы (например, в сравнении [29]) нормативы новые, в том числе, экономический эффект от внедрения новой (дополнительной) технологии оценивания, на этапе оперативного контроля обучения, может быть обусловлен повышением качества учебного процесса за счет мониторинга успеваемости, т.е. публичной демонстрации средой проведения аттестации достижений каждого участника в реальном времени [30].

В* .2.5.3 Устойчивость эффективного решения

Схема аттестации с замыканием обратной связью, как проиллюстрировано в работе (а подробно исследовано в [7]) остается устойчивой в рамках линейной динамической модели, что дает определенный шанс ее претворению в жизнь.