Проблемы и цели фонда оценочных средств

Начальный этап алгоритма системного анализа начинается с видения проблем и выделения проблемосодержащей системы и среды и заканчивается формированием целей и задач, решение которых на основе привлечения ресурсного обеспечения обозначит варианты новой системы или новые состояния старой, минимизирующие исходную проблему.

На этом этапе должно возникнуть четкое понимание того, что проблемы возникают в проблемосодержащей системе из-за ее неадекватного функционирования (с точки зрения надсистем и среды), а проявляются в надсистемах.

1.3.1. Система оценки подготовленности студента –

проблемосодержащая система

Самый важный шаг в будущем разрешении проблемы – осознание, что она есть. [16].

Проблемная ситуация – возникшая или назревающая степень неудовлетворенности во внешней среде конечными продуктами системы, либо низкая эффективность взаимодействия элементов внешней среды с системой.

Сравнительно недавно в 2006 году директор Центра обеспечения качества образования в ТПУ Пермяков О.Е. в сообщении научно–методическому совету на тему: «Итоги независимого контроля знаний студентов университета. Проблемы и перспективы мониторинга качества специалистов в ТПУ» привел ряд проблем в этой области.

Среди них выделим следующие проблемы:

– качество контролирующих материалов, в частности, программно–дидактических текстовых материалов по основным учебным дисциплинам ЕН и ГСЭ циклов требует дальнейшего совершенствования в свете концепций компетентностного подхода в инновационно–академическом университете;

– отсутствие единых критериев оценки, полученных студентами знаний, умений и компетенций;

– отсутствие нормативно–методических материалов, регламентирующих процедуру различных видов контроля с учетом вводимых в ТПУ кредитных и балльно–рейтинговых оценок освоения образовательных программ.

Переводя эти общеизвестные положения на простой язык, замечаем: возможно, спрашиваем студента не по тем контролирующим материалам, не так, и по неизвестным критериям оцениваем соответствие или несоответствие уровня подготовки студента ожидаемому эталону (да есть ли такой?).

По крайней мере, если задать вопрос преподавателю: «Как Вы готовите, например, билеты к семестровым испытаниям – экзаменам и зачетам?», то в лучшем случае получим ответ: «Элементарно! По разделам содержания учебной дисциплины, приведенной в ФГОС ВПО или ОС ТПУ направления или специальности». И не про какие компетенции, инновации, политику ТПУ и прочее никогда не услышишь.

Проблемы контроля являются следствием проблем качества учебно-методического комплекса дисциплины (УМКД), технологии оказания образовательных услуг и проведения контролирующих мероприятий.

В частности, в ОС ТПУ и во многих рабочих программах учебных дисциплин отсутствуют четко сформулированные и структурированные по разделам дисциплины планируемые результаты обучения. Имеются лишь немногочисленные примеры – попытки реализации методики проектирования образовательных программ на основе компетентностного подхода. В качестве примера можно ориентироваться на опыт кафедры «Физика высоких технологий в машиностроении» – МСФ, Е.Н. Коростелева.

В этом плане интерес представляет доклад заместителя проректора по МС Боева О.В. на тему «Проектирование образовательных программ на основе компетентностного подхода и кредитной системы», а также более поздняя работа [60].

Касаясь только основного вида деятельности образовательного учреждения – процесса оказания образовательных услуг, – отметим, что проблемой главного потребителя услуг – сначала студента, а затем выпускника – является возможный дискомфорт на рынке интеллектуального труда, неудовлетворенность в трудоустройстве и в завтрашнем дне. Все это содействует снижению мотивации студента на образование.

Как известно, качество основного контингента выпускников постоянно падает. Цели образования постепенно вообще забываются и трансформируются в единственную мотивацию – получение документа об образовании без самого образования.

Неудовлетворенность студента на рынке труда по основному направлению или специальности толкает его на второе образование (когда он не вполне справляется с первым) с молчаливого одобрения администрации и педагогического сообщества, отягощенного проблемами внебюджетных поступлений.

Произошло относительное сокращение класса высокообразованных людей, включая их общую образованность. Образованность представителей этого класса является, к сожалению, однобокой, чрезмерно развитой лишь в одном направлении [14].

Кризис образования высшей школы привел к тому, что «мы всегда жили и живем в обстановке некомпетентностных решений. Они принимаются абсолютно некомпетентными согражданами (для компетентных постоянно увеличивают квоты для молодых переселенцев), безобразное тугодумие которых, когда оно не ограничено рамками их собственной судьбы, приобретает характер национального бедствия, когда за одну и ту же работу мы затрачиваем сил и материалов в несколько раз больше и не обеспечиваем надлежащей конкурентоспособности» [15].

Существует множество проблем, связанных с технологией процессов контроля и испытаний.

При формировании планируемых результатов обучения (своего рода эталонов) в большинстве случаев не учтены требования надсистем, связанных с организацией инновационного развивающего обучения (в отличие от сохраняющего), не прослеживаются мероприятия по поддержке элитного образования. Практически не заметны изменения по составу фонда оценочных средств, связанные с переходом от квалификационной модели выпускника к компетентностной модели, необходимость опоры на которую давно обозначены в нормативных документах федерального агентства и университета.

Существует множество проблем, связанных с технологией процессов контроля и испытаний. Неполное понимание принципа проведения контроля и испытаний по данной дисциплине ведет к появлению банка контролирующих материалов без четко ограниченных требуемых дидактических единиц, на соответствие которым и нацелены испытания.

Нечетко очерченные или необозначенные критерии оценки имеют хорошо прогнозируемые следствия в виде конфликтных ситуаций, особенно, после семестровых испытаний и государственного экзамена. Перечисления проблем в этой области процесса оказания образовательных услуг можно продолжать и дальше, превращая проблемы в куст проблем или проблематику.

Справедливости ради не везде эти проблемы проявляются так остро. Их практически нет там, где удается сформировать положительные мотивации основных участников образовательного процесса. Там, где обучение ведется по передовым образовательным программам на современной учебно–методической, научно–исследовательской и материально–технической базах. Короче говоря, там, где все видят перспективы в разных ее аспектах, там проводится необходимая деятельность, в том числе и при разработке подсистем контроля и испытаний.

Такие подсистемы не обязательно выходят на их классические формы. При сотворчестве в процессе обучения дисциплине, когда преподаватель и студент работают над реальными проблемами по теме, гранту, хоздоговору, преподавателю, как правило, не нужны экзамены, чтобы узнать, насколько студенты хороши. Настоятельная необходимость проведения контроля внутри семестра и экзамена, чтобы аттестовать студента, прежде всего, является свидетельством отсутствия сколько-нибудь тесных контактов преподавателя и студента в течение семестра.

В этом случае вызывает изумление факт, когда при отсутствии каких – либо иных занятий, кроме лекционных, оценка текущей подготовленности студента не производится. Это дает ему возможность безбедного существования, по крайней мере, в течение половины семестра.

Итак, проблема в процессах контроля и испытаний существует. Она осознается как дискомфорт первоначально между основными участниками процесса оказания образовательных услуг. В дальнейшем – на рынке труда и в будущей профессиональной деятельности из–за недоданных или недополученных компетенций, которые в основном и ценятся работодателями.

Начиная в целом осознавать проблемы образовательной системы России и образовательного учреждения в частности, руководство ряда вузов пришло к выводу, что качество результатов деятельности высшего учебного заведения должно обеспечиваться через управление качеством основных рабочих процессов, протекающих в вузе.

В этой связи можно наблюдать ряд примеров внедрения в образовательных учреждениях систем менеджмента качества (СМК) на основе новых версий стандартов серии ISO.

Всероссийские конкурсы, организованные среди образовательных учреждений РФ на лучшую СМК, выделили еще в 2001 году 5 лауреатов, среди которых почетное место занял Томский политехнический университет.

За счет сертификации СМК, отдельных образовательных программ, процессов и технологий повысился имидж университета как вуза, постоянно обеспокоенного проблемами качества.

Большим организующим импульсом явилось появление обязательного перечня документации для преподавателей, упорядочение документированных процедур, сопровождающих образовательный процесс, ориентация на требования потребителя.

Однако в полной мере поддержание СМК, как социо–технической системы, в рабочем состоянии, полностью иллюстрирующей приверженность современной политике университета, идеям TQM, аксиомам и принципам Деминга, пока не удалось.

За редким исключением (в основном по нефтяному инжинирингу) и другим проектам подобного вида, потребитель образовательных услуг или выпускников университета не вполне удовлетворены их качеством.

Число проблем практически не уменьшается, намечается очередная перестройка высшего образования. Большинство конференций и статей, посвященным этим проблемам, проводятся и пишутся, используется сослагательное наклонение.

Преподавательский корпус и студенты надлежащим образом не активизированы; сколь заметная и продуктивная деятельность проявляется лишь в узкой среде обеспокоенных и заинтересованных лиц.

Все это означает, что действующая система менеджмента качества и ее подразделы, связанные с контролем качества образовательных услуг и их результата по определению соответствия уровня подготовки студентов с позиций системного подхода является проблемосодержащей.

1.3.2. Кто виноват?

Качество – это поистине дело всех и каждого. Каждое подразделение, каждый исполнитель должны взять на себя ответственность за бездефектную работу. Возможно, человеку и свойственно ошибаться, но платить ему за это может только бог [13].

Итак, проблемы существуют. Если при этом задать первый из постоянно стоящих в России вопросов: «Кто виноват?», то ответ на этот вопрос можно найти в любой из книг, посвященных управлению качеством, например, в [13].

В виде тезисов это выглядит так:

1) только 15% проблем на большинстве фирм можно отнести на счет рядовых работников. Остальные 85% непосредственно связаны с работой руководства;

В России традиционно, роль лиц, стоящих на верхней ступени служебной лестницы, авторитарна. Они диктуют тем, кто ниже, что те должны делать. Обратные связи слабы. Если полномочий больше, чем ответственности, то есть возможность вообще уйти от ответственности, переложив ее на других.

2) большинство ошибок допускается не по вине сотрудников – они всего лишь невольные исполнители, вынужденные работать в обстановке, которая зачастую контролируется с помощью устаревших и громоздких систем;

3) руководители могут не допускать явных ошибок (более того, они могут быть прекрасными во многих отношениях); единственная их ошибка заключается в том, что они позволяют функционировать системам, которые не настроены должным образом на потребности сегодняшнего дня;

4) устраняя допущенные ошибки, мы не должны критиковать людей. Главный удар следует направить против систем, с помощью которых регулируется и контролируется деятельность;

5) Дж. Э. Джонсон президент фирмы «Джонсон пластика»: «Я хочу, чтобы мы разработали систему, предотвращающую появление проблем, а не такую, когда мы докладываем об их решении уже после того, как обнаружим проблему. Каждый руководитель должен обеспечивать качество работы своего подразделения. У нас слишком много руководителей служб обеспечения качества и слишком мало качественных руководителей»;

6) повышение качества может потребовать серьезных изменений (привлечение дополнительных ресурсных обеспечений) в политике.

Анализ причин снижения качества часто приводит к следующим положениям:

– самодовольство и окрыление успехами. – «В настоящее время хороший уровень качества не является достаточным, и, если мы не изменим своих подходов, надпись на надгробном памятнике наших предприятий будет гласить: «Мы считаем, что мы достигли достаточно высокого уровня»»;

– работники, выполняющие свою работу, должны понимать ее суть и нести ответственность за качество результатов своей деятельности. Ясно, что каждый работник является потребителем результатов труда другого работника и, в свою очередь, имеет потребителя, которому передает результаты своего труда (рисунок 3 [17]).

Рисунок 3. Модель системы менеджмента качества, основанной

на процессном подходе

Приходится признать, что действия представителей преподавательского корпуса университета также далеки от совершенства. Другими словами, в образовательном учреждении элементы корпоративной культуры [18] не находятся на должном уровне.

Как отмечает В.А. Пушных: «Как правило, … новые объективно диктуемые внешней средой цели, не соответствуют сложившейся корпоративной культуре…. В рамках существующей корпоративной культуры возникает очень сильное сопротивление новациям, которое критическим образом замедляет достижение целей и может привести, в крайнем случае, к краху организации»,

Что, правда, то, правда. Рубим сук, на котором сидим, если в новых условиях стараемся быстрее возвратиться к старому и привычному виду существования. Вот почему многие говорят: «Внедрение нового тормозят главные действующие лица системы образования-педагоги» [40].

Поэтому необходимо на конкурентной основе создавать механизмы, контролирующие эффективность труда основных участников образовательного процесса с одновременным правом внесения изменений в процесс труда и обеспечение его средствами постоянного повышения качества работы.

В заключение этого раздела хотелось бы обратить внимание еще на два положения:

– по принципу №10 Деминга [3] – отказ от пустых лозунгов и призывов. А.И. Чучалин правильно отмечает: «Администрация вуза должна осознать, что ее главная обязанность – совершенствование системы менеджмента. Но если перед коллективом университета ставятся цели без плана их достижения и наличия соответствующих ресурсов, они производят эффект, противоположный желаемому»;

– в рыночных отношениях повышение качества несет в себе поистине колоссальные дополнительные возможности. Многие привыкли говорить: «Качество стоит денег». И это правда. Но с другой стороны – качество приносит деньги.

Многие в политехническом университете уже доказывают это на деле, когда за счет качественно подготовленного по международным стандартам выпускника, получают нормальные деньги. Они позволяют осуществить дальнейшее движение по повышению качества образовательного процесса во всех его аспектах. Но не для всех, что очевидно и правильно.

Очень четко нацеливает коллектив Ю.П. Похолков, который заявляет, что лучше готовить меньше, но дорогостоящих элитных специалистов, чем большее число слабо подготовленных бакалавров. И к этому надо стремиться. Как говорил Т.Дж. Уотсон, первый президент компании IBM: «Лучше целить в совершенство и промахнуться, чем целить в несовершенство и попасть».

1.3.3. Формирование целевых установок фонда

… А смерть Кощея – на кончике иглы, игла – в яйце, яйцо – в утке, а утка…

В предыдущем разделе сделана попытка доказательства того, что фонд оценочных средств учебной дисциплины – проблемосодержащая система, явные недостатки которой воспринимаются как проблемы, которые проявляются для индивидуума, как в образовательном процессе, так и в дальнейшем на рынке труда и в профессиональной деятельности.

Позиции системного подхода и системы менеджмента качества единодушны – системообразующая цель при проектировании фонда определяются внешними по отношению к фонду надсистемами и окружающей средой. Другими словами, проектирование частного – фонда оценочных средств должно быть осуществлено в интересах вышестоящих систем, так как системная цель – внешний фактор и формируется надсистемами.

Для фонда оценочных средств учебной дисциплины системная цель – установка в ходе различного рода испытаниях соответствия или несоответствие уровня подготовки студента ожидаемому результату (эталону).

Не правда ли знакомые положения. Только надо понимать, что в данном случае мы имеем дело не с измерениями физической величины [19]. В тех случаях, когда невозможно выполнить измерение (не выделена величина как физическая и не определена единица измерений этой величины) практикуется термин оценивание таких величин по условным шкалам.

В нашем случае это шкалы оценок, балльные шкалы, зачетные единицы – кредиты [8] и т.п.

Эталонный образ обусловлен целями и задачами учебной дисциплины. Они, в свою очередь, определены целями и задачами инновационной образовательной программы (ИОП) направления или специальности с учетом политики инновационно–академического университета, положениями компетентностного подхода и элитного образования.

Далее, все вышеперечисленное должно подчиняться концепциям образования России и требованиям Болонской декларации по вхождению страны в международное образовательное пространство. Наконец, все это определяется целями и задачами международного сообщества, вошедшего в постиндустриальный мир.

Конечно, не все перечисленное касается преподавателя – ведущего лектора, обеспечивающего постановку и обучение учебной дисциплине. Но учесть нюансы целевых установок вышестоящих перечисленных систем и надсистем он просто обязан.

Иначе появится брак в работе. Иначе разработанный без учета вышесказанного фонд не будет соответствовать. И не будет соответствовать или не соответствовать оцененный банком контролирующих материалов уровень подготовки студента.

Такое положение когда–то выявится; неплохо бы в приложениях к диплому наряду с оценками по дисциплинам указывать Ф.И.О. преподавателей, осуществляющих подготовку, чтобы было известно к кому конкретно предъявлять претензии [20].

Итак, целью создания фонда оценочных средств учебной дисциплины является установление соответствия или не соответствия различного состояния процесса оказания образовательных услуг по дисциплине и уровня подготовки студента установленным требованиям, заявленных в целях и задачах рабочей программы учебной дисциплины.

Содержание банка контролирующих материалов определяется принятыми в рабочей программе целями и задачами.

При установлении минимальных требований к ожидаемому результату на каждом этапе контроля следует ознакомиться с рядом основополагающих документов:

1) ФГОС ВПО и ОС ТПУ направления или специальности;

2) стандартами ТПУ на бакалавра, инженера, магистра;

3) материалами сборника документов по итоговой аттестации выпускников [29];

4) стандартом на программу учебной дисциплины [7];

5) приложением к письму Минобразования России № 14–55–353ин от 16.05.2002 г. «О методике создания оценочных средств для итоговой государственной аттестации выпускников вузов»;

6) комплексной программой развития университета на 2006 – 2010 г.г. (КПР ТПУ–2010) [28];

7) концепцией развития непрерывного образования в Российской Федерации на 2004–2010 годы.

Эти документы, а также ряд других положений и статей позволят Вам во всеоружии подойти к определению целей и задач учебной дисциплины, а значит и фонда оценочных средств.

Упрощенное дерево целей Вашей деятельности в этом случае может соответствовать рисунку 4.

Рисунок 4. Упрощенное дерево целей и задач

в пространстве образовательных услуг.