среда, 16 октября 2013 г.

Успеваемость глазами преподавателя

Сводная таблица успеваемости по нашему курсу наконец стала выдавать похожие на правду результаты. Я не буду её выкладывать в полном виде, смотрите по ссылке, она будет обновляться.
Так же не буду пока выкладывать списки отдельно по группам. Хотя, со статистикой успеваемости отдельно по группам можете ознакомиться в верхней части таблицы (на зеленом фоне указаны численность и далее средние по группе показатели). Очень наглядно, мне кажется.

Со временем там появятся лабы и другие недостающие оценки, но уже сейчас можно увидеть закономерности и я хочу обратить на них ваше внимание. Обычно эта кухня скрыта от глаз студентов, я же хочу, чтобы вы увидели её так, как её видят и преподаватели и учебная часть, возможно, это снимет часть вопросов про успеваемость.

Под катом немного про очевидные закономерности, видимые из среза текущей успеваемости, а потом многобукв про то, зачем всё так устроено и почему и какая у вас тут роль. Мне скоро будут задавать много вопросов, ответы на часть из них -- дальше по тексту. Правда, те, кто задают упомянутые вопросы, увы, не читают такие длинные тексты. :)


Ниже я привожу даже не таблицу, а скриншот из гуглотаблицы: то же самое, что видно по ссылке выше, но отсортированное по итоговой оценке, и на экране хвост этого списка -- как раз поместились все, у кого на текущий момент отрицательное число баллов.


Что-то мне подсказывает, что 31 октября и далее именно представители этой части списка будут задавать много вопросов и выкатывать претензии. Давайте сразу объясню логику, которой руководствуются все эти противные люди, которых зачем-то поставили в преподы.

Заголовок таблицы (где ЛТх, ЛРх...) цветом показывает обязательную и необязательную части. В понимании школы и вуза таких частей не существует, все -- обязательные. И оценка не может превышать максимальную. И отрицательной не бывает. Итоговая -- да. Но внутренний расчет может быть разный, арифметику моего подхода я изложил на первой лекции. Итак, смотрим на обязательную часть (третий лабораторный тест и все лабы ещё не введены): аудиторный тест не выполнен у большого числа студентов.

Что такое тест на лабе? Это самый простой и быстрый способ проверить, насколько вы вообще в теме и ещё это способ переписи населения. Вас же как-нибудь переписывали на других предметах? Пускали листочек, например? Или перекличку устраивали? Это глупо, ненадежно и унизительно. Я в бытность студентом в такие листочки писал всю группу и нескольких великих ученых до кучи, чтобы лектор не расслаблялся. Куда практичнее дать тест, кто прошел -- тот и молодец. Можно, конечно, из дома в этот момент отметиться...
Итак, есть три варианта:

  1. Вышеозначенные товарищи прогуляли лабу. Тогда я жду от этих товарищей письмо на электронную почту с копией Алексею Соболевскому с объяснением, что за неведомая сила не пустила вас на лабу. Далее -- разбираемся, как закрывать хвосты. Курс короткий, в срок закрыть хвост вероятнее всего не выйдет (впрочем, может быть, что отчет-то прислан, просто был прогул, это мы скоро увидим в соседних клеточках).
  2. Или пропустили по уважительной причине. Тогда хотелось бы знать даты болезни и сданы ли документы в учебную часть. Если не сданы, см. п. 1. Тут порядок общий и никто его не отменял. Вольное посещение у нас вообще-то не принято, другое дело, что я обещал вам, что пропуск лекций никаких последствий для вас не повлечет -- материалы публикуются и тесты проводятся дистанционно. А вот про лабы говорилось, что ни-ни, ходить обязательно.
  3. Или в таблице ошибка. Тогда пишите мне об этом. Как мы уже выяснили, ошибки, как правило, связаны с тем, что вы свою фамилию умеете писать множеством разных способов.
Удивительным образом отсутствие активности по обязательной части коррелирует с мертвой тишиной в творческих заданиях (эссе и рецензии) и даже в простых домашних тестах, хотя в них отметились очень многие. 
А кстати, зачем нужны эти необязательные домашние тесты? Это просто индикатор, что вы с нами. То есть, понятно, что 
  • оценку этим тестом не поправишь: 2 балла погоды не делают.
  • знания особо не проверишь: призывы использовать голову, а не поисковую систему... они для честных людей,  давайте все вспомнят, как писали тесты. Да, я знаю, среди вас есть герои и их довольно много. Но сейчас не о них.
Тесты дома нужны, чтобы напомнить о курсе. Беда всех школ и вузов в жуткой раздробленности расписания. Невозможно сосредоточиться ни на чем, вы клянетесь себе, что придете и полезете искать что-то для эссе и вот та тема ещё интересная, надо дома глянуть по ней что-нибудь, и книжку посоветовали... но на следующей паре приходит другой препод и от всех этих благих мыслей не остаётся и следа. И вспоминаете о задании хорошо если перед следующей лекцией. И вот этот сайт и тесты, которые как-то странно шли не по лекциям, а по своему расписанию -- это лишь способ не дать забыть о курсе. Они же ставят перед вами простые вопросы, но простые, если прочитать или прослушать лекцию. И они же выявляют пропавших товарищей. Потому что даже плохой результат -- это всё равно результат и он будет выражаться в 1 балле. За тест практически невозможно получить 0, если только неудачно прощелкать, не глядя. Итого: это маячок для препода и самопроверка для студента. 


А ещё есть эссе и рецензии. Эссе -- это для творческих и/или усердных личностей. Вы можете расслабиться на лабах, сдать их как-нибудь, зато добрать своё на интересной работе. Интересной -- это понятие субъективное, но умение найти интерес в произвольном задании надо в себе воспитывать. Потому что "ах, это всё неинтересно" -- отнюдь не про задание, а про отношение к жизни. Спроси такого человека о его профессиональных предпочтениях -- он тоже ничего дельного, как правило, не скажет.
Рецензии -- это вообще неведомая в типовой вузовской практике штуковина. Я уверен, что большинство старорежимных (заметьте, это не про возраст) преподавателей замашут руками и заголосят, что это ересь и вообще. Кстати, они же впадают в рекурсивное негодование, если им рассказать, как работает Википедия. В общем, это такая параллельная реальность, в которой есть преподы и студенты и задача студентам -- надурить препода. Игра такая. Мы же немного о другом, хотя это далеко не все успеют понять: есть студенты, преподы и внешний мир. И задача препода как-то адаптировать студента к этому миру, потому что он там больше жил и знает лайфхаки. У вас курс урезанный, так что всякие ранее применявшиеся фишки, типа публичных видеозащит, увы, предложить не могу. А вообще, это работает на ура, если правильно подготовить шоу. Так вот, рецензии -- это

  • способ вовлечения тех, кто не вовлекся в эссе. То есть, не напишут, так прочитают -- ок, тоже дело. А не прочитают -- ну, вы видели, что с такими рецензиями бывает. Понимаете логику? Сейчас она вам покажется циничной или глупой... ну ок, я не уверен, что сам бы на вашем месте не отвесил какую-нибудь колкость. 
  • способ перекладывания нагрузки. Да, вы выполняете мою работу -- не я, а вы проверяете работы. 
А знаете почему?  Тут уместно вспомнить, что такое преподавательская работа: это лекции, лабы, а ещё всякие домашние работы (проверка) экзамены, зачеты... так вот, на одну лекцию выделяется 2х времени. То есть, предполагается, что я за 2 часа насобирал материал (прочитал книжку) и еще за 2 часа все это вам вывалил. На деле 1 лекция готовится минимум 1 день, обычно 2. Если новая, как в вашем случае. Если старая -- часа 3-4 на апдейт. Лабы ничуть не проще. А вот обратная связь в учебном плане у нас знаете какая? 1 контрольная работа на весь курс. И зачет. Вы же писали такие контрольные, да? 20 минут на одного студента за весь курс на проверку. Вот столько внимания вам положено официально, забюджетировано. И еще 20 минут на зачете. Всё. Так вот, львиную долю рутинной работы удалось автоматизировать, поэтому тесты и поэтому вопросы все "закрытые", то есть, выбор из заданных значений, а не сочинения. Но творческие работы невозможно так проверить, поэтому -- кросс-рецензирование.

Так работают онлайн-курсы, этот способ эффективен там, где работает статистика. Про это я уже писал раньше. И именно статистика позволяет выявлять неадекват при трех условиях:
  • Рецензий много больше, чем работ, то есть, каждая работа проверяется многими рецензентами и небольшое отклонение в количестве проверяющих не меняет этого отношения (хотя бы 1:5, лучше -- 1:10);
  • Есть четкие и однозначные, легко верифицируемые критерии оценки. Всегда можно взять любую рецензию и любую работу и, не вникая глубоко в суть, проверить рецензию на адекватность. Предпочтительно вообще использовать численные характеристики (количество иностранных источников), но они не всегда дают представление о качестве работы.
  • Общий уровень проверяющих достаточно высокий, чтобы понять, что от них хотят в вышеназванных критериях. Только тогда отдельных выпавших можно выявить статистикой. Если все накосячили -- статистика это проглотит.
Но наше с вами экспертное сообщество, хоть и успешно справилось с тестом на адекватность, но не гарантировано от сбоев. В этой ситуации применяются методы экспертной оценки. Это я тоже описывал: делается экспертная эталонная рецензия, далее с заданным допуском с ней сравнивается оценка других рецензентов, выпавшие из доверительного интервала работы исключаются из оценки и аннулируются. Это мера применяется при выборочном контроле. Когда кто-нибудь будет махать руками "да как же так, студенты проверяют работы друг друга" -- это наш ответ Чемберлену, проверяют, но и проверяемы тоже. Всё под контролем. 

Итак, вы стали (помимо своей воли, конечно же, но и в других реформах вас не очень спрашивают, ведь так?) участниками небольшого эксперимента. Через неделю закончится сбор последних оценок, рецензий и тестов -- это массив экспериментальной информации, которая потом будет обрабатываться. Конечно, имена будут скрыты или заменены на безликие идентификаторы, но реальные данные будут анализироваться. 

Я хочу, чтобы вы поняли, чего я добиваюсь таким замысловатым способом: 
  1. Вас, как бакалавров, поставили на поток. Совсем недавно лекции читались на 50 человек и были курсовые работы (у СБ они и сейчас есть, но сведены к формальному минимуму), каждая из них индивидуально обсуждалась и выполнялась. Это была ручная работа и индивидуальный подход. С 4 курса у нас на кафедре вообще было практически индивидуальное обучение по специализации. Теперь всё это ушло в массовое обучение. Чтобы при этом хоть как-то обеспечить качество обучения, нужно придумать инструменты, которые будут работать на больших толпах и в условиях невозможности частого личного контакта,
  2. Хочу, чтобы каждый из вас понимал, что преподаватель -- это не тот, кому надо навешать лапшу и получить зачет, а тот, кто проведет вас через лабиринт. Вечная помеха в этом -- препод ставит оценки. Ок, вот прозрачная система, в которой я никаким образом не влияю на оценки и моё отношение к вам (если оно вообще откуда-нибудь успело взяться, большинство из вас я вижу в первый и последний раз) никак не может отразиться на оценках.
  3. Вас со школы приучают к очень сомнительной мысли: "есть один путь решения задачи" (дали задание -- надо делать. Всё. Не сделал -- ты неудачник). И еще: "есть максимальная оценка и выше быть не может. Но и сильно ниже тоже". Вообще и то и другое -- это враньё. Лицемерие и враньё. Вы в реальной жизни где такое видели? Проведите аналогию с тем, что вы будете делать после института: устроитесь на работу... и кто в наше время не имеет возможности подработать (выполнить добровольные задания)? И где это видано, чтобы каждый шаг человека был блестящим и безошибочным и только тогда он был успешным? Это же чушь, успешные люди тоже ошибаются, просто много работают и в итоге добиваются своего. Поэтому странно ставить 10 баллов потолком, у вас потолок, если посмотрите по таблице -- 214 (21,4 вышкинских) балла. Из них наберите 10, но зато честных. Это внутренняя философия курса. Для формального мира всё проще: вам даётся шкала, в которой "отлично" начинается с середины и выше, а "отработки" и всякие санкции назначаются только за практические занятия. 

Комментариев нет:

Отправить комментарий