воскресенье, 6 октября 2013 г.

Как проверяются рецензии

Просто для информации: немного внутренней кухни, чтобы представляли себе, как принимаются решения о проверке.

Итак, 23 человека написали некие работы. Хорошие или не очень -- это нужно оценить гораздо большему числу, примерно 120. В реальности -- 83м. Причем, каждый оценивает три работы, отсюда получаем 249 рецензий. Из такого (а могло быть больше!) количества выловить что-то путём внимательного чтения весьма проблематично. Поэтому, как и было обещано, применяется выборочная проверка: благодаря тому, что оценок для каждой работы было достаточно много, можно взять на вооружение простейшую статистику. Берем среднее значение по каждому критерию для каждой работы и вычитаем его из оценки по этому критерию каждым проверяющим. Например, если все рецензенты в среднем оценили полноту изложения на 4, но при этом энный рецензент поставил 3, его отклонение составит -1 по этому критерию.
Дальше складываем эти отклонения с учётом весовых коэффициентов (для критериев содержания -- 1/6, для критериев формы -- 1/4, т.к. нам важен сам разброс, а не вес критерия в общей оценке работы. Берём модуль полученного числа и получаем:

ФамилияИмяГруппаТемаABS Dev
СеменкинЕвгенийАП113
ТимофеевАнтонИКТ113
АгаджанянДавидАП152,4
АлёшинаНадеждаИКТ202,4
БолотовТимофейИКТ222,4
ДерябинаКристинаС222,4
ИсаеваАннаАП132,4
ТвороговаЕкатеринаС222,4
ЧаевЕвгенийИКТ202,4
АгаджанянДавидАП192,3
ГрановскийВладимирАП172,3
АлёшинаНадеждаИКТ122,1
ЧудовскаяАлександраИКТ22,1
ГуровОлегАП52
СеменкинЕвгенийАП52
ЧубароваАнастасияАП52

Максимальное отклонение по такой формуле составило 3 условных попугая. Если проверять всех до "1" -- это 119 рецензий. Малореально. Если до "2" -- 17 рецензий. Это более реально.

Выше описан самый примитивный способ, в более правильном варианте следует учитывать:

  • отсутствие комментариев (они необязательны, но показательны).
  • разночтения по введенному количеству источников (можно сравнить с тем, что ввели сами авторы), особенно по "научным" -- там каша жуткая.
Вот такая матемтаика. 

Разумеется, отклонение -- это всего лишь регистрация особого, относительно общей массы, мнения. Возможно, что именно оно и ближе к реалистичной оценке. Но надо же было выбрать какое-то основание для проверки. Этим и займусь на досуге. 

Ещё одно наблюдение: все высокие отклонения имеют изначально положительный знак, то есть, -- выше средней оценки своих коллег. Отрицательные отклонения сосредоточены преимущественно в минимальных значениях (-0,1 — -0,7).

Пример разбора оценок -- под катом.
Итак, берём первые две стоки, поскольку они касаются одной работы -- 11-й. Вот оценки:

ФамилияПолнотаОбосн.Иллюст.ВёрсткаНомер
Горячева332211
Зарипов432211
Зиязтдинов212111
Исаева332111
Кольбе331111
Лапин431111
Левицкая111111
Леонов433411
Семенкин644411
Тимофеев653411
Уланов321111
Шестопалова312111

Открываем работу и понимаем, что с вёрсткой дело не просто плохо, а вообще никак. Кому неочевидно, давайте прочитаем критерии вместе (Верстка):

1 балл: Ручная верстка без автоматических полей и стилей. Отбивки выполнены как попало. Простое изменение используемых стилей или формата страницы приводит к потере форматирования.

Что такое ручная верстка без автоматических полей и стилей? Это то, что мы здесь и видим. Смотрите на используемые стили -- везде Normal. Подписи к картинкам? Оформленный список литературы со ссылками из текста? Не, не слышал. Товарищи, эта работа в более серьезной проверке может сильно напортить автору в дальнейшей судьбе. И автору и тем, кто дал положительную рецензию. Хорошо, что это лишь учебная проверка.

Если вдруг вы решили, что верстка достойна лучшей оценки, давайте проверим её на соответствие уровню "2":

2 балла: Не пройден тест на 2 пробела и 2 ентера. Видна ручная верстка сверх допустимого.

Кто-нибудь делал этот тест? Ctrl-F, дальше два пробела, ентер. На практике проще использовать автозамену -- два пробела на один, например. Ворд скажет, сколько было замен. Напомню, в титульном листе допустимо ставить отбивки ентерами, Ворд неадекватно работает с плавающими блоками текста и принято выбирать меньшее из зол.

Дальше верстку разбирать не буду. Теперь смотрим, кто какие поставил оценки. Читаем комментарии тех, кто поставил выше единицы:


  1. Леонов Антон (4): Верстку полноценно проверить не могу, ибо openoffice.
  2. Семенкин Евгений (4): ничего не написал.
  3. Тимофеев Антон (4): Все выполнено по критериям. 
  4. Зарипов Руслан (2): Видно, что делал многое руками.
  5. Горячева Александра (2): ничего не написала.
Остальные поставили 1 балл. 

Про "не могу проверить, у меня ...." -- это старая история, на такие комментарии могу ответить "не могу поставить оценку, у меня кончились". Дело не в том, что я очень люблю Office, более того, работаю в Гуглодоках или вот в Блоггере, а в том, что в задании чётко указано, как и каким инструментом нужно проверить. Или "не могу померять температуру, у меня линейка" -- это нормально? Не осилил -- отвечай.

Ответ "Все выполнено по критериям" говорит просто о том, что человек не потрудился даже файл пролистать. Это прослеживается по другим комментариям в стиле "почти в каждой теме ..." и дальше -- есть иллюстрации, есть подтверждения... в общем, проверяем все рецензии этого автора, халтура налицо. 

Теперь понятно, какова природа больших отклонений в оценках: часть проверяющих оценили работу в соответствии с критериями, а указанные выше товарищи внесли шум. 


Что дальше: 
  1. Проверяются остальные критерии. 
  2. Принимается решение об аннулировании рецензий, не соответствующих критериям.
  3. Корректируется оценка работы -- она будет основываться на оставшихся рецензиях.
  4. Проверяются все рецензии авторов, которые нарушили правила проверки. 
  5. Если в других работах, которые проверяли эти авторы будут замечены подобные нарушения другими рецензентами, см. п. 2 и далее.

Эта проверка может существенно повлиять на оценки за сами работы и уж точно внесет коррективы в начисление баллов за рецензирование. На будущее: будьте ответственны. Ваше слово -- это ваша репутация.




Комментариев нет:

Отправить комментарий