Просто для информации: немного внутренней кухни, чтобы представляли себе, как принимаются решения о проверке.
Итак, 23 человека написали некие работы. Хорошие или не очень -- это нужно оценить гораздо большему числу, примерно 120. В реальности -- 83м. Причем, каждый оценивает три работы, отсюда получаем 249 рецензий. Из такого (а могло быть больше!) количества выловить что-то путём внимательного чтения весьма проблематично. Поэтому, как и было обещано, применяется выборочная проверка: благодаря тому, что оценок для каждой работы было достаточно много, можно взять на вооружение простейшую статистику. Берем среднее значение по каждому критерию для каждой работы и вычитаем его из оценки по этому критерию каждым проверяющим. Например, если все рецензенты в среднем оценили полноту изложения на 4, но при этом энный рецензент поставил 3, его отклонение составит -1 по этому критерию.
Дальше складываем эти отклонения с учётом весовых коэффициентов (для критериев содержания -- 1/6, для критериев формы -- 1/4, т.к. нам важен сам разброс, а не вес критерия в общей оценке работы. Берём модуль полученного числа и получаем:
Максимальное отклонение по такой формуле составило 3 условных попугая. Если проверять всех до "1" -- это 119 рецензий. Малореально. Если до "2" -- 17 рецензий. Это более реально.
Выше описан самый примитивный способ, в более правильном варианте следует учитывать:
Итак, 23 человека написали некие работы. Хорошие или не очень -- это нужно оценить гораздо большему числу, примерно 120. В реальности -- 83м. Причем, каждый оценивает три работы, отсюда получаем 249 рецензий. Из такого (а могло быть больше!) количества выловить что-то путём внимательного чтения весьма проблематично. Поэтому, как и было обещано, применяется выборочная проверка: благодаря тому, что оценок для каждой работы было достаточно много, можно взять на вооружение простейшую статистику. Берем среднее значение по каждому критерию для каждой работы и вычитаем его из оценки по этому критерию каждым проверяющим. Например, если все рецензенты в среднем оценили полноту изложения на 4, но при этом энный рецензент поставил 3, его отклонение составит -1 по этому критерию.
Дальше складываем эти отклонения с учётом весовых коэффициентов (для критериев содержания -- 1/6, для критериев формы -- 1/4, т.к. нам важен сам разброс, а не вес критерия в общей оценке работы. Берём модуль полученного числа и получаем:
| Фамилия | Имя | Группа | Тема | ABS Dev |
| Семенкин | Евгений | АП | 11 | 3 |
| Тимофеев | Антон | ИКТ | 11 | 3 |
| Агаджанян | Давид | АП | 15 | 2,4 |
| Алёшина | Надежда | ИКТ | 20 | 2,4 |
| Болотов | Тимофей | ИКТ | 22 | 2,4 |
| Дерябина | Кристина | С | 22 | 2,4 |
| Исаева | Анна | АП | 13 | 2,4 |
| Творогова | Екатерина | С | 22 | 2,4 |
| Чаев | Евгений | ИКТ | 20 | 2,4 |
| Агаджанян | Давид | АП | 19 | 2,3 |
| Грановский | Владимир | АП | 17 | 2,3 |
| Алёшина | Надежда | ИКТ | 12 | 2,1 |
| Чудовская | Александра | ИКТ | 2 | 2,1 |
| Гуров | Олег | АП | 5 | 2 |
| Семенкин | Евгений | АП | 5 | 2 |
| Чубарова | Анастасия | АП | 5 | 2 |
Максимальное отклонение по такой формуле составило 3 условных попугая. Если проверять всех до "1" -- это 119 рецензий. Малореально. Если до "2" -- 17 рецензий. Это более реально.
Выше описан самый примитивный способ, в более правильном варианте следует учитывать:
- отсутствие комментариев (они необязательны, но показательны).
- разночтения по введенному количеству источников (можно сравнить с тем, что ввели сами авторы), особенно по "научным" -- там каша жуткая.
Вот такая матемтаика.
Разумеется, отклонение -- это всего лишь регистрация особого, относительно общей массы, мнения. Возможно, что именно оно и ближе к реалистичной оценке. Но надо же было выбрать какое-то основание для проверки. Этим и займусь на досуге.
Ещё одно наблюдение: все высокие отклонения имеют изначально положительный знак, то есть, -- выше средней оценки своих коллег. Отрицательные отклонения сосредоточены преимущественно в минимальных значениях (-0,1 — -0,7).
Пример разбора оценок -- под катом.
Итак, берём первые две стоки, поскольку они касаются одной работы -- 11-й. Вот оценки:
Открываем работу и понимаем, что с вёрсткой дело не просто плохо, а вообще никак. Кому неочевидно, давайте прочитаем критерии вместе (Верстка):
1 балл: Ручная верстка без автоматических полей и стилей. Отбивки выполнены как попало. Простое изменение используемых стилей или формата страницы приводит к потере форматирования.
Что такое ручная верстка без автоматических полей и стилей? Это то, что мы здесь и видим. Смотрите на используемые стили -- везде Normal. Подписи к картинкам? Оформленный список литературы со ссылками из текста? Не, не слышал. Товарищи, эта работа в более серьезной проверке может сильно напортить автору в дальнейшей судьбе. И автору и тем, кто дал положительную рецензию. Хорошо, что это лишь учебная проверка.
Если вдруг вы решили, что верстка достойна лучшей оценки, давайте проверим её на соответствие уровню "2":
2 балла: Не пройден тест на 2 пробела и 2 ентера. Видна ручная верстка сверх допустимого.
Кто-нибудь делал этот тест? Ctrl-F, дальше два пробела, ентер. На практике проще использовать автозамену -- два пробела на один, например. Ворд скажет, сколько было замен. Напомню, в титульном листе допустимо ставить отбивки ентерами, Ворд неадекватно работает с плавающими блоками текста и принято выбирать меньшее из зол.
Дальше верстку разбирать не буду. Теперь смотрим, кто какие поставил оценки. Читаем комментарии тех, кто поставил выше единицы:
Эта проверка может существенно повлиять на оценки за сами работы и уж точно внесет коррективы в начисление баллов за рецензирование. На будущее: будьте ответственны. Ваше слово -- это ваша репутация.
Пример разбора оценок -- под катом.
Итак, берём первые две стоки, поскольку они касаются одной работы -- 11-й. Вот оценки:
| Фамилия | Полнота | Обосн. | Иллюст. | Вёрстка | Номер |
| Горячева | 3 | 3 | 2 | 2 | 11 |
| Зарипов | 4 | 3 | 2 | 2 | 11 |
| Зиязтдинов | 2 | 1 | 2 | 1 | 11 |
| Исаева | 3 | 3 | 2 | 1 | 11 |
| Кольбе | 3 | 3 | 1 | 1 | 11 |
| Лапин | 4 | 3 | 1 | 1 | 11 |
| Левицкая | 1 | 1 | 1 | 1 | 11 |
| Леонов | 4 | 3 | 3 | 4 | 11 |
| Семенкин | 6 | 4 | 4 | 4 | 11 |
| Тимофеев | 6 | 5 | 3 | 4 | 11 |
| Уланов | 3 | 2 | 1 | 1 | 11 |
| Шестопалова | 3 | 1 | 2 | 1 | 11 |
Открываем работу и понимаем, что с вёрсткой дело не просто плохо, а вообще никак. Кому неочевидно, давайте прочитаем критерии вместе (Верстка):
1 балл: Ручная верстка без автоматических полей и стилей. Отбивки выполнены как попало. Простое изменение используемых стилей или формата страницы приводит к потере форматирования.
Что такое ручная верстка без автоматических полей и стилей? Это то, что мы здесь и видим. Смотрите на используемые стили -- везде Normal. Подписи к картинкам? Оформленный список литературы со ссылками из текста? Не, не слышал. Товарищи, эта работа в более серьезной проверке может сильно напортить автору в дальнейшей судьбе. И автору и тем, кто дал положительную рецензию. Хорошо, что это лишь учебная проверка.
Если вдруг вы решили, что верстка достойна лучшей оценки, давайте проверим её на соответствие уровню "2":
2 балла: Не пройден тест на 2 пробела и 2 ентера. Видна ручная верстка сверх допустимого.
Кто-нибудь делал этот тест? Ctrl-F, дальше два пробела, ентер. На практике проще использовать автозамену -- два пробела на один, например. Ворд скажет, сколько было замен. Напомню, в титульном листе допустимо ставить отбивки ентерами, Ворд неадекватно работает с плавающими блоками текста и принято выбирать меньшее из зол.
Дальше верстку разбирать не буду. Теперь смотрим, кто какие поставил оценки. Читаем комментарии тех, кто поставил выше единицы:
- Леонов Антон (4): Верстку полноценно проверить не могу, ибо openoffice.
- Семенкин Евгений (4): ничего не написал.
- Тимофеев Антон (4): Все выполнено по критериям.
- Зарипов Руслан (2): Видно, что делал многое руками.
- Горячева Александра (2): ничего не написала.
Остальные поставили 1 балл.
Про "не могу проверить, у меня ...." -- это старая история, на такие комментарии могу ответить "не могу поставить оценку, у меня кончились". Дело не в том, что я очень люблю Office, более того, работаю в Гуглодоках или вот в Блоггере, а в том, что в задании чётко указано, как и каким инструментом нужно проверить. Или "не могу померять температуру, у меня линейка" -- это нормально? Не осилил -- отвечай.
Ответ "Все выполнено по критериям" говорит просто о том, что человек не потрудился даже файл пролистать. Это прослеживается по другим комментариям в стиле "почти в каждой теме ..." и дальше -- есть иллюстрации, есть подтверждения... в общем, проверяем все рецензии этого автора, халтура налицо.
Теперь понятно, какова природа больших отклонений в оценках: часть проверяющих оценили работу в соответствии с критериями, а указанные выше товарищи внесли шум.
Что дальше:
- Проверяются остальные критерии.
- Принимается решение об аннулировании рецензий, не соответствующих критериям.
- Корректируется оценка работы -- она будет основываться на оставшихся рецензиях.
- Проверяются все рецензии авторов, которые нарушили правила проверки.
- Если в других работах, которые проверяли эти авторы будут замечены подобные нарушения другими рецензентами, см. п. 2 и далее.
Эта проверка может существенно повлиять на оценки за сами работы и уж точно внесет коррективы в начисление баллов за рецензирование. На будущее: будьте ответственны. Ваше слово -- это ваша репутация.
Комментариев нет:
Отправить комментарий