четверг, 21 февраля 2013 г.

Пробуем себя

Итак, давайте же попробуем попроверять работы. Хотя и позже, чем предполагалось. Надеюсь, до вторника я все-таки приду в себя и смогу приехать на лекцию.

Итак, сделал (тяп-ляп, если честно) условно-обезличенную табличку, в которой вам нужно будет взять задание на проверку. Имена скрыты только условно -- соответствие ваших фамилий и номеров, указанных в таблице я не буду в этот раз делать секретом.

Порядок действий: 


  1. Вам понадобится 3 бланка -- по одному для каждой проверяемой работы. Откройте эту ссылку и сделайте себе копии для каждой из трех проверяемых работ. 
  2. Измените права доступа на "доступен всем, у кого есть ссылка".
  3. Откройте таблицу с заданием.
  4. На листе Names находите свою фамилию и узнаете свой ID. 
  5. Открываете соответствующий лист. 
  6. Каждому дается 3 строки: это ответы ваших товарищей, которые нужно проверить. 
  7. В начале каждой строки (колонка "Key") нужно будет ввести ключ таблицы с вашими оценками, его вы найдете в URL (набор символов между "key=" и далее до "#" или "&"). Больше ничего вводить в этом файле не нужно. 
  8. В таблице с заданием есть сводный лист "Total", там видны результаты.
Остальные детали смотрите под катом.

Об оценках

В ведомости вы по каждому вопросу заполняете три оценки, напомню, в задании они были такие: 
  1. Наличие перевода термина и его точность (соответствие общепринятому переводу);
  2. Точность формулировки ответа;
  3. Наличие ссылок на источники (для перевода -- русскоязычные, для объяснения -- англоязычные и русскоязычные).

Для удобства заполнения оценки вводятся целыми числами (1..10, 1..5, суммарно один вопрос может набрать 25), таблица потом их сама сложит и поделит на 100.

Как я уже говорил, это задание для вас является таким же учебным упражнением, как и остальные -- вам нужно научиться объективно оценивать, в том числе работы ваших товарищей. Поэтому приведу примерные критерии, по которым вам стоит ориентироваться при оценке:


  • Вы не можете поставить 0, вы можете не заполнять оценку по данной графе -- тогда она останется равной нулю. 
  • Если вопрос не заполнен, то вы просто не отмечаете ничего, итог будет 0. Если, напирмер, отсутствует перевод, но есть пояснение, то не заполняете первую графу, оценку ставите во второй. И так далее.
  • Чтобы оценить первый критерий (перевод: наличие, точность, общепринятость), вам понадобится а) увидеть перевод, б) понять его, в) убедиться, что именно так и переводят. Несложно догадаться, что каждая следующая задача существенно сложнее предыдущей. Но вы же сами писали те же ответы -- значит, всё это уже проделали. Условно разделим оценку так: наличие - +1 балл, точность +3 балла, соответствие общепринятому +6 баллов.
  • Формулировку ответа можно оценить просто: вам достаточно этого ответа, чтобы объяснить постороннему человеку, что тут имеется в виду и чем оно отличается от соседних 10 терминов? Если ответ просто расшифровывает перевод, то это не больше 3 баллов. Если там дается толковое пояснение, но вы его не поняли -- не больше 7. 
  • Ссылки должны быть, наличие только русскоязычных - 2 балла, только англоязычных - 3 балла, наличие ссылок не по теме -- 1 балл вне зависимости от наличия остальных. Нечего воду лить. 
И так с каждым вопросом в каждой работе. В этот раз не предусмотрена отрицательная оценка, в будущем баллы будут прибавляться не к нулю, а к заметному отрицательному числу -- любителям сдавать пустые работы это поможет собраться с мыслями. 

Что происходит дальше? 

Дальше я смотрю оценки и выборочно проверяю ведомости. Соответственно, проверенные работы получают средний балл от трех проверяющих (каждая работа должна быть проверена трижды), а сами проверяющие получают по умолчанию фиксированный балл за проверку работы. Если были выявлены нарушения, то вместо балла проверяющий получает штраф. 

Сроки

В связи с тем, что все сроки поехали, предлагаю вам закончить эту проверку в пятницу, 1 марта. Итоги подведу на выходных и на следующей после них лекции обсудим результаты эксперимента и сопутствующую этому эксперименту тему. 

Возможные проблемы

Если вдруг заметите, что что-то работает не так, не стесняйтесь, пишите. Я эту считалку лепил не в лучшем своем состоянии и мог где-то закопать ошибки. Заранее извиняюсь. 

34 комментария:

  1. Не получается заполнить поле Key.

    ОтветитьУдалить
    Ответы
    1. Я понял, там прав маловато было. Пошарил всем с auditory.ru.

      Удалить
  2. Пришли мне URL таблицы на почту.

    ОтветитьУдалить
  3. Денис, а что делать, при проверки я вижу термин на английском без перевода?

    ОтветитьУдалить
    Ответы
    1. Видимо, автор не удосужился перевести то, что скопипастил -- так это и оценивай.

      Удалить
    2. Я поставил оценку только за ссылку, в другие поля оценку не ставил. Я считаю это правильно.

      Удалить
    3. Если по другим полям деятельность автора незаметна, то вполне так и есть. Или 0, если совсем нечего оценивать или 1, если не по делу. Сильно картину это не изменит.

      Удалить
    4. Некорректно сформулированное задание.

      Выполняя задание, формулировал толковый словарь, пользуясь которым будет удобно работать мне, поэтому оставлял нужный объём текста оригинала.

      Точность формулировки ответа: 0-0,1;
      Где язык?!
      язык не указан, оригинал для меня является самой точной формулировкой.



      Удалить
    5. Этот комментарий был удален автором.

      Удалить
    6. Субъективность судьи в оценке всегда присутствует =)

      Удалить
  4. Этот комментарий был удален автором.

    ОтветитьУдалить
  5. Давать ли +3 балла за ссылку на глоссарий gartner.com?

    ОтветитьУдалить
    Ответы
    1. Это на тот, из которого взяты вопросы? :)

      Удалить
    2. Да, на него. Технически это ведь англоязычный источник, кое-кто воспользовался условностью.

      Удалить
    3. Ещё хитрость: ссылка на англоязычную Википедию, тут же ссылка на тот же термин в русскоязычной Википедии. По шаблону это +5?

      Удалить
    4. В первом случае не катит -- из него же взято задание. А во втором... ну никакой фантазии :) По шаблону +5 -- это максимум. Ссылка на википедию -- это очень сомнительный максимум.

      Удалить
    5. Видимо, было бы уместным посчитать, что это один источник. В графе ссылки ставлю +3 за один англоязычный сомнительный источник.

      Удалить
  6. Этот комментарий был удален автором.

    ОтветитьУдалить
  7. Денис, при проверке последней работы обратил внимание, что в бланке ответов нет первого вопроса:Application Architecture. Как быть?

    ОтветитьУдалить
    Ответы
    1. Ставить оценки за то, на что есть ответы.

      Удалить
    2. Нет строки для возможности проставления оценки в бланке ДЗ1 - Бланк оценки
      https://docs.google.com/a/2010.auditory.ru/spreadsheet/ccc?key=0AjOOPtXwBq4-dFN1VVk3UEtCLWZyb1ZyYjlmYVNicWc&usp=sharing#gid=2

      Удалить
    3. А ты в расшаренном шаблоне хочешь ставить? Я же написал: сделайте себе по копии на каждую проверяемую работу. Потом ключ этой таблицы вставишь в итоговую.

      Удалить
  8. В копиях бланков проверки заполняю только свой ID, проверяемый ID, три графы оценок по каждому из терминов. Key копирую и вставляю в общий файл. Этого достаточно? (Фамилию в конце копии бланка проверки или что-то ещё писать не надо?)

    ОтветитьУдалить
    Ответы
    1. Да, все правильно. Вместо фамилии как раз ID используется (сейчас он никак не обрабатывается, кстати, но вписать его надо как раз для идентификации автора оценок).

      Удалить
  9. Денис, а таблица Total, пока еще не работает?

    ОтветитьУдалить
    Ответы
    1. Должна работать, дело не в ней. Я посмотрел, там на ваших листах не принимаются ключи -- ImportRange их не кушает, потому в соседней ячейке пишется "введите ключ в ячейке слева", на самом деле там должна показываться оценка, тогда и Total заработает. Убедитесь, что правильно копируете ключ, я проверял же, когда делал, у меня работало. :) Если совсем не получается, пошарьте какую-нибудь форму с оценками, я проверю на вашем примере.

      Удалить
    2. =Iferror(ImportRange(B2;$A$2&"!$D$1");"Введите ключ в ячейке слева") не понял что за диапазон в ImportRange и куда он ведет.
      Я заменил на
      =Iferror(ImportRange(B2;"$E$1");"Введите ключ в ячейке слева"), я увидел оценки у себя в таблице, но нет в Total.

      Удалить
    3. Вроде поправил таблицу Total для своего столбца.

      Удалить
    4. Спасибо. Там небось формула сбилась? Вы, главное, свои заполните, я собиру уж как-нибудь :)

      Удалить
    5. Действительно, не работает Total. Проверил ключи - соответствуют. Свои бланки заполнил.

      Удалить
    6. Да, там была ошибка. Я изначально хотел каждому по одному файлу с 3 листами сделать, но решил, что переименовывать листы -- слишком творческая задача, а формулу обратно не поправил. Сейчас поправил, большинство работает нормально, кроме Ильичева и Корбут -- там, похоже, права доступа закрыты.

      Удалить
    7. Этот комментарий был удален автором.

      Удалить
    8. Права доступа поправил.

      Удалить
  10. И здесь напишу: товарищи Капитонов, Музыка, Тюхов пока не заполнили таблицу с результатами. Вас жать?

    ОтветитьУдалить