Тести

Тест, який перевіряє система

Тест перевіряється за правильними відповідями, які ви позначили в самому тесті: система звіряє з ними відповіді студента. Студент позначає варіанти просто в порталі (або на платформі вашої школи) і отримує рецензію без очікування на викладача: бал, вердикт і пояснення до кожної неправильної відповіді.

Пояснення система пише сама — з питань і ваших позначок. До будь-якого питання ви можете написати власне пояснення, і студент побачить саме його.

Тест живе в системі у двох видах: чернетка, яку ви правите, і опубліковані версії, які бачать студенти. Поки ви не опублікували тест уперше, студенти його не бачать зовсім. Чернетку можна перевірити до публікації: система напише пояснення до питань і скаже, у яких позначках сумнівається, а студенти нічого з цього не побачать (див. Перевірити моделлю).

Тест пишуть, перевіряють і публікують у редакторі тесту програми автора.

Редактор тесту

У редакторі тесту ви пишете, перевіряєте й публікуєте тест просто в програмі автора — без YAML і без запитів. Файл YAML лишається, щоб завантажити тест готовим чи вивантажити його, а запити до API, описані на сторінці Тести й критерії через API, — довідка для платформ, які працюють із тестами без програми автора.

Редактор тесту. Угорі — назва, стан тесту й дії; нижче — назва й поріг заліку, потім картки питань. Чернетку перевірено моделлю: біля кожного питання — пояснення моделі, а в позначках другого питання модель сумнівається.

Відкрити тест чи почати новий

• Наявний тест. У дереві курсу оберіть розділ і в рядку тесту натисніть «Відкрити тест». У дереві тест зветься своєю назвою.
• Новий тест. Натисніть «Новий тест» у меню розділу (правою кнопкою миші на картці розділу) чи однойменну кнопку в панелі розділу. Редактор відкриється порожнім: впишіть назву тесту й натисніть «Зберегти чернетку». Тест з'явиться в розділі: «Тест створено. Студенти не побачать його, доки ви його не опублікуєте.»
• Стрілка ліворуч від назви («До курсу») повертає до курсу.

Назва, поріг і питання

Угорі — «Назва тесту» й «Поріг заліку, %». Під назвою тест бачать студенти; нова назва діє одразу після збереження, без публікації. Поріг — необов'язковий: із ним студент побачить «зараховано» чи «не зараховано», без нього — лише бал (див. Як рахується бал).

Нижче — картка на кожне питання: «Текст питання» і «Варіанти відповіді», біля кожного варіанта — прапорець «правильна». Позначте всі правильні варіанти: їх може бути кілька, і тоді напишіть у тексті питання, скільки відповідей обрати. «Додати питання» й «Додати варіант» додають нове, стрілки вгору й униз переміщують питання чи варіант, кошик прибирає. Номери питань і літери варіантів редактор ставить сам і після переміщення оновлює.

«Додати власне пояснення» відкриває під питанням поле «Власне пояснення». Написати його можна одразу, до перевірки: студент побачить його замість пояснення моделі — навіть коли модель сумнівається. «Прибрати власне пояснення» прибирає поле.

Межі ті самі, що й у файлі: до 200 питань і до 26 варіантів у питанні; текст питання й пояснення — до 2 000 знаків, текст варіанта — до 500.

Зберегти чернетку

«Зберегти чернетку» зберігає тест таким, яким він є, — і незавершеним. Автозбереження немає: поки ви не збережете, біля назви стоїть «Є незбережені зміни», а спроба піти зі сторінки спитає «Піти без збереження?». Після збереження — «Усі зміни збережено».

• Жовті підказки показують, що лишилось завершити: «Впишіть текст питання.», «Впишіть текст варіанта.», «Додайте варіанти: потрібно щонайменше два.», «Позначте хоча б один правильний варіант.». Це не помилки: чернетка з ними зберігається. Перевірити й опублікувати тест можна, коли жовтих підказок не лишиться.
• Червоні помилки — те, чого зберегти не можна: порожня чи задовга назва, поріг, що не є цілим числом від 1 до 100, задовгий текст. Помилка стоїть біля свого поля, чернетка не зберігається, а вгорі — «Чернетку не збережено: виправте позначене червоним нижче.». Якщо текст не прийняла сама система, її відмова стоїть біля того питання й варіанта, які вона назвала.

Перевірити моделлю

«Перевірити моделлю» замовляє для збереженої чернетки пояснення до кожного питання й сумніви моделі щодо ваших позначок. Студенти нічого з цього не бачать: перевірка нічого не публікує. Коли кнопка недоступна, поруч сказано чому: «Спершу збережіть тест.», «Спершу збережіть зміни.», «Щоб перевірити чи опублікувати тест, завершіть позначені місця.» чи «Чернетку вже перевірено.».

Скільки це коштує: перевірка нової чи зміненої чернетки — одне написання пояснень моделлю, стільки ж, скільки коштувала б публікація без перевірки. Перевірка незміненої чернетки, уже перевіреної чи опублікованої, нічого не коштує. Зміна порогу чи власних пояснень перевірки не скидає.

Після натискання — «Перевірку замовлено: пояснення й сумніви моделі з'являться біля питань за хвилину-дві.» і позначка «Перевірка йде…». Коли пояснення готові, позначка стає «Перевірено моделлю»:

• біля кожного питання — блок «Пояснення моделі»;
• питання, у позначках якого модель сумнівається, отримує позначку «Сумнів моделі» й підказку, що робити: перевірте позначки; якщо вони правильні, напишіть власне пояснення (див. Сумнів);
• «Взяти текст моделі за основу» копіює пояснення моделі у ваше власне пояснення, щоб ви його поправили; пояснення моделі лишається таким, як було.

Якщо після перевірки змінити питання, варіанти чи позначки, редактор попередить: «Ви змінили питання, варіанти чи позначки — після збереження тест треба буде перевірити знову.» Якщо перевірка не вдалася — «Перевірка не вдалася»: натисніть «Перевірити моделлю» ще раз.

Як бачить студент

Перемикач «Правка» · «Як бачить студент» показує тест так, як його побачать студенти після публікації: питання з літерами варіантів, без позначок правильних і без пояснень.

Позначки біля назви кажуть, де тест: «Новий тест» — ще не збережений, «Не опубліковано» — студенти його не бачать, «Опубліковано» — бачать. «Є неопубліковані зміни» — чернетка відрізняється від версії, яку бачать студенти: вони й далі бачать попередню версію, поки ви не опублікуєте нову.

«Як бачить студент». Біля назви — «Опубліковано» й «Є неопубліковані зміни»: студенти бачать попередню версію, доки ви не опублікуєте цю.

Опублікувати

«Опублікувати» спершу питає «Опублікувати тест?» і каже, що зміниться: перша публікація — «Тест побачать студенти курсу.», нова версія — «Студенти побачать нову версію тесту. Спроби, які вже зроблено, лишаться з тими оцінками, які отримали.»

• Перевірену чернетку публікують без доплати: «Пояснення моделі вже готові.»
• Неперевірену чернетку теж можна опублікувати — вікно попереджає, що ви ще не бачили пояснень і сумнівів моделі: пояснення з'являться за кілька хвилин після публікації, і хто пройде тест раніше, отримає оцінку без них. Публікація сама замовить пояснення.

Після публікації — «Опубліковано: студенти бачать цю версію тесту.» Студенти одразу бачать і складають нову версію; що саме створює нову версію, див. Що створює нову версію.

Публікація неперевіреної чернетки: вікно попереджає, що пояснення моделі з'являться вже після публікації.

YAML і приховування

• «Вивантажити YAML» зберігає чернетку разом із назвою у файл YAML. Файл несе правильні відповіді — не давайте його студентам.
• «Замінити з YAML…» замінює чернетку вмістом файла після підтвердження «Замінити чернетку файлом?». Опублікована версія не зміниться, доки ви не опублікуєте тест знову. Формат файла — див. Як записати тест.
• «Приховати тест» після підтвердження «Приховати тест?» прибирає тест із курсу для студентів; спроби, які вже зроблено, збережуться. Скасувати приховування в програмі автора не можна.

Власні пояснення

Студент, який відповів на питання неправильно, бачить правильний варіант і пояснення. Якщо ви написали власне пояснення до цього питання (explanation), студент бачить саме його, а не пояснення системи — навіть коли система має сумнів щодо цього питання.

Власні пояснення показуються так, як ви їх написали, і вважаються написаними мовою курсу: якщо студент читає рецензію іншою мовою, рецензія скаже, що пояснення подано мовою курсу.

Сумнів

Пишучи пояснення, система може засумніватися у вашій позначці — наприклад, коли позначений варіант, на її думку, неправильний. Таке питання отримує позначку «Сумнів моделі» (див. Перевірити моделлю).

Сумнів не змінює балу: відповіді студентів і далі перевіряються за вашими позначками. Але студент, який відповів на таке питання неправильно, не побачить пояснення системи — лише «Неправильно», правильний варіант і примітку, що пояснення до цього питання немає. Ваше власне пояснення він побачить.

Що робити: перевірте позначки цього питання. Якщо позначка хибна — виправте її в чернетці й опублікуйте. Якщо правильна — допишіть до питання власне пояснення й опублікуйте: пояснення системи заново не пишуться. Сумніви зручно побачити ще до публікації, перевіривши чернетку (див. Перевірити моделлю): так ви встигнете виправити позначку чи дописати пояснення, перш ніж тест побачать студенти.

Як рахується бал

• Кожне питання важить однаково, хоч би скільки в ньому варіантів.
• Питання зараховане лише за точного збігу: студент позначив рівно ті варіанти, які ви позначили правильними, — не більше й не менше. Зайвий позначений варіант, як і пропущений правильний, робить питання незарахованим. Питання без відповіді дає нуль.
• Бал — частка зарахованих питань у відсотках, округлена вниз до цілого: 6 питань із 7 — це 85, а не 86.
• Залік — бал, не менший за поріг (pass_threshold). Без порогу вердикту немає: рецензія покаже лише бал.

Приклад — тест із 7 питань, поріг 80:

зараховано питань	бал	вердикт
7 із 7	100	зараховано
6 із 7	85	зараховано
5 із 7	71	не зараховано

Поріг зручно ставити, рахуючи, скільки питань студент може пропустити. При 7 питаннях пороги 80 і 85 дають однаковий результат: тест зараховано з 6 правильними відповідями й не зараховано з 5.

Що створює нову версію

• Змінено питання, варіанти чи позначки правильності — нова версія з новими поясненнями системи. Якщо ви перевірили цю чернетку, пояснення вже написано, і публікація бере їх готовими; якщо ні — система пише їх після публікації.
• Змінено лише поріг заліку чи лише ваші власні пояснення — нова версія, але студент бачить ті самі питання й варіанти, а пояснення системи заново не пишуться.
• Чернетку повернуто до давнішого стану — наприклад, скасовано правку, — нова версія, і саме вона стає чинною. Пояснення, які система вже написала для того стану, служать знову.
• Та сама чернетка, опублікована вдруге, нічого не змінює.

Рецензії на спроби, зроблені до публікації, лишаються такими, як були. Нову спробу перевіряють за версією, чинною тієї миті, коли студент надіслав відповіді.

Студент, який відкрив тест до публікації, а відповідає після неї: якщо змінилися питання чи варіанти, відповіді на стару версію не приймаються — студент перечитує тест і відповідає знову; якщо змінилися лише позначки, поріг чи ваші пояснення, відповіді приймаються й перевіряються за новою версією.

Як записати тест

Тест записується у форматі YAML — простому тексті, де кожне поле стоїть на своєму рядку, а вкладеність показують відступи з пробілів. Приклад:

title: Робота з агентом — тест до уроку 3
pass_threshold: 80
questions:
  - text: Що таке контекстне вікно моделі?
    options:
      - text: Вікно редактора, у якому агент показує зміни
        correct: false
      - text: Обсяг тексту, який модель бачить за один виклик
        correct: true
      - text: Час, протягом якого сесія агента лишається активною
        correct: false
  - text: Що варто зробити після кожної зміни, яку зробив агент? Оберіть дві відповіді.
    options:
      - text: Запустити тести
        correct: true
      - text: Видалити історію змін
        correct: false
      - text: Переглянути, що саме змінилося
        correct: true
    explanation: Тести показують, чи не зламала зміна те, що вже працювало.

поле	обов'язкове	що це
title	ні	назва тесту, яку бачать студенти, до 200 знаків; без неї тест, завантажений файлом, дістає ім'я файла без розширення
pass_threshold	ні	поріг заліку — ціле число відсотків від 1 до 100: яку частку питань треба відповісти правильно, щоб тест було зараховано (див. Як рахується бал); без порогу рецензія покаже бал, але не скаже «зараховано» чи «не зараховано»
questions	так	питання, до 200; щоб перевірити й опублікувати тест — хоча б одне
text питання	так	текст питання, до 2 000 знаків
options	так	варіанти відповіді, до 26; щоб перевірити й опублікувати тест — хоча б 2 в кожному питанні
text варіанта	так	текст варіанта, до 500 знаків
correct	так	true — варіант правильний, false — неправильний; щоб перевірити й опублікувати тест, у кожному питанні хоча б один true
explanation	ні	ваше власне пояснення до питання, до 2 000 знаків; порожнє — те саме, що його немає

• Номерів і літер не пишіть. Система нумерує питання й ставить літери варіантів сама, за порядком: для курсу українською — а, б, в…, для решти — a, b, c….
• Будь-яке інше поле — помилка, як і порожня назва. Пробіли на початку й у кінці тексту система прибирає.
• Незавершену чернетку можна зберегти: без питань (questions: []), з питанням без варіантів чи з одним, без жодного correct: true, з порожнім текстом питання чи варіанта. Поля questions, text, options і correct пишуться завжди — порожнім може бути лише значення, а correct — лише true чи false. Перевірити й опублікувати можна лише завершений тест: редактор підкаже жовтими підказками, що ще лишилось завершити (див. Зберегти чернетку).
• Текст лишається текстом: 8, yes чи null у полі text система читає саме як текст. Але якщо текст містить двокрапку чи знак # або починається не з літери чи цифри, візьміть його в подвійні лапки, а лапки всередині такого тексту пишіть як \": інакше YAML прочитає його по-своєму — наприклад, усе після # сприйме як примітку й відкине.
• Текст на кілька рядків почніть знаком |, а рядки запишіть нижче з додатковим відступом.
• Файл чи запит — не більше 256 КБ.

Кілька правильних відповідей

Питання може мати кілька правильних варіантів — позначте кожен correct: true. Форма ставить прапорці біля всіх варіантів у кожному питанні, тож скільки варіантів позначати, студент дізнається лише з тексту питання. Напишіть це словами: «Оберіть дві відповіді», «Позначте всі правильні».

Питання зараховується, лише коли позначено рівно всі правильні варіанти — не більше й не менше. Питання без жодної позначки рахується неправильним.