London, United Kingdom
info@telesens.co.uk
+44 20 3432 8178

Эта статья — рассказ о редкой профессии, которая в современном мире становится все более актуальной, и в которой Искусственный Интеллект уже сейчас может заменить человека. Заинтригованы? Тогда попробуйте ответить на вопрос: Кто такой “проктор”? Если вам это удалось, значит вы недавно сдавали серьезный экзамен или проходили сертификацию. Для остальных давайте разбираться, что такое прокторинг и зачем он нужен?

Читаем определение: “Proctor — a person whose job is to watch people taking an exam in order to check that they do not cheat” (Cambridge Dictionary), и сразу все становится ясно. Экзамены сдавал каждый, и все помнят преподавателя, внимательно наблюдающего за аудиторией, и собственный опыт использования, скажем мягко, дополнительных источников информации. Но недоумение остается — а стоит ли вообще говорить об этом?

Оказывается, стоит! Достаточно узнать, что речь идет о рынке емкостью в десятки миллиардов долларов сегодня, и с перспективой взрывного роста в ближайшем будущем. Стремительный рост онлайн обучения начался примерно 10 лет назад, а последние события, связанные со всеобщим карантином, еще сильнее подстегнули этот процесс. 

Одной из главных проблем дистанционного обучения является признание действительными (или недействительными) результатов испытания (экзамена, теста, контрольной работы), выполненного удаленно. И тут на помощь могут прийти современные технологии.

Самый очевидный способ — “контролируемое окружение”, когда организация проводит тестирование в собственном (или дружественном) помещении, оснащенном всеми необходимыми техническими средствами и людьми, наблюдающими за ходом процесса (непосредственно в аудитории и/или через средства аудиовизуального контроля). Так проходил, например, первый онлайн-экзамен IFOM, который студенты-медики сдавали в 2019 году в аудиториях, часть из которых предоставили украинские ИТ компании.

Следующий шаг в направлении разделения “владельца” экзамена и “контролера” за его проведением — создание авторизованных сертификационных центров, которые должны удовлетворять определенным стандартам как по наличию оборудования, так и по процессу тестирования. Примером могут служить компания Microsoft, предоставляющая право  проводить сертификацию в Украине своим партнерам.

Оба этих варианта требуют присутствия испытуемых в центре тестирования, и поэтому являются дорогими и сложными с организационной точки зрения — например, для иностранных студентов, которым закрыт въезд в страну из-за карантина. Хорошим решением в этом случае была бы возможность сдавать экзамен онлайн из любого места, но при этом добавляются и безграничные возможности для мошенничества. 

Если при проведении обычных экзаменов с этим еще можно смириться и принять некоторые простые меры защиты (например, жестко ограничить время на ответ), то в так называемом тестировании высоких ставок (high-stakes examinations), когда от результатов испытания зависит судьба человека, решение должно быть основано на фактах, которые можно проверить и доказать юридически. И именно это является сферой применения прокторинга.

В общем случае, онлайн-прокторинг должен решать следующие задачи:

  • Однозначная идентификация личности испытуемого
  • Контроль поведения испытуемого и его соответствие событиям в системе
  • Защита от подмены испытуемого в ходе испытания
  • Защита от голосовых подсказок другого человека 
  • Защита от использования дополнительных устройств
  • Защита от использования сторонних приложений и материалов
  • Защита от удаленной работы на компьютере испытуемого  

Эти задачи могут решаться различными способами, начиная от непосредственного наблюдения за ходом испытания через веб-камеры и средства контроля за компьютером испытуемого (“живой” прокторинг),  до полностью автоматизированного процесса, когда поведение испытуемого анализируют специально обученные модели Искусственного Интеллекта, отслеживающие, например, синхронность движения глаз и нажатия клавиш на клавиатуре.

Между этими крайностями существует множество промежуточных вариантов, когда автоматизируются различные типы проверок. Также наблюдение может проводиться в реальном времени (синхронно с испытанием) и асинхронно, когда записи с экзамена анализируются пост-фактум. 

“Живой” прокторинг наиболее понятен и психологически комфортен для испытуемых, поскольку они могут обратиться с вопросом к проктору и быстро урегулировать нештатные ситуации. Так же он дает наиболее точный результат, но другой стороны — этот вариант и самый дорогой, ведь в случае массового тестирования требуется большой штат специально обученных прокторов.

Любое автоматическое наблюдение, особенно асинхронное, не позволяет предотвратить нарушения, а только фиксировать их, после чего можно либо прервать испытание, либо аннулировать его результаты.   И то и другое чревато множеством апелляций, которые в большинстве случаев будут трактоваться в пользу испытуемого, так как доказать нарушение по видеозаписи достаточно сложно.

Несмотря на все сложности, онлайн-тестирование и профессиональная сертификация является мировым трендом, и COVID 19 только ускорил ускорился переход тестирования высоких ставок  в виртуальную среду. На май 2020 году центры bar exam (дающий юристам право работы по специальности) во всех штатах США перешли на онлайн технологию. Онлайн тестирование проводится для многих госслужащих, в частности в Госдепартамент США. 

В мире существуют платформы онлайн тестирования с автоматическим прокторингом (ProProctor, TestInvite, ProctorEdu), которые предоставляют услуги по модели SaaS и могут быть интегрированы практически с любой системой онлайн обучения. Однако стоимость использования этих платформ высока, а круг решаемых ими задач сводится в основном к аутентификации испытуемого и техническому контролю за его компьютером. В меньшей степени решены задачи распознавания нежелательного поведения, и это как раз та область, где ожидается прорыв в течение ближайших нескольких лет.

Автоматический прокторинг — не единственный вызов при создании систем онлайн тестирования. О других аспектах — выборе экзаменационных заданий и распределенном реестре для хранения результатов читайте в наших следующих публикациях.

Архивы