Как мы проверяем тренеров ИИ: пять этапов и испытательный срок
Почему дешёвые проверки идут первыми, почему последние два этапа ведёт человек и что происходит, когда качество падает.
Сначала — дешёвые проверки
Регистрация начинается с самодекларации резидентства, проверки IP и проверки устройства и телефона. Затем — тест на родном языке и тест навыков, оба автоматические и бесплатные для кандидата.
Пройдя эти три этапа, человек получает Tier 1 — его мы не продаём. Платная проверка личности идёт следом, поэтому мы платим за неё только для тех, кто уже показал, что справляется с работой.
Последние два этапа ведёт человек
Четвёртый этап — проверка документа и живого присутствия, затем повторный тест на новых заданиях с записью камеры и экрана. Пятый — пробное задание с записью: 20 минут работы при включённой камере и записи экрана, затем 2-минутное устное объяснение на языке кандидата. Оценку ставит проверяющий-носитель.
Сама по себе запись теста не мешает пользоваться ИИ на телефоне. Но когда человек объясняет свои решения вслух, на своём языке, схитрить становится гораздо труднее.
Испытательный срок на реальной работе
Tier 2 — это уровень, который нанимают клиенты. Первые 10 оплачиваемых часов каждого исполнителя на новом проекте проверяются дважды. Для Tier 3 нужно 200+ оплаченных часов в управляемых командах и QA-оценка от 92%.
Одна оценка — одни правила
QA-оценка — это точность исполнителя на эталонных заданиях за последние 30 дней. Ниже 85% два рабочих дня подряд — пауза и оплачиваемая перекалибровка; ниже 85% через две недели — понижение уровня и снятие с проекта.
Никого не блокируют только по автоматическому сигналу, а любое решение можно обжаловать в течение 14 дней у другого проверяющего.