Эффективность ИИ: как проверить, действительно ли он ускоряет работу

Когда помощник выдаёт текст или код за минуту, легко почувствовать ускорение. Потом приходится уточнять требования, исправлять ошибки и собирать части вместе. В другой задаче он действительно снимает большую часть рутины. Поэтому полезнее измерить конкретный процесс, чем спорить о нейросетях вообще.

Почему ощущения стоит проверять

Исследовательская группа METR в 2025 году сравнивала, как опытные разработчики решают задачи в знакомых open‑source проектах с ИИ и без него. Тогда разработчики с ИИ работали медленнее, чем ожидали сами. Сейчас METR называет эти результаты устаревшими. Исследование METR, 10.07.2025.

24 февраля 2026 года METR опубликовала итоги повторного эксперимента и сама назвала их ненадёжной оценкой. Многие разработчики отказывались работать без ИИ, часть задач не попала в выборку по той же причине, а у тех, кто запускает несколько ИИ‑агентов параллельно, время уже трудно измерить. По оценке авторов, в начале 2026 года ИИ, вероятно, ускоряет разработчиков сильнее, чем годом раньше, но данных о величине ускорения мало. Обновление METR, 24.02.2026.

Выберите одну повторяющуюся задачу

Для внутренней проверки подойдёт подготовка стандартного предложения, разбор входящего письма или поиск ответа в согласованных инструкциях. Заранее определите результат и критерии качества. Иначе без ИИ человек сделает короткую версию, а с ИИ расширенную, и сравнение потеряет смысл.

Не выбирайте только удобные для помощника примеры. Включите типичные сложные случаи: неполные данные, противоречие в документах, запрос вне темы. Распределение таких случаев должно быть примерно одинаковым в сравниваемых группах.

Что записывать по каждой попытке

Сделайте простой журнал:

• тип и сложность задачи;
• инструмент, версия и дата;
• активное время сотрудника;
• общее время до готовности;
• время проверки и исправлений;
• принятый результат и найденные ошибки;
• прямые расходы на использование.

Активное время и календарный срок различаются. Пока помощник работает, человек может выполнять другую задачу. Эти минуты нельзя одновременно полностью записывать как ручную работу в двух проектах. Но ожидание всё ещё может задерживать передачу результата клиенту.

Как организовать честное сравнение

Лучше сравнивать похожие, но разные задания. Повтор того же задания без ИИ после готового ответа даёт преимущество за счёт уже полученного знания. По возможности распределяйте задания заранее и чередуйте условия, чтобы не спутать эффект инструмента с опытом сотрудника.

Проверяющий использует одинаковые критерии и, если возможно, не знает, как подготовлен результат. Отдельно фиксируйте незавершённые попытки. Исключение всех неудач делает оценку неоправданно оптимистичной.

Небольшой внутренний замер не становится научным исследованием. Он помогает принять локальное решение. Если задач мало или разброс велик, лучше показать диапазон наблюдений и продолжить сбор. Точный процент для всего бизнеса в таком случае вводит в заблуждение.

Как считать время и деньги

Учебный пример: без ИИ задача занимала 60 минут, с ИИ подготовка заняла 20, проверка 15, исправления 10. Итого 45 минут, активное время сократилось на 25%. Тот же результат можно записать как ускорение примерно в 1,33 раза (60 / 45). Расчёт условный, замера TRIKE за ним нет.

Для бюджета умножьте сохранённое активное время на согласованную стоимость часа и вычтите расходы на инструмент и сопровождение. Разовые затраты на запуск учитывайте отдельно. Освободившееся время даёт команде запас для другой работы. Денежные расходы уменьшатся, только если реально изменятся затраты или объём работы.

Когда считать пилот полезным

До запуска договоритесь, какие ошибки недопустимы и какую задачу вы хотите улучшить. Быстрее не всегда лучше: сокращение проверки ценой пропущенных обязательств может ухудшить результат. Возможна и другая польза: качество выросло при том же времени, но это нужно измерять отдельно.

Собственного завершённого эксперимента TRIKE в этой статье нет. Описана методика для будущей проверки. Начать можно с прототипа предложения: определить одинаковый состав документа, критерии приёмки и отдельно замерить подготовку с проверкой.

Смежные разборы: Разработка с ИИ: где заканчиваются самостоятельные возможности; Обоснование повышения цены: хочется понимать, за что платишь.