← ЭкспертизаОсновы

Что ИИ не должен решать за человека

О возможностях ИИ написано достаточно. Гораздо реже обсуждают границы — а именно они определяют, будет ли компания пользоваться системой через год или тихо забросит её. Разбираем, где ИИ помогает, где мешает и почему в наших проектах решение всегда остаётся за человеком.

6 мин чтенияСобственникам · Руководителям · Юридической службе
Разделы материала — 4
  1. 01Правило, с которого мы начинаем разговор
  2. 02Четыре области, куда мы не идём
  3. 03Где граница проходит на практике
  4. 04Что делать, если система ошиблась

Правило, с которого мы начинаем разговор

Платформа готовит проект решения. Решение принимает человек. Это не оговорка мелким шрифтом и не временное ограничение до появления моделей получше — это принцип, заложенный в продукт сознательно.

Причина простая: ответственность нельзя делегировать программе. Если наряд‑допуск подписан, отвечает подписавший. Если договор согласован, отвечает согласовавший. Система может подготовить документ за минуту вместо часа, найти противоречие, напомнить о просроченной редакции — но подписи она не ставит.

Четыре области, куда мы не идём

  1. Юридические заключения. Система найдёт нужный пункт договора и покажет цепочку редакций, но вывод «правомерно или нет» делает юрист.
  2. Медицинские выводы. Работа с медицинскими документами — это работа с текстом и структурой, а не постановка диагнозов.
  3. Идентификация людей по голосу и лицу. Голосовой ввод у нас не определяет, кто говорит: запись не является биометрией, аудио удаляется сразу после расшифровки. Это решение принято ради того, чтобы проект оставался в понятном правовом поле.
  4. Автоматические действия с деньгами и обязательствами. Счёт может быть подготовлен, платёж — нет.

Где граница проходит на практике

Полезно разделять три типа задач.

Найти и показатьполностью на системе: поиск по смыслу, сверка редакций, подборка связанных документов
Подготовить проектна системе, с проверкой человеком: наряд, отчёт, письмо, презентация по шаблону компании
Принять решениетолько человек: утверждение, подпись, отправка клиенту, действие с последствиями

Такое разделение звучит скучно, но именно оно определяет, приживётся ли система. Там, где ИИ пытались поставить на третью строку, всё заканчивалось одинаково: первая же ошибка обнулила доверие ко всей системе, включая первые две строки, где она работала отлично.

Что делать, если система ошиблась

Ошибку видно сразу, потому что под каждым ответом есть источник. Открыли документ, увидели, что фрагмент подобран не тот, — сообщили. Это обычная работа сопровождения: разбивка по смыслу правится, и такой класс вопросов закрывается.

Гораздо опаснее ситуация, когда источника нет. Ответ без ссылки проверить нельзя ни быстро, ни медленно — остаётся только верить. Поэтому мы не делаем интерфейсов, в которых ответ приходит без указания, откуда он взят.

Простая проверка при выборе подрядчика: попросите показать, как выглядит ответ с источником. Если источника в интерфейсе нет — вам предлагают доверие вместо инструмента.

Коротко
  • Платформа готовит проект решения, решение принимает человек — это принцип, а не оговорка
  • Юридические и медицинские выводы, идентификация по голосу и лицу, действия с деньгами — вне продукта
  • Найти и показать — на системе; подготовить — с проверкой; решить — только человек
  • Ответ без ссылки на источник проверить невозможно, поэтому мы такие интерфейсы не делаем
По теме

Направления, о которых речь

Читайте дальше

2 материала
Следующий шаг
Проверим это на ваших документах

Статья — общий разбор. Демо на вашей отрасли за 3–5 рабочих дней покажет, как оно работает именно у вас. Бесплатно и до всяких обязательств.