В первых историях Миша понял, что агент — это не волшебник, а помощник, а ответственность за его решения всегда остаётся за человеком. Потом он научился ставить понятные задачи, потому что даже очень умный агент не умеет угадывать, что мы имели в виду. Затем выяснил, что предупреждение — это ещё не факт: любой сигнал сначала нужно проверить, а уже потом действовать.
Но остаётся ещё один важный вопрос.
Даже если агент понимает задачу и умеет работать аккуратно, кто решает, что он может делать сам, а где должен остановиться и спросить человека?
Без таких границ помощник неизбежно начинает угадывать. Он может отправить письмо, удалить файл или изменить общий план — ведь с его точки зрения он просто помогает и экономит время. Но не каждое действие можно доверить автоматике.
В пятой истории Миша придумывает для Ботика простое правило: зелёная, жёлтая и красная зоны. Одни действия помощник выполняет самостоятельно, перед другими сначала спрашивает, а некоторые вообще не имеет права делать без человека.
Потому что хороший помощник — не тот, кто делает всё сам. Хороший помощник точно знает, где заканчивается его самостоятельность.
Дома у Миши на кухне висела простая система правил.
Можно самому:
- сделать бутерброд;
- налить чай;
- разогреть еду в микроволновке.
Только с вопросом:
- пользоваться плитой;
- резать большим ножом;
- доставать форму для пирога, которая падает на людей как метеорит.
Нельзя:
- включать духовку без взрослых;
- устраивать кулинарные эксперименты с надписью «а что будет, если…».
Миша смотрел на этот лист и вдруг понял, что с Ботиком должно быть точно так же.
Они сели и разделили все действия на три зоны.
Зелёная — Ботик может сам:
- ставить напоминания;
- собирать материалы;
- обновлять личный план Миши;
- проверять, не забыта ли задача.
Жёлтая — Ботик сначала спрашивает:
- отправка сообщений команде;
- изменения в общем плане;
- перенос сроков;
- выбор, какую версию файла считать основной.
Красная — без Миши нельзя вообще:
- писать учителю;
- отправлять готовые материалы от имени команды;
- удалять файлы;
- обещать что-либо за Мишу, Катю или Серёжу.
Через день выяснилось, что это было не перестраховкой, а спасением.
Ботик увидел черновик письма учителю и бодро сообщил:
— Текст выглядит завершённым. Я могу отправить его сейчас, чтобы сэкономить время.
— Не можешь.
— Но письмо грамматически корректно.
— Зато внутри него три недописанные мысли, одна опечатка в фамилии учительницы и фраза «мы почти всё сделали, но ещё не очень». Это не должно увидеть ни одно живое существо.
— Принято, — сказал Ботик. — Красная зона подтверждена практикой.
Что понял Миша
Если заранее не определить, что помощнику можно, что нельзя и когда он должен спрашивать, он начнёт угадывать сам. А помощник, который угадывает границы автономии, — это уже не помощь, а приключение. Обычно неприятное.