Как устроить систему из оркестратора и агентов-исполнителей и как оценивать её работу?
- Что такое мультиагентная система?
- Когда нужен оркестратор с подагентами?
Оркестратор разбивает задачу на подзадачи и раздаёт их исполнителям — агентам с узким набором инструментов и своим контекстом, — затем собирает результаты. Схема оправдана, когда подзадачи независимы (можно параллельно) или требуют разных инструментов и прав; иначе один агент дешевле и надёжнее. Оценивают по итоговому результату задачи, а разбирают — по трассам каждого шага.
- Исполнитель получает чёткое задание и возвращает короткий структурированный итог, а не весь свой контекст
- Стоимость растёт кратно: каждый исполнитель — отдельные вызовы модели
- Ограничения: глубина вложенности, число исполнителей, бюджет токенов и времени на задачу
А ещё Частая ошибка — делить на агентов то, что надёжнее сделать фиксированным конвейером
Подробно
Когда это нужно. Исследовательская задача («собери обзор рынка по десяти компаниям»), где подзадачи независимы и выполняются параллельно; задача с разными правами (один исполнитель читает недоверенные документы, другой выполняет действия); задача, где контекст одного агента переполняется.
Как устроить:
- оркестратор планирует, раздаёт задания и решает, достаточно ли результатов;
- у исполнителя — своё задание, свой набор инструментов и лимиты;
- результат исполнителя — сжатый итог по схеме, чтобы не переполнить контекст оркестратора;
- общее состояние (найденное, решения) — во внешнем хранилище.
Оценка. Метрика — успешность всей задачи на наборе задач с эталонными результатами или проверкой судьёй. Дополнительно — стоимость и время на задачу, число шагов. Отказы разбирают по трассам: плохое планирование, неверное задание исполнителю, ошибка инструмента, потеря информации при сжатии итога. Системную причину исправляют и добавляют задачу в набор.
Что хотят услышать
- Когда мультиагентность оправдана, а когда нет.
- Изоляция контекста и прав исполнителей, сжатые итоги.
- Лимиты и стоимость.
- Оценка по итоговому результату и разбор по трассам.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Делить на агентов любую задачу — так каждый шаг становится надёжнее
- ✗Оценивать каждого исполнителя отдельно, итог задачи не важен
- ✗Передавать оркестратору полный контекст каждого исполнителя, чтобы ничего не потерять
- ✓Исполнители с узкими инструментами возвращают итоги; оценка — по задаче
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.