Обмеження одного AI
Більшість підприємств починає свою справу з AI з одного чат-бота, тобто асистента загального призначення, який повинен обслуговувати все, від підтримки клієнта до аналізу даних. Він працює добре з простими питаннями та відповідями, але коли вам потрібно специфічне для області розуміння, відповідність нормативним вимогам чи оркестрування між системами, модель "один для усього" перестає бути достатньою.
Фундаментальною проблемою є контекст. Одна модель повинна одночасно орієнтуватися у фінансових нормативах, процедурах DevOps, політиках HR та комунікації з клієнтами, все в одному контекстному вікні. Результатом є мілкі відповіді, вигадані процедури та відсутність відповідальності, коли щось піде не так.
Парадигма багатокомпонентного підходу
У ESKOM AI ми обрали інший підхід, створюючи нашу багатокомпонентну платформу. Замість одного всезнаючого чат-бота, ми побудували мережу десятків спеціалізованих агентів AI, кожен з яких має чітко визначену роль, набір інструментів та базу знань. Асистент керівництва керує календарем та сортуванням пошти CEO. Фінансовий агент проводить бюджетний аналіз. Технічний агент проектує архітектурні рішення. Кожен агент є експертом у своїй галузі.
Це не просто організаційна косметика. Кожен агент має свій системний промпт, пам'ять, права доступу до інструментів та пороги якості. Коли на поштову скриньку CEO потрапляє електронний лист щодо оновлення контракту, система не просить загального LLM про вирішення проблеми, а направляє завдання до відповідного спеціаліста, який уже розуміє контекст.
Оркестрування: найскладніша частина
Створення окремих агентів відносно просте. Правдивим інженерним викликом є оркестрація: вирішення питання, який агент обслуговує завдання, як агенти взаємодіють при складних потоках і як підтримувати цілісність у всьому ланцюзі. Наша платформа поєднує перевірені фреймворки оркестрації агентів, керуючи:
- Класифікацією намірів: автоматичне направлення завдань до відповідного спеціаліста
- Багатоцільовими потоками: поєднання агентів у складні процеси (наприклад, перегляд юридичної документації → фінансовий аналіз → підсумування для керівництва)
- Вирішенням конфліктів: обробка випадків, коли агенти мають перекриваючі компетенції
- Самонавчанням: агенти вдосконалюються завдяки епізодичній пам'яті та оптимізації запитів на основі результатів
Реальні результати виробництва
Після 10 фаз розвитку та тисяч автоматизованих тестів, що охоплюють юніт, інтеграцію, E2E, UI, безпеку, продуктивність, регресію, тести на стабільність та прийняття, наш система обробляє пошту CEO з продуктивністю 86 повідомлень на хвилину при часі відповіді p95 нижче 2 секунд. Система інтегрується з сотнями бізнес-інструментів (Gmail, Jira, Confluence, Slack, MS Graph та іншими), надавши кожному агенту доступ до платформ, яких він потребує.
Ключовий урок полягає в тому, що корпоративний AI — це не питання володіння найрозумнішим моделлю. Йдеться про володіння відповідним моделлю для кожного завдання, з відповідними заходами безпеки, шляхами аудиту та вбудованою галузевою знанням у систему. Команда зосереджених спеціалістів завжди перевершить окремого універсаліста, який намагається робити все одночасно.