Сторінка стовпа

Системи багатокористувацького штучного інтелекту

Колектив спеціалізованих агентів AI замість одного загального чатбота. Оркестрація, багаторівневий маршрутизаційний моделі LLM, епізодична пам'ять, контроль витрат і аудит-трейл. Внутрішньо ми використовуємо платформу HybridCrew для реалізації послуг для клієнтів.

Давайте поговоримо про впровадження Подивіться HybridCrew

Одиночний чатбот у стилі ChatGPT — це універсальний інструмент. Він чудово розуміє мову, генерує тексти, відповідає на питання — але коли завдання вимагає послідовності дій, доступу до корпоративних баз даних, пам'яті про попередні взаємодії або перевірки якості, його обмеження стають очевидними.

Система багатокористувацького AI - це інша архітектура: команда спеціалізованих агентів, кожен із своєю роллю, інструментами, пам'яттю та стратегією дії. Помічник CEO класифікує пошту. Фінансовий контролер генерує звіти. Переглядач безпеки сканує код. Маркетинговий копірайтер пише маркетингові чернетки. Все координується оркестратором, який вирішує, хто отримає яке завдання.

Відкуди перевага систем багатокомпонентних

Спеціалізація в AI діє так само, як і в бізнесі. Замість однієї особи, яка «уміє все трохи», кращі результати досягає команда фахівців. Агент, зосереджений на одному типі завдань — з оптимізованими промптами, відповідною моделлю LLM, доступом до відповідних інструментів — виконує роботу краще і дешевше, ніж універсальна модель, яка спробує вгадати контекст з нуля.

Друга перевага: контроль витрат. Більшість завдань не вимагає найпотужнішої моделі LLM. Дрібні класифікації, генерація шаблонових контентів, витягування даних зі структуризованих документів — все це можуть виконувати локальні, безкоштовні моделі, запущені на GPU клієнта. Тільки найскладніші рішення потрапляють до найпотужніших хмарних моделей. Типовий операційний витрат: частка того, чого при єдиному використанні найпотужніших моделей.

Третя: відповідальність і безпека. Кожен агент має мінімальні повноваження (least privilege). Кожна взаємодія реєструється (audit trail). Особисті дані анонімізуються перед відправкою до зовнішніх моделей (мікросервіс Anoxy). Ціла архітектура розробляється у відповідності з GDPR і EU AI Act від першої лінії коду.

Компоненти системи багатокористувацького класу підприємства

Дев'ять елементів, які мусять працювати разом, щоб система багатокористувацька підходила для виробничого використання в фірмі.

Агенти wyspecjalizowane

Кожен агент має одну відповідальність: асистент CEO, контролер фінансовий, security reviewer, backend розробник, content writer. Спеціалізація дає кращі результати ніж один загальний чатбот.

Оркестратор

Центральний шар, який вирішує, який агент отримує яке завдання. Оснований на класифікації намірів, доступності агентів, вартості моделей LLM та бізнес-контексті.

Багатоступеневе маршрутизацію LLM

Малі завдання → локальна модель (Ollama, вартість $0). Середні → дешевша хмарна модель. Складні → найпотужніші хмарні моделі. Драстична redukcja витрат без втрати якості.

Епізодична пам'ять

Агенти запам’ятовують, що зробили раніше, які були результати, що працювало. З часом стають кращими у повторюваних завданнях — вчаться з кожної взаємодії.

Семантична пам'ять

Векторова база знань галузевої (Qdrant, pgvector). Агенти можуть швидко знайти подібні випадки з минулого, документи- посилання, політику фірми.

Анонімізація даних (Anoxy)

Перед надсиланням змісту до зовнішніх моделей LLM, присвячений мікросервіс Anoxy сканує та анонімізує особисті дані. Згодність з GDPR без компромісів функціональних.

Журнал аудиту

Кожна взаємодія між агентами записана: хто, до кого, що запитав, яку отримав відповідь, які моделі LLM використані, який кошт. Повна спостережливість.

Моніторинг та контроль витрат

Ліміти на агента, на користувача, на організацію. Dashboard з витратами в реальному часі. Сповіщення про нетипові зростання споживання. Оптимізація маршрутизації на основі даних.

Ескалація до людини

Низький confidence score, критична фінансово-правова рішення або нетиповий випадок → автоматична ескалація до людського оператора з повним контекстом.

Застосування в компанії

Шість областей, в яких системи багатокористувацького AI забезпечують мірну бізнес-віддачу. Кожен з них впроваджується як пілотний проект тривалістю 4-8 тижнів.

Асистент генерального директора

Класифікує та відповідає на е-мейли, домовляється про зустрічі, підготувавляє брифи перед розмовами, стисло викладає довгі документи, контролює терміни виконання. Типово економить CEO 10-15 годин на тиждень адміністрації.

Відповідальність та моніторинг юридичних вимог

Постійний моніторинг змін у законодавстві, класифікація впливу на підприємство, сповіщення про нові обов'язки. Генерування попередніх звітів GDPR, EU AI Act, ISO 27001. Драфти політик і процедур.

Виробництво програмного забезпечення

Перегляд коду, генерація тестів, написання документації, рефакторинг, генерація міграцій бази даних. Дві-три особи з агентами доставляють вартість команди 8-10 осіб.

Обслуговування клієнта

Класифікація повідомлень, автоматичні відповіді на повторювані запитання (на основі бази знань), ескалація до людини при складних випадках. Зменшення часу відповіді з годин до хвилин.

Аналіз документів

Екстракція даних з угод, фактур, пропозицій. Порівняння умов торгівельних. Детекція незгодностей і ризиків. Генерування резюме і звітів для юридичної команди.

Продаж та маркетинг

Моніторинг соціальних мереж та згадок про марку, класифікація сентименту, генерація відповідей (перевірених людиною перед публікацією), створення попередніх маркетингових контентів.

Чатбот vs. система багатокористувацького взаємодії

Аспект	Одиничний чатбот (ChatGPT/Copilot)	Система багатокористувацького агента
Спеціалізація	Загальний модель, „вміє все трохи"	Спеціалізовані агенти за доменом
Доступ до корпоративних даних	Обмежений (копіювання до вікна чату)	Нативний (інтеграція з CRM, ERP, базами)
Пам'ять	Сесія чату (типово 1-2 годз.)	Пам'ять епізодична + семантична (тривала)
Маршрутизація витрат	Одна модель для всіх завдань	Багатоступінчатий (локальний → хмара → преміум)
Виконання дій	Генерує текст, не виконує дії	Викликає API, записує до баз, надсилає е-мейли
Журнал аудиту	Відсутній (або рудиментарний)	Повний — кожна взаємодія записана
Анонімізація PII	Залежить від користувача	Відповідна, автоматична (Анокси)
Відповідальність (GDPR, EU AI Act)	Важко довести	Вбудована в архітектуру

Платформа референсна: HybridCrew

HybridCrew - це внутрішня платформа ESKOM AI, якою ми користуємося для реалізації послуг для клієнтів. Вона оркеструє десятки спеціалізованих агентів AI — кожен з власною роллю (наприклад, асистент організації, фінансовий контролер, менеджер проекту, розробник бекенду, рецензент з безпеки), польськомовним інтерфейсом, доступом до інструментів та інтеграціями з бізнес-системами.

Ключові технічні характеристики:

Багаторівневий роутинг LLM — від безкоштовних локальних моделей (Ollama) до найпотужніших хмарних моделей. Вибір моделі автоматичний, на основі складності завдання.
Широкі інтеграції — Gmail, Slack, Jira, Confluence, Microsoft Graph, Salesforce, Airtable та багато інших. Ми можемо підключити будь-яке API клієнта.
Електронна розсилка інтелект — автоматична класифікація пошти CEO, розпізнавання намірів, генерація відповідей для затвердження.
Anoxy — анонімізація PII — присвячений мікросервіс для анонімізації особистих даних перед відправкою до зовнішніх моделей. Збігність з GDPR без компромісів.
Епізодична та семантична пам'ять — агенти вчаться з досвіду, можуть звертатися до галузевих знань у векторній базі.
Моніторинг витрат — панель з реальними витратами в режимі реального часу на агента, на користувача, на організацію. Лімити та сповіщення про нетипові зростання.
Збігність з EU AI Act — система класифікована як AI з обмеженим ризиком, з повними обов'язками прозорості (Стаття 50): банер, що інформує про AI, позначення згенерованого вмісту, метадані експорту.

Найчастіші питання

Що таке багатокомпонентна система?

Система багатокористувацького штучного інтелекту AI - це архітектура, в якій кілька або кілька десятків спеціалізованих агентів AI співпрацюють при вирішенні завдань. Кожен агент має свою роль (наприклад, помічник CEO, фінансовий контролер, рецензент безпеки, бекенд-розробник), власні інструменти (API, доступ до баз даних, інтернет), пам'ять (епізодичну — що зробив раніше, семантичну — галузева знання) та стратегію діяльності. Замість одного загального чат-бота, компанія отримує команду AI з чітким розподілом відповідальності.

Як це відрізняється від окремого чат-бота типу ChatGPT?

Одиничний чатбот добре справляється з простими текстовими завданнями, але коли завдання вимагає: доступу до корпоративних баз даних, інтеграції з бізнес-системами (CRM, ERP, email), виконання послідовності кроків, пам'яті про попередні взаємодії, верифікації якості — чатбот перестає бути достатнім. Система багатокористувацька вирішує це через спеціалізацію (фінансовий агент знає бухгалтерський облік, юридичний агент знає GDPR), співпрацю (агенти можуть консультуватися) і оркестрацію (механізм вибору, який агент отримує яке завдання).

Які завдання можна делегувати до системи багатокористувацької?

У практиці: керування календарем та поштою CEO, класифікація та відповідь на е-мейли клієнтів, моніторинг змін законодавства, підготовка фінансових звітів, code review pull requestів, генерація документації, автоматизація онбордінгу працівників, обслуговування запитів підтримки, аналіз документів (угод, фактур, пропозицій), моніторинг соціальних медіа та згадок про марку, генерація маркетингового контенту. Чим більше повторювані та описувані процедурою — тим краще підходить для автоматизації.

Чи є системи багатокористувацькі дорогими у підтримці?

Залежить від архітектури витрат. Якщо кожен агент використовує найпотужніший модель LLM для кожного завдання, місячний витрат швидко зростає. Тому ми застосовуємо багаторівневий маршрутизацію моделей LLM: дрібні завдання потрапляють до локальних моделей (Ollama на GPU в інфраструктурі клієнта — операційний витрат близький до 0), середні завдання до дешевших хмарних моделей, тільки найскладніші рішення до найпотужніших моделей. Завдяки цьому типовий клієнт платить уламок того, що при єдиному використанні найпотужніших моделей.

Як агенти між собою спілкуються?

Дві головні шляхи: синхронна (агент A задає питання агенту B і чекає на відповідь) і асинхронна (агент A кидає завдання до черги, агент B обробляє у своєму темпі, агент A одержує сповіщення про результат). Центральна платформа оркестрації керує маршрутизацією, зберігає історію розмов (audit trail), контролює витрати (ліміти токенів на агента, на користувача). Уся комунікація реєструється — можна відновити кожну взаємодію між агентами та перевірити, як дійшло до конкретного рішення.

Що з безпекою даних у системі багатокористувацькій?

Три шари захисту. По-перше: анонімізація PII (дані особи, номери конт, NIP-y, адреси) перед відправкою до зовнішніх моделей LLM — використовуємо для цього мікросервіс Anoxy, який сканує вміст перед відправкою. По-друге: ізоляція агентів — кожен агент має мінімальні повноваження (least privilege), не бачить даних поза своєю доменою. По-третє: опція роботи на інфраструктурі клієнта — моделі LLM можуть працювати локально (Ollama на GPU), без виходу даних поза мережу клієнта. Згодність з GDPR та рекомендаціями EU AI Act.

Чи можуть агенти допускати помилки? Що тоді?

Так, кожна модель LLM може галюцинувати, здійснювати логічні помилки або неправильно інтерпретувати контекст. Стратегії мінімізації: 1) валідування результатів (наприклад, фінансовий агент мусить повертати числа у визначеному форматі, валідатор перевіряє відповідність); 2) повторна перевірка для критичних рішень (другий агент незалежно перевіряє результат першого); 3) ескалація до людини (при низькому confidence score або нетиповому випадку); 4) аудит-трейл (кожне рішення записане — можна скасувати, проаналізувати, покращити промпт). Критичні фінансові та юридичні рішення ніколи не є автономними — вимагають затвердження людини.

Як виглядає впровадження системи багатокористувацького середовища в компанії?

Типово чотири фази. 1) Discovery (2-4 тижні): ідентифікація процесів до автоматизації, оцінка ROI для кожного, вибір 2-3 пілотажових. 2) Пілотаж (4-8 тижнів): впровадження перших агентів для вибраних процесів, вимірювання впливу, вдосконалення. 3) Масштабування (3-6 місяців): розширення на наступні процеси та підрозділи, інтеграція з існуючими системами. 4) Оптимізація (continuous): вдосконалення агентів на основі даних з виробництва, додавання нових ролей, зниження витрат моделей LLM.

Чи система багатокористувацька замінять працівників?

Замінить конкретні завдання, але не людей. Найпоширеніший ефект: працівники відновлюють час (типово 30-50% у адміністративних підрозділах), який вони можуть присвятити завданням, що вимагають людської оцінки, креативності, будівництва відносин. Компанії не звільняють — навпаки, частіше ростуть швидше (більше проектів обслуговуються однією і тією ж командою). Виняток: повторювані завдання низької вартості (наприклад, ручне копіювання даних між системами) — ці зникають і ніхто за ними не сумує.

Які технології стоять за системами багатокористувацькими?

Найчастіше використовувані фреймворки: Microsoft AutoGen, CrewAI, LangGraph, Haystack Agents. Моделі LLM: Anthropic Claude, OpenAI GPT, локальні моделі Llama, Mistral, польський Bielik. Векторні бази даних для семантичної пам'яті: Qdrant, Weaviate, pgvector. Черги повідомлень для асинхронної роботи: Redis, RabbitMQ, Kafka. Моніторинг: Prometheus + Grafana, Sentry, OpenTelemetry. У ESKOM AI ми поєднуємо все це в одну внутрішню платформу (HybridCrew) з повною спостережуваністю, контролем витрат і відповідністю вимогам.

Перший пілотаж за 4-8 тижнів

Вибираємо 2-3 бізнес-процеси з найбільшим потенціалом ROI та впроваджуємо пілотажні агенти. Вимірюємо вплив, доопрацьовуємо та приймаємо рішення щодо масштабування.

Запланувати розмову про пілотний проект Виробництво з AI