ЧаВо. ИИ для обучения.

Сколько стоит разработка нейропомощника?

Ответить на этот вопрос одним предложением сложно, т.к. на стоимость оценки влияет множество факторов:

• Насколько типовую задачу мы решаем, есть ли готовые шаблоны;
• Будет нейропомощник размещаться в облаке или на ваших серверах (в этом случае потребуются дополнительные работы по настройке);
• Потребуется ли интеграция с какими-то внешними системами, чтобы получить от них данные для обработки или, наоборот, положить…

Если речь, например, идет о создании достаточно типового нейропомощника на основе ваших данных (или, как мы говорим, «на основе базы знаний»), то стоимость такого инструмента для вашей организации составит 300 000 – 500 000 рублей на неограниченное количество пользователей.

При этом вы получите не только сам инструмент (нейропомощника), но и возможность дообучать его или дополнять настройки, собирать статистику использования.

Также нужно понимать, что ИИ-решение – это еще и серверное оборудование, если вы не планируете размещать ваше решение в облаке.

Для задач по управлению проектами стоимость оборудования может варьироваться от 500 тыс. до 3,5 млн рублей в зависимости от выбранной модели видеокарт и требуемого быстродействия.

Каковы сроки разработки нейропомощника?

Универсального ответа на этот вопрос нет, тут все зависит от задачи, которую вы планируете решать.

Например, бота для нашего курса «Эффективный старт проекта» мы создавали и обучали 3 месяца. При этом основная работа была не в разработке, т.к. мы настраивали нейропомощника на основе одного из типовых шаблонов ПРИИСКа. Основное время было потрачено на обучение, тестирование и проверку качества ответов. Для нас было важно, чтобы ответы нейропомощника были выверенными и методологически верными, без фантазий. А проверка домашних заданий слушателей с помощью ИИ по качеству не отличалась от ручной проверки экспертом, и даже превосходила этого эксперта.

Если посмотреть календарные планы проектов, которые мы ведем, то средняя продолжительность работ от согласования Технического задания до начала опытной эксплуатации тоже будет в пределах 1 – 3 месяцев.

Но это не значит, что сделать нейропомощника за 30 минут нельзя :). Например, в рамках учебного курса по ПРИИСКу пользователь создает рабочий вариант нейропомощника за 15 минут.

Здесь важно понять, что работа с контентом для нейропомощника не менее и даже более важна, чем технические работы. И от того, насколько качественно они сделаны, зависит качество и точность ответов.

Что влияет на качество ответов:

• Наличие и качество информации в базе знаний и правильность ее структуризации: правильность разбиения на фрагменты (чанки) наличие сокращений, разбор таблиц и пр.;
• Качество промптов (запросов), формируемых для отправки в искусственный интеллект. Промпт может существенно влиять на содержание ответов ИИ, может помогать пользователю получить хороший ответ, или не помогать или помогать не так хорошо, как можно было бы;
• Качество работы ИИ: факт, что ИИ может галлюцинировать, то есть выдумывать ответы. Но на качество ответов (в том числе на полноту, точность ответов) влияют и параметры LLM, и параметры «железа» на котором она работает.

Существуют ли учебные материалы или руководства по ПРИИСКу
для самостоятельного изучения?

Есть документация по платформе. Если вы еще не используете ПРИИСК, то документация доступна по запросу.

А для начинающих пользователей мы разработали небольшой учебный курс, который помогает сделать первые шаги: создать несложного нейропомощника, настроить его параметры и интерфейс, дать доступ коллегам и собрать статистику использования.

Например меня (чат-бота Ивана) создавали маркетологи
как раз после прохождения такого курса.

Есть ли демо или тестовый доступ к вашему нейропомощнику?

Да. У платформы ПРИИСК есть демоверсия, которая позволяет создавать и настраивать два типа нейропомощников: регламентированного доступа и с использованием баз знаний, которые нужны, чтобы дообучить нейропомощника.

Оставьте запрос на одной из страниц по ПРИИСКу на нашем сайте или нажмите на кнопку под этим сообщением, чтобы обсудить вашу задачу по встраиванию ИИ в бизнес-процессы и получить доступ к демоверсии.

Кстати кнопки, которые вы видите под сообщением, называются саджесты и настраиваются при создании нейропомощника на платформе ПРИИСК.

Как обучать и дообучать нейропомощника и кто это будет делать?

Ответ зависит в том числе от того, на основе каких данных работает ваш нейропомощник. Если это, предположим, подборка внутренних регламентов, то дообучение потребуется тогда, когда появятся новые такие документы или будут внесены изменения в существующие. В этом случае достаточно, чтобы администратор периодически (например, раз в месяц) обновлял базу знаний.

Если данные постоянно появляются и меняются, например, если мы используем протоколы совещаний, чтобы формировать базу знаний и заодно готовить проекты поручений, то обновлением займется другой нейропомощник, который умеет транскрибировать записи.

А если мы, например, сделали нейропомощника по оценке здоровья проектов, то для работы ему нужны данные информационной системы управления проектами. Обновление и дообучение тоже будет проходить автоматически, но при внедрении нужно будет решить вопрос интеграции с ИСУП.

Как обучить ИИ-помощника на наших данных?

Для дообучения нейропомощника на внутренних корпоративных данных используют несколько подходов, например, RAG (Retrieval-Augmented Generation) и fine-tuning.

RAG — это подход, при котором к контексту запроса пользователя присоединяется наиболее релевантная информация из фрагмента документа, чтобы LLM могла сформировать правильный ответ. Дообучение через RAG занимает меньше времени, не требует специалистов со специальными компетенциями и менее требовательно к вычислительной инфраструктуре.

Для создания нейропомощника требуются навыки разработчика?

Смотря какого нейропомощника вы создаете.

Для простых или типовых задач, для которых можно использовать шаблоны или ранее созданных ИИ-помощников, разработчик не потребуется. Создать такого нейропомощника под силу обычному пользователю. Нужен доступ в платформе ПРИИСК, понимание зачем и для кого вы такого помощника делаете, понимание, откуда вы возьмете данные для обучения, и немного усидчивости.

Хотите попробовать? Попросите доступ к демоверсии ПРИИСКа. С другой стороны, есть и сложные задачи, которые без разработчика не решить. Например, если для работы ИИ-помощника требуется интеграция с вашей ИТ-системой.

Приведи примеры уже реализованных нейропомощников?

Если говорить о том, какие задачи уже решали с применением платформы ПРИИСК, то это:

• Нейропомощник по методологии и онбордингу для поддержки новых сотрудников и удаленных команд;
• Нейропомощник для обучения, который помогает разобраться в метериале и проверяет домашнюю рааботу;
• Нейропомощник по совещаниям, который перевводит записи рабочих совещаний в текст, создает на основе протоколов проекты поручений и размещает их в ИТ-системе, а потом помогает с контролем;
• Нейропомощник по оценке здоровья проектов для использования в ИСУП.

Пока нельзя сказать, что примеров практического применения ИИ много, но для части российских компаний нейропомощники уже сегодня стали полноценными членами команды. Они работают 24/7 и, обученные один раз, выдают стабильно высокое качество.

Например, копилот Администратора проекта  может интегрироваться с информационной системой управления проектами (ИСУП) и выполнять такие рутинные задачи по контролю проведения встреч, как:

• Расшифровка текста встречи и добавление резюме  в базу знаний, чтобы по нему потом давать ответы;
• Проверка того, что на встрече были выполнены обязательные шаги (приветствие, ознакомление с вопросами встречи, подведение итогов и т.д.);
• Подведение итогов встречи и формирование протокола;
• Назначение задач команде и периодический контроль их выполнения.

Не каждая проектная команда находит в себе силы выполнять перечисленные выше действия на постоянной основе, а один раз внедренный нейропомощник будет следовать процедуре автоматически и быстро, причём для всех. Это позволит упорядочить работу, значительно сократить время, обогатить других нейропомощников для поиска информации и улучшить информированность команды.

Нейропомощник-консультант может аккумулировать в себе различную экспертизу на основе базы внутрикорпоративных знаний и лучших практик по отдельным направлениям бизнеса, становясь экспертом в заданной области. С ним сможет взаимодействовать и консультироваться большое количество людей одновременно, что позволяет не зависеть от конкретных уникальных экспертов и создавать переиспользуемый корпоративный актив.

В одном из недавних заказных проектов был создан нейропомощник, который из видеоматериалов интервью формирует карту-отчёт компетенций респондента.

Нейропомощники помогают использовать сильные стороны LLM в рутинных операциях, но не заменяют человека на 100%, а лишь повышают его эффективность.

Можно ли на основе ваших нейропомощников делать собственные?
Насколько это сложно? Нужны ли нам специальные знания и обучение?

Это зависит от вашего опыта, желания и возможностей вашей лицензии на ПРИИСК.

Но если коротко, то достаточно быстро можно научиться самим делать нейропомощников на основе баз знаний и нейропомощников-клонов, созданных на основе готовых шаблонов или уже работающих ИИ-помощников.

Например, меня (чат-бота Ивана) сделали на основе бота-методолога. Но с настройками, подбором информации для обучения с взаимодействием с открытыми моделями, все равно пришлось поработать.

Почему для наших задач недостаточно бесплатных моделей?
Что вообще дает платное решение и чем отличается от бесплатного?

Ну, во-первых, не такие уж бесплатные модели и бесплатные.

Во-вторых, если ваши задачи, для которых вы хотите задействовать ИИ решаются в интересах организации, то модель должна работать с вами, как с организацией, а не как с отдельным человеком.

Для физических лиц существует множество сервисов, оптимизирующих взаимодействие с GPT и предлагающих различные интерфейсы. Но как только речь заходит о корпоративной среде, где требуется интеграция с существующими системами и обеспечение безопасности, использование корпоративных данных – возникают ограничения.

Условно бесплатные решения, как правило, являются облачными. Они, конечно же, имеют свою пользовательскую аудиторию, но слабо применимы тогда, когда требуется учесть требования организации к любому ИТ-инструменту:

• Информационная безопасность. Например, далеко не все компании готовы отдавать в облако свои документы и данные, зато многие предъявляют требования к разграничению доступа своих сотрудников к информации;
• Интеграция ИИ-решений с корпоративными информационными системами и информационными рересурсами компании. Наличие такой интеграции позволяет сделать ИИ-решения более актуальными и отвечающими интересам конкретной организации, а сопровождение ИИ-решений – менее затратным;
• Если используются зарубежные нейросети и/или платформы, то критичным становится вопрос надежности доступа к ним;
• Необходимость обучать LLM на корпоративных данных и стандартах, чтобы учитывать эти данные в работе;
• Более удобные инструменты взаимодействия и контроля результата работы LLM;
• Совместная работа десятков-сотен сотрудников и мониторинга их взаимодействия с LLM.

Какие-то компании готовы принять описанные выше ограничения и получают от ИИ-решений эффект. При этом возможно использование не только развернутых локально генеративных моделей, но и публичных, таких как YandexGPT, GigaChat или ChаtGPT для тех задач, где это допустимо и целесообразно.

Однако многим российским компаниям, особенно в корпоративном и госсекторе, ближе построение ИИ-решений в своем внутреннем контуре и их интеграция в корпоративную инфраструктуру. В таких случаях практически безальтернативным вариантом становится создание контролируемых приложений (нейропомощников) на собственной инфраструктуре.

ПРИИСК как раз и решает эти задачи в контексте конкретной организации.

Не означает ли использование искусственного интеллекта в работе, что наши сотрудники перестанут думать и будут полагаться только на умный сервис?

Моя любимая фраза: «Искусственный интеллект не заменит человека, но человек, который умеет с ним работать, заменит того, кто не умеет!». Это касается и компаний. Те, кто научатся использовать ИИ, получат значимые конкурентные преимущества.

Недавно на просторах интернета мне попалось исследование британских ученых о том, как относятся к использованию ИИ люди разных способностей.

Главный итог исследования таков:

• ИИ сильнее среднестатистического человека практически во всем: от рекламы до стихов и от диагностики до юмора;
• Но профессионалы своего дела и гении практически во всем сильнее ИИ (кроме задач с фиксированными правилами: шахматы, го и т.д.)

Это значит, что в среднесрочной перспективе вашей организации потребуется меньше сотрудников, которые не хотят становиться профессионалами на своем участке. А профессионалам ИИ будет только в помощь, т.к. позволит им развиваться быстрее.

Возможно ли прикрутить нейропомощников к Телеграмм, например?

Можно и к телеграм.

ПРИИСК позволяет быстро интегрировать чат-боты с нейропомощниками в уже существующие платформы и решения. Если у вас есть сайт, мессенджер или бизнес-приложение, развертывание нейропомощника займет всего несколько минут.

Быстро и без сложного программирования можно добавить нейропомощника:

• В мессенджеры (Telegram) — через бота от Telegram — BotFather
• В Корпоративные платформы (например, ПМ Форсайт от Проектной ПРАКТИКИ, CRM или систему документооборота)
• На сайты и в веб-приложения (например, всплывающий чат или «бабл» на сайте)

Выбор платформы зависит от целей использования нейропомощника: поддержки клиентов, автоматизации процессов, поиска информации или обработки запросов пользователей.

Что такое RAG и как он работает?

RAG (Retrieval Augmented Generation) — это метод работы с большими языковыми моделями, при котором к контексту запроса пользователя (вопроса пользователя о системе) присоединяется информация из фрагмента документа ( наиболее релевантная запросу часть содержимого документа, чтобы LLM могла сформировать правильный ответ)

В чем состоит метод:

1. Вся база знаний делится на фрагменты текста, так называемые chunks (чанки). Размер чанка может варьироваться от нескольких строк, до нескольких абзацев. Каждый загружаемый документ может делиться на нужное кол-во чанков (это можно настроить), в зависимости от размера.
2. Далее эти чанки оцифровываются в «эмбеддинги», другими словами в вектора c цифровыми значениями, которые сохраняют характеристики слов и связи между ними.
   Процесс преобразования текста в такие векторы называется векторизацией, а результирующий вектор —эмбеддингом. Эмбеддинги хранят информацию о тексте и позволяют применять математические методы для обработки текстов. Так с помощью эмбеддингов можно классифицировать информацию, сравнивать и сопоставлять тексты или организовать поиск по собственной базе знаний.
3. Далее все эти полученные вектора складываются в специальную базу данных, где лежат и ждут пока над ними и начнут производить ту самую операцию поиска (наиболее релевантных, т. е. близких по смыслу чанков поисковому запросу).
4. Когда пользователь отправляет свой вопрос к LLM, то текст его запроса точно по такому же алгоритму, кодируется также в еще один эмбеддинг и далее над базой данных содержащей наши эмбеддинги чанков производится поиск наиболее близких «по смыслу» эмбеддингов (векторов). В реальности, как правило, считается косинусная близость вектора запроса и вектора каждого чанка и далее выбираются топ N векторов наиболее близких к запросу.
5. Далее текст чанков, соответствующий этим найденным векторам, вместе с запросом пользователя объединяется в единый контекст и подается на вход языковой модели. т.е. модель «думает», что пользователь написал ей не только вопрос, но еще и предоставил данные на основе которых нужно ответить на поставленный вопрос.

Мы разделяем его на три типа: наивный RAG, продвинутый RAG и модульный RAG. Хотя RAG были экономичными и превосходили производительность отечественного LLM, они также демонстрировали несколько ограничений. Разработка Advanced RAG и Modular RAG была ответом на эти конкретные недостатки в Naive RAG.

Какова экономическая выгода от внедрения нейропомощников
в бизнес-процессы?

Экономическую выгоду внедрения ИИ вы можете посчитать по тем же формулам и методикам, что и выгоду от внедрения любого другого ИТ-инструмента.

Но, пока вы открываете папку с методиками расчета эффективности и готовитесь посчитать все «по науке», приведем простой пример: представим себе нейропомощника, который помогает сотруднику быстрее войти в компанию и в курс дел по проекту, позволяет ему находить актуальную информацию и делать меньше ошибок. Такой помощник почти не требует затрат на актуализацию информации, которая используется для работы. Выгода от подобного инструмента при количестве пользователей от 20–30 человек очевидна.

Многие компании были бы готовы затратить на создание такого нейропомощника 3–4 оклада специалиста (с учётом накладных), что превышает 1 млн рублей.

Каких нейропомощников можно создавать?

Нейропомощники — это особые ИТ-системы, которые построены на вероятностных принципах, а не на строгих алгоритмах. Поэтому в работе, ответах на вопросы, взаимодействии они похожи на «живых» экспертов. Как и люди, нейропомощники требуют обучения и адаптации. Важно правильно ставить им задачи и корректировать их работу по мере необходимости.

Нейропомощники могут отвечать на запросы пользователя, тогда, когда пользователь этот вопрос задает, или действовать самостоятельно, например, по расписанию, календарю или при возникновении определенного события (триггера). Активные нейропомощники могут, например, генерировать уведомления о проблемах в проекте и предлагать рекомендации.

Нейропомощники можно разделить на три класса:

Первый – без использования RAG-технологий, для которых не требуется контекст или дополнительная база знаний. Они занимаются суммаризацией текста, генерацией картинок и выполнением задач по заранее заданным критериям.

Второй и третий классы используют RAG-модели, одни взаимодействуют с базами знаний компании и выполняют роль экспертов-консультантов, а другие – с информационными системами для построения более сложных процессов, где новые возможности ИИ и LLM становятся доступными для существующих процессов, таких как анализ данных или документов, проверка качества прохождения совещаний и автоформирование протоколов.

Фактически почти любой текущий облачный сервис, который использует генеративные сети, для генерации картинок, статей, ответы на вопросы, может быть повторен на платформе «ПРИИСК».

Опыт показывает, что после создания одного нейропомощника и демонстрации его сотрудникам можно получить заказы на несколько аналогичных решений, адаптированных под разные задачи. Если на первое решение ушло Х часов, то за суммарные 2Х часов можно создать 4 решения, которые успешно применяются в компании.