Российская ИТ-Компания, крупный разработчик в сфере информационных технологий, в штате которой работает 25+ руководителей и 40+ администраторов проектов.
Контекст
С 2022 года увеличилась текучка персонала.
Для поиска специалистов HR-подразделение компании использует внешний и внутренний отбор кандидатов, внедрено обучение на период адаптации, наставничество.
В 2020 году в связи с эпидемией COVID-19 бизнес-подразделение разработки перешло на полностью удаленный формат работы, что существенно усложнило процесс адаптации новых сотрудников из-за сложностей в коммуникации, отсутствия опыта работы «на удаленке» и отсутствия тесного и постоянного контакта с наставниками и коллегами.
Удаленный формат работы повысил значимость наработанной регламентной базы, базы знаний по проектами и пр. Новым сотрудникам требовалось уделять существенно больше времени на самостоятельную подготовку.
Проблемы на момент начала работ
Снижение эффективности управления проектами Постоянная смена кадров с учетом особенностей уделенного формата работы на проектах привела к снижению качества управления проектами. Компании требовались значительные временные затраты на адаптацию новых руководителей проектов и администраторов, а также обучение сотрудников новым ролям, что отрицательно сказались на сроках и качестве проектов.
Зависимость от конкретных экспертов Знания компании зависели от знаний и доступности конкретных экспертов, что создавало риски при их увольнении или отсутствии с офисе из-за болезни или отпуска.
Медленное внедрение изменений Самостоятельное изучение новыми сотрудниками информации о решениях компании, регламентах, предыдущем опыте было долгим и сложным, требовало проверки усвоения материала. Это приводило к сложностям, так как сотрудники работали удаленно и в разных часовых поясах.
Цель создания и внедрения ИИ-решения подготовки новых сотрудников и наставничества
Компания уже имела небольшой опыт использования ИИ-инструментов на основе открытых LLM-платформ. Было решено попробовать создать инструмент, который размещался бы на ресурсах компании, был обучен на основе собранных знаний по методологии и реализованным проектам и мог бы упростить для новых сотрудников процесс адаптации.
Т.о. была выдвинута гипотеза, что за счет новых возможностей ИИ Компания сможет обеспечить удобный доступ сотрудников к необходимой информации в тот момент времени, когда у них возникает эта потребность, что позволит сотрудникам сконцентрироваться на выполнении своих прямых обязанностей, не тратить время на поиск и проверку информации, а также сократить трудозатраты на онбординг новых сотрудников.
Предложенное решение
Мы предложили дополнить команду заказчика нейропомощникомэкпертом-методологом, который мог бы отвечать на вопросы сотрудников, как по регламентам, методологии и внутреннему опыту на основе реализованных проектов.
Рис.1 База знаний для нейропомощника-методолога
Т.к. не накладывалось ограничений на строгое использование такого нейропомощника только внутри компании, мы предложили облачную реализацию с использованием, как внутренних данных, так и открытой интернет-информации с поправкой на защиту данных компании.
Т.к. не накладывалось ограничений на строгое использование такого нейропомощника только внутри компании, мы предложили облачную реализацию с использованием, как внутренних данных, так и открытой интернет-информации с поправкой на защиту данных компании.
Рис.2 Нейропомощник изнутри (в настройках платформы ПРИИСК)
За основу для разработки взяли:
Нейропомощник по базе знаний, созданный на российской платформе ПРИИСК.
Нейропомощник для проверки качества работы нейропомощника (об этом ниже).
Рис.3 Структура работ
Основной объем работ включал:
Подбор, анализ и подготовку данных для загрузки в нейропомощника, его обучение на этих данных.
Настройку качества ответов с учетом замечаний и требований к «человечности».
Тестирование на отсутствие «галлюцинаций», т.е. придуманных ответов.
Обучение технических специалистов заказчика для качественной поддержки созданного инструмента.
«Кроме работы с базой знаний для ответов, важна была настройка самого нейропомощника, связанная с правильным промптом, со степенью юмора, точности, с тем, насколько он будет релевантно отвечать людям разных проектных ролей. Если я руководитель проекта, то ответ может быть одним, а если я администратор – вторым, методолог проектного офиса – третьим и т.д. И все это надо настроить».
Андрей Комлев Архитектор ИИ-платформы ПРИИСК
Ход проекта. Проблемы и пути решения.
Онбординг
Одной из основных проблем на старте проекта была текучка администраторов и руководителей проектов. Люди часто менялись, что требовало постоянного обучения новых сотрудников. Проектному офису было трудозатратно с этим справляться. При этом «онбордить» нужно было «на процессы»: объяснять, какие в компании есть процессы и как ими управлять.
Проблем с информационной системой не было. В компании пользовались Confluence и Jira, известными на рынке ИТ-инструментами.
Что сделали: • Загрузили нормативно-регламентные документы и сформировали базу знаний. • Эксперты проектного офиса оценивали ответы на вопросы, заданные новым сотрудникам.
Проблемы, с которыми столкнулись сотрудники проектного офиса при оценке ответов нейропомощника в рамках проекта разработки.
Изначально в проекте не были установлены критерии для оценки качества результата. Не было конкретного числа, после которого можно было бы сказать, например, что 80% ответов «хорошие». Такой подход оказался неудобен и заказчику, и нам. И урок был усвоен.
Была разработана методика оценки, а база знаний разделена на логические разделы. Таким образом база знаний состояла не из названий документов, а из тематических блоков, по которым нужно было «онбордить» людей.
Кстати, именно на этом этапе было выяснено, что проблема существует не только в вопросах проектного управления, но и в правилах контрактации, которые имеются в компании. И в список блоков были добавлены те, которые объясняют новым сотрудникам, как устроена контрактная деятельность в организации, куда они пришли трудиться.
Проверка качества работы нейропомощника и улучшение результатов
Для количества удовлетворительных ответов нейропомощника установили количественный порог в 80%, т.е. приняли решение о том, что более 80% правильных ответов на вопросы означает качественную работу инструмента.
При этом было очень накладно и дорого считать проценты удовлетворительных ответов вручную. Поэтому была предложена и реализована нейросеть для проверки ответов. По сути, одна нейросеть проверяла ответы, которые давала другая нейросеть. И делала она это очень хорошо в той методике, которую мы ей дали на входе.
Рис.4 Общая схема работы нейропомощника по оценке качества работы других нейропомощников
При создании базы знаний мы добавили нормативную документацию по договорной работе, а также такие материалы, как видеоуроки, которые проектный офис ранее записывал, работая над онбордингом самостоятельно.
Тестирование. Проблемы с вопросами пользователей.
При проверке качества ответов нейрометодолога оказалось, что обычные люди задают не те вопросы, которые задавали эксперты, думая, что они знают, что будут спрашивать обычные пользователи.
Эксперты формировали своё мнение, основываясь на тех вопросах, которые им задавали. Но, как оказалось, это были далеко не все вопросы. Некоторые из них решались, как ни странно, в коридорах, у кофемашин, или просто не были заданы, т.к. сотрудник боялся показать свою некомпетентность. Искусственному интеллекту же показать такую некомпетентность оказалось не страшно.
А ещё «обычные люди» использовали не те термины, которые использовали эксперты. Например, новые сотрудники говорили «веха», а эксперты проектного офиса – «контрольная точка».
Что сделали для устранения проблем: • Разработали методику оценки с учётом новых аспектов. • Улучшили результаты, используя интервью и отсеивая нерелевантные вопросы. • Дообучили нейропомощника, учитывая профессиональный жаргон и контекст при формулировке вопросов.
Тестирование. Проблемы с человечностью и живостью ответов.
После первичного тестирования на пилотной группе выяснилось, что нейропомощник не всегда понимал синонимы и не добавлял живости в ответы. При этом проект требовал точных ответов, что усложняло работу и обучение ИИ-инструмента.
Что сделали для устранения проблемы?
Чтобы добавить ответам живости, мы задали температуру. Если температура 0, то нейропомощник берет для ответа только нормативные документы компании. Если температура 1, то он составляет ответы на базе информации из интернета.
Однако, при температуре близкой к 1 нейропомощник начинал «галлюцинировать», придумывать что-то, чего нет в документах. А это не устраивало ни проект, ни нас. Поэтому мы задали температуру практически близкую к нулю – 0,1.
А ещё мы использовали нейросеть с чувством иронии для нестрогих ответов и добавили глоссарий и термины, которые используют люди за пределами этой организации. И это существенно повысило эффективность.
«Донастройка нейропомощника в чем-то напоминала диалоги с работами из известного фильма «Интерстеллар», где работам задавали процент юмора в общении».
Андрей Комлев Архитектор ИИ-платформы ПРИИСК
Эксплуатация и обслуживание
Для эффективной эксплуатации созданного ИИ-решения, конечно же, потребовалось вовлечение в процесс специалистов заказчика и передача им знаний, которые позволят самостоятельно развивать и улучшать новый инструмент.
Требовалась эксплуатация и системный мониторинг работы пользователей для интерактивного улучшения.
Нужен был выделенный эксперт по базе знаний
Т.к. система разворачивалась локально, нужны были специалисты по «железу», которые знают, что такое LLM, как она использует видеокарту и пр.
«Здесь подходит любой специалист проектного офиса, которого можно обучить. Его не нужно специально искать на рынке. Он мониторит работу пользователей, выявляет какие ответы устраивают, какие не устраивают и меняет под это базу знаний».
Андрей Комлев Архитектор ИИ-платформы ПРИИСК
Результаты внедрения
Появилась «живая» база знаний по проектам компании, правила и регламенты её обновления.
Нейропомощник помогает эту базу знаний структурировать и накапливать. Накопленные знания остаются внутри компании и не зависят критичным образом от конкретных экспертов и их доступности.
Благодаря автоматизации процесса адаптации и обучения, нейрпомощник позволил значительно сократить время на погружение новых сотрудников в рабочие процессы и нормативную базу.
Система автоматически обновляется, что снижает вероятность устаревания данных и повышает скорость их распространения.
Сотрудники получают актуальную информацию в режиме реального времени независимо от своего графика и места работы. Это значительно ускоряет процесс доведения информации до всех работников и снижает риск ошибок.
Результаты в цифрах. Метрика оценки эффективности
85% сотрудников регулярно используют нейрометодолога в повседневной работе.
90% ответов полностью соответствуют ожиданиям и задачам сотрудников.
Необходимое время для внедрения изменений в регламентах или информирование о новом продукте составляет не более 1 рабочего дня.
Среднее время ответа составляет менее 15 секунд.
Планы развития
В рамках дальнейшего развития и расширения базы знаний нейрометодолога планируется добавление новых тем и инструментов, таких как договорная работа и организация работы с лучшими практиками.
Это позволит улучшить процесс управления проектами и повысить эффективность работы всей компании.
Планируется также масштабирование нейрометодолога на другие подразделения. Это позволит обеспечить единый уровень качествауправления знаниями и информацией во всей организации.
«По итогам проекта мы зафиксировали существенное сокращение числа ошибок среди как новых, так и уже давно работающих у нас сотрудников.
Через два месяца после начала использования новой системы новые сотрудники обращались к ней в среднем от 3 до 10 раз в неделю, а опытные работники – от 1 до 5 раз в неделю.
Всего в неделю поступало примерно 200 запросов. Если предположить, что каждый запрос предотвращает ошибку, то мы избегаем не менее 200 ошибок каждую неделю»
Руководитель проектного офиса компании-заказчка.
Выводы и немного рекламы 😊
Выводы по использованию нейропомощников, основанных на базе знаний, которые хотелось бы сформулировать:
В начале проекта необходимо определять состав областей знаний, по которым должен работать нейропомощник, и по которым не должен.
Успешная работа по созданию нейропомощника обычно требует глубокого вовлечения экспертов и часто требует попутного решения методических вопросов. Это следует учитывать при планировании работ и сроков проекта.
Ошибки нейропомощника часто говорят не о недостатках в его технической реализации, а о пробелах в информационном или методическом обеспечении сотрудников (с учетом их реальных компетенций).
Внедрение нейропомощников позволяет выявить и устранить такие пробелы, то есть повысить качество методического обеспечения и доступность информации.
Генеративные модели и, следовательно, нейропомощники ошибаются. Можно снизить число ошибок, но не исключить их полностью.
Надо уметь измерять и контролировать качество работы нейропомощников при разработке, внедрении и эксплуатации. Лучше использовать для этого специализированные инструменты (такие есть).
Необходимо четко определить для пользователей нейропомощников (сотрудников Компании), что можно требовать от искусственного интеллекта, а за что отвечает Пользователь.
Небольшое, но обучение работе с НП-ками желательно.
Нейропомощник для этого кейса был создан на основе платформы ПРИИСК. Российская no code платформа ПРИИСК (разработчик – компания «Адаптивные технологии развития») ускоряет и удешевляет разработку, внедрение, дообучение и эксплуатацию решений с искусственным интеллектом. Платформа ПРИИСК позволяет разворачивать у себя готовых нейропомощников или самостоятельно создавать новых и модернизировать существующих. Решение разворачивается как в облаке, так и в контуре организации. Работает с разными LLM, как с публичными моделями (ChatGPT \ YandexGPT \ GigaChat), так и локальными (Llama 3 \ Mixtral GigaChat).
ГК «Проектная ПРАКТИКА» в том числе активно использует данную платформу для нейропомощников, встроенных в новые версии информационных систем управления проектами ПМ ФОРСАЙТ и АСУ-Инвест.