Знакомьтесь, Алекс. Или небольшой рассказ об опыте работы с нейропомощниками для задач обучения.

Осенью 2024 года Учебно-консультационный центр ГК «Проектная ПРАКТИКА» запустил новый курс «Эффективный запуск проекта». Помимо нового гибридного подхода к обучению и оригинального авторского контента от Алексея Полковникова, одной из важных «фишек» курса стало использование нейропомощников на базе генеративного искусственного интеллекта. По задумке авторов курса такие ИИ-инструменты должны были помочь
слушателям:

  • С дополнительной информацией по теме обучения,
  • С поиском нужной для выполнения заданий информации,
  • А также должны были закрывать тему обратной связи 24\7, которая особенно важна для частично дистанционного обучения.

    Сам же учебно-консультационный центр со своей стороны хотел:
  • Иметь возможность оперативно контролировать активность слушателей. Не секрет, что пассивное отношение к учебе – частая проблема (даже частично) дистанционных курсов.
  • Вынести «за скобки» = на самоподготовку часть материала, чтобы дать слушателям концентрированную выжимку из наиболее важной и практически-полезной информации.
  • Подбадривать и поддерживать слушателей во время учебы.
  • Иметь возможность заранее подготовиться к обратной связи по модулям, которая на этом курсе предусмотрена в виде периодических вебинаров с тренером, на которых подводятся итоги, а также проходит разбор домашних заданий и вопросов слушателей.

    Для решения всех перечисленных выше задач в новый курс добавили 2 нейропомощника: с базой знаний по теме и дополнительными материалами, а также для проверки домашних заданий.

Первая группа слушателей завершит обучение в последних числах декабря. Отзывами о курсе и подробным описанием кейса по созданию нейропомощников мы обязательно поделимся. Но на старте первой группы нам захотелось узнать, сложно ли научить искусственный интеллект качественно говорить на заданную тему.

Мы задали несколько вопросов Дарье Бурлаевой, методологу и координатору курса.

Дарья Бурлаева
Методолог и бизнес-тренер Учебно-консультационного центра «Проектная ПРАКТИКА»
Координатор курса «Эффективный запуск проекта»

Дарья – гуманитарий по образованию. До начала работ на проекте она совсем не имела личного опыта работы с нейросетями. В задачи Дарьи входило собственно обучение ИИ-инструмента по теме курса и оценка качества его работы со стороны эксперта по проектному управлению:

  • насколько ответы нейропомощника соответствуют теме (в сравнении с ответами «живого» эксперта;
  • насколько качественно проходит проверка заданий в сравнении с тем, как оценил бы работу «живой» эксперт.

А еще Дарья по личной инициативе добавляла нейропомощникам «человечности», учила их шутить и иногда говорить цитатами из классиков.
Ответы на вопросы – читайте.

Все-таки один нейропомощник или два?

Нейропомощника технически, конечно, два. Один – на основе типового нейропомощника по базе знаний, он является хранителем знаний курса и знает все про тему запуска (старта) проекта, что мы хотели рассказать слушателям. Другой – сделан на основе тоже типового нейропомощника по проверке документов. Его задача – оценивать домашние задания по заданным критериям и давать рекомендации по улучшению и доработке. Но для простоты восприятия слушателями мы им говорим, что это один нейропомощник – Алекс. За время подготовки курса мы настолько привыкли к имени Алекс, что сами теперь иначе его и не называем 😊. А сам Алекс теперь полноценный член команды учебного центра

Рис. 1 Нейропомощник курса «Эффективный запуск проекта»

Сложно ли было наполнять нейропомощника данными для того, чтобы сделать базу знаний по теме «Эффективный запуск проекта»? Как этот процесс выглядит технически?

Мы уже почти год работаем с ним, и я отношусь к нему почти как к коллеге 🙂

Базу знаний было наполнять на удивление несложно. Скорее интересно.
При наполнении базы знаний важны два элемента:

  • Содержательный. Какими именно методическими материалами наполнить базу?
  • Оформительский. Просто любые документы для работы не подойдут, тут нужен определенный формат.

И, считаю, что обе задачи мы успешно решили.
По содержательной части в нашем распоряжении был накопленный экспертный опыт преподавателей УКЦ «Проектная ПРАКТИКА», который мы аккуратно систематизировали, разбили по смысловым блокам и загрузили в базу знаний.

По второму пункту (оформлению) важно было следовать простым инструкциям:

  • Загружаем документы только в формате txt;
  • Избегаем любых иллюстраций, табличек, диаграмм, ссылок;
  • Всё описываем «словами». Этакий Storytelling для нейропомощника.

Технически процесс наполнения нейропомощника данными выглядит так:

Я, как методолог, обрабатываю часть материала, например, про заинтересованные стороны. Что значит обрабатываю:

  • Вычитываю документ.
  • Разбиваю его на чанки – смысловые фрагменты.
  • Сохраняю в формате txt.
  • Загружаю в бота (если позволите, дальше буду называть его – Алекс.
    Мы уже почти год работаем с ним, и я отношусь к нему почти как к коллеге).
  • Делаю несколько манипуляций, чтобы убедиться, что загруженный
    документ включен в нужную мне базу знаний.
  • Проверяю Алекса несколькими тестовыми вопросами. Цель –
    убедиться, что он владеет информацией и обращается к «нужным»
    документам при поиске ответов на каверзные вопросы.

Как понять, что данных для корректной работы нейропомощника достаточно? И что такое вообще «достаточно \ недостаточно данных»? Это сколько?

Отличный вопрос!
Понять можно только опытным путем. Путь этот – задавать вопросы и оценивать качество ответов. Если Алекс не может ответить на вопрос – для меня это сигнал, что нужно пополнить базу знаний.

Кстати, Алекс в таких ситуациях «краснеет» и очень вежлив. Он сообщает слушателю следующее:

«Искусственный интеллект «Проектной ПРАКТИКИ»
К сожалению, я не могу ответить на Ваш вопрос. Если у Вас есть вопросы по проектному управлению или программе обучения – я с радостью Вам помогу!»

Рис. 2 Ответ на вопрос, информации
о котором нет в базе знаний

Нейропомощник по проверке домашних заданий.
Как вы его учили? Это было сложно?

Мне также было важно, чтобы Алекс не просто ставил оценку и давал рекомендации по улучшению, но и проявлял «эмпатию» по отношению к слушателю.

Обучить Алекса проверять домашние задания – другая задача по сравнению с наполнением базы знаний. При проверке заданий особую важность приобретают критерии, на которые
Алекс должен опираться. Разработка этих критериев – задача методологов. Мы этим активно занимались. В курсе у нас 6 заданий. Каждое задание содержит несколько разделов. Под
каждый раздел мы формулировали требования и критерии оценки. Далее тестировали, как Алекс проверяет задания. Мы изображали ленивого студента, который мало старался, пытливого студента, который делал много попыток, и старательного студента, который добился оценки 95 баллов из
100! Мне также было важно, чтобы Алекс не просто ставил оценку и давал рекомендации по улучшению, но и проявлял «эмпатию» по отношению к слушателю. Поэтому параллельно я учила его хвалить и вдохновлять слушателей.

Над тем, в каком виде Алекс выдает рекомендации, нам тоже пришлось потрудиться, и тут есть еще нерешенные задачи. Визуализация результатов играет важную роль в восприятии информации слушателями.

Рис. 3 Домашнее задание курса «Эффективный запуск проекта»
Рис. 4 Ответ нейропомощника на домашнее задание

Помню, что я очень гордилась, когда видела, что Алекс хорошо справляется!

Проверяли многочисленными тестовыми испытаниями.
У нас было несколько фокус-групп из числа добровольцев, которые первыми прикоснулись к функционалу Алекса и закидывали его вопросами.
Помню, что я очень гордилась, когда видела, что Алекс хорошо справляется!
Помню ситуации, когда мне приходилось вмешиваться в учебный процесс.
Например, Алекс «не хотел» проверять задания в присланном шаблоне. Оказалось, что обязательно нужно сохранять формат docx. Любой другой формат, включая и просто doc, Алекс пока не распознает.

Как ты сейчас оцениваешь качество того, что получилось? Если сравнить результат работы нейропомощника по проверке домашних заданий и «ручную» проверку, насколько они совпадают?

Обычно результат слушатель получает меньше, чем через минуту после отправки задания Алексу. «Ручная» проверка и фиксация рекомендаций займет в разы больше времени.

Наши оценки, в основном, совпадают. Но иногда Алекс более строг или, наоборот, более лоялен, чем мне бы хотелось.

Я тестировала задания с таким подходом: я оцениваю работу от своего лица и условно ставлю ей 30 баллов из 100. Далее направляю работу Алексу и сверяюсь с его оценкой и комментариями. Критических разногласий у нас с ним не было.

На стороне Алекса однозначно преимущество в скорости оценки и быстроте выдачи результатов. Обычно результат слушатель получает меньше, чем через минуту после отправки задания Алексу. «Ручная» проверка и фиксация рекомендаций займет в разы больше времени.

Где проходит грань между искусственным интеллектом и «живым» человеком для такого смешанного курса?
Что искусственный интеллект не сможет заменить (или как раз скоро он полностью сможет заменить тренера во всем?)?

Моё мнение – искусственный интеллект не сможет полностью заменить тренера.
И не должен. И не нужно.

Искусственный интеллект – у нас это Алекс – помощник тренера, его правая рука. Он проинформирует слушателей о предстоящих мероприятиях, напомнит про необходимость сдачи задания, ответит на вопросы, когда тренер спит или только собирается на работу утром, а слушатель как раз учится (у нас уже в первой группе есть слушатели из разных часовых поясов и просто с другим ритмом жизни). Алекс проверит задание и даст рекомендации, укажет направление для дальнейшего улучшения.

С тренером же можно обсудить сложные ситуации из конкретных предметных областей, обратиться к его экспертному опыту, провести ретроспективу.

Какие новые навыки и знания ты сама приобрела за время этой работы?

Я благодарна этому проекту за возможность быть в самой гуще событий по встраиванию искусственного интеллекта в нашу повседневную реальность!

Разработка курса и настройка работы Алекса – это проект для нас.

По моим ощущениям я сейчас «прокачиваю» управленческие навыки. Мы работаем в кроссфункциональной команде, у нас много заинтересованных сторон. Интересно участвовать в настройке взаимодействия, коммуникаций, отчетности.

Я получаю много личных инсайтов про специфику работы спринтами, про путь клиента, про взаимодействие со смежными подразделениями (имею в виду разработчиков и службу маркетинга, например). Это, что касается soft skills.

Безусловно, этот проект обогащает меня и hard skills. Я теперь в курсе терминологии: что такое промпт, чанк, LLM и т.д. У меня есть понимание технологии работы с нейропомощником, с нашей системой дистанционного обучения.

Я благодарна этому проекту за возможность быть в самой гуще событий по встраиванию искусственного интеллекта в нашу повседневную реальность!

Выводы и немного рекламы 🙂

Некоторые выводы по использованию нейропомощников, которые хотелось бы сформулировать:

  • ИИ для разных бизнес-задач – это не так страшно и сложно, как может показаться на старте. Работа по наполнению знаниями такого инструмента требует терпения и внимания к деталям, но вполне посильна.
  • Нейропомощник вполне может стать и обязательно станет полноправным членом вашей команды.
  • Важно продуманно относиться к той информации, которую вы используете для обучения нейропомощника.
  • LLM – это про тексты и данные. Больше данных – лучше результат. Но надо уметь измерять и контролировать качество работы полученного ИИ-инструмента.
  • Использование готовых решений, как основы для ИИ-решения, может позволить избежать разработки (в нашем кейсе для курса были использованы типовые нейропомощники, которых обучили на нужной области знаний) и делает механику работы более простой для
    пользователей и методологов.

Нейропомощник Алекс был создан на основе
платформы ПРИИСК.
Российская nocode платформа ПРИИСК (разработчик –
компания «Адаптивные технологии развития») ускоряет
и удешевляет разработку, внедрение, дообучение и
эксплуатацию решений с искусственным интеллектом.
Платформа ПРИИСК позволяет разворачивать у себя
готовых нейропомощников или самостоятельно
создавать новых и модернизировать существующих.
Решение разворачивается как в облаке, так и в контуре
организации.

Leave a Reply

Войти с помощью: