Data Agent
В2В
Web
R&D
Новый продукт
Короче некуда 😅
Показал отличные результаты на западном рынке (NDA) и вдохновил компанию на создание новых продуктов в сфере обучаемых AI.
Сервис позволяет без усилий создавать AI-чатботы без кода для любых целей. Ваш персональный помощник, обученный на ваших данных, с простой настройкой и интеграцией в любые каналы.
Умный поиск по данным с технологиями RAG и LLM.
Роль:
Product Designer
Дизайн-команда:
1 Product Designer, 1 Product Manager, 1 Product Marketing Manager
Длительность:
~6 месяцев, включая разработку
Вводные
Data Agent — это билдер AI-помощников, обученных на пользовательских данных: веб-ссылках, документах, интеграциях с Google Drive, Dropbox, SharePoint и ведущих CRM-системах. В ответ на запрос пользователя Ассистент проводит глубокий контекстный поиск по всей информации, анализирует ее и дает точные ответы.
Идея продукта родилась из анализа зарубежного AI-рынка и потребностей пользователей в действительно надежном боте. Ко мне задача пришла как R&D-проект «а давайте попробуем сделать билдер ботов на базе технологии RAG» и вручен в личное пользование целый программист, который в целом понимал эту технологию. (Да, проект делали вдвоем).
Проблема
Классические AI-помощники используют информацию из открытых источников, достоверность которой под вопросом. Они склонны галлюцинировать, грубо говоря, "придумывать" информацию, проводя некорректные закономерности, неправильно интерпретируя данные, имея слишком сложную структуру запроса etc.
Люди, особенно в бизнес-сегменте, заинтересованы в правдивых ответах бота на проверенных источниках данных. Для этого существует технология RAG (Retrieval-Augmented Generation — генерация с дополненной выборкой), когда помощник дообучается на достоверной определенной человеком выборке данных, что снижает количество галлюцинаций. Соответственно, нужен продукт, который закроет эту потребность.
Задача
Разработать сервис для создания, настройки и обучения по загружаемым данным персонального AI-помощника для проверки востребованности продукта.
Решение
Быстрая разработка MVP в паре с англоговорящим программистом (с которым мы оба на старте до конца не понимали что это и как оно работает).
Шаг 1. Формирую продуктовую задачу
Постановка задачи ограничивалась идеей, отвечающей на вопросы «что мы делаем и почему это должно сработать». Но не для кого и зачем, как продуктом будут пользоваться.
Провела небольшое исследование рынка, поштормила с программистом и СРО (идейным вдохновителем), сформулировала базовые данные по задаче.
В качестве ЦА выбрала 2 группы:
Бизнес пользователи. Как будут применять, например: онбординг новичков в компании (онлайн-buddy), помощь командам клиентской и внутренней поддержки, повышение качества работы с клиентами, например, формирование индивидуальных предложений, благодаря анализу истории покупок и других данных из CRM.
Частным клиентам, кто вынужден работать с большими объемами данных из разных источников. Таким людям важна точность и корректность ответов (без “галлюцинаций” LLM). С помощью сервиса они экономят время на поиск и суммаризацию информации из множества источников. Например, обработка пула научных статей.
Таким образом, запрос пользователя звучит так: «Хочу получать (и предоставлять другим) достоверную информацию на основе моих данных. Соответственно, нужен такой бот, в которого могу данные загрузить, а потом пользоваться как мне удобно».
Определеляю скоп задач
Работа шла в специфических условиях: ограниченное время, ограниченные ресурсы и технические возможности, без полного понимания технологии (выясняли прямо по ходу разработки).
Ключевой функционал и нюансы на старте:
Выбрать и настроить LLM. Глубину настройки определяли в процессе, минимум на старте: выбрать модель и задать промпт. Остальное поймем в процессе.
Загрузить документы и интеграции для обучения LLM. Для начала ссылки, документы и некоторые простые интеграции. Минимум связанного функционала, т.к. для экономии мы будем хранить только данные, но не сами документы.
Дообучение. Возможность пользователем контролировать качество ответов ассистента, корректировать и дообедать через обратную связь.
Использовать обученного ассистента. Однозначно требуется подключение к базовым каналом. Исходя из представления о пользователях, стоит предусмотреть возможность общения с ассистентом внутри продукта.
Базовый вспомогательный функционал. Аналитика по боту, анализ диалогов, настройки виджета.
В целом, вот такая простая схема:
Шаг 2. Разработка концепции
Создаваю наброски сценариев и проверяю, как они могут объединятся в глобальные флоу. Ищу оптимальную форму для ключевого функционала: билдер Ассистента.
Было две первичных версии:
Пойти стандартным путем: сфокусировать пользователя на настройках и вызывать виджет чат-бота для тестирования по специальной команде.
Дать пользователю тестировать бота сразу же на экране с настройками.
Из опыта работы с нашими пользователями проверка обучения — важный для быстрого доступа функционал, к которому обращаются часто. Кроме того, один из вариантов использования Ассистента — из продукта, без подключения к каналам или сайту. Настроек самих Знаний (загруженных данных) должно было быть минимально (включить/выключить, обновить и удалить). Поэтому из вариантов концепций остановилась на той, где все происходит на одном экране:
При дальнейшем докручивании концепта стало понятно, что вариант рабочий. В процессе родилась идея сделать чат-виджет полезным не только для тестирования, но и как инструмент обучения и подсказок. Т.е. изначально помощник, которого настраивает пользователь, обучен по нашим данным: рассказывает про продукт, следит за действиями пользователя и подсказывает следующий шаг, отвечает на вопросы о настройках. В боевую версию пользователя этот функционал, понятное дело, не идет.
Чат расположила по центру экрана, сделав его основной рабочей областью
Во-первых, с точки зрения человека это именно то, что он создает, его ключевая цель и задача. Смотреть, что получается, проверять на корректность не какой-то абстрактный виджет, а вот эту вот свою болваночку, которая постепенно становится умнее.
Во-вторых, ограниченность настроек.
То есть в человеческой, а не логической, картине мира чат — и есть основная рабочая зона, как настройки персонажа в игре. К тому же, с нашим помощником можно просто поболтать. Ну и как вторичный сценарий — позволяет человеку пользоваться помощником сразу тут же, для тех, кто не подключает бота на сайт или в мессенджер.
Так же определили формат настроек (Модель уходит на второй план относительно Знаний как редко изменяемый параметр) и примерный список разделов продукта:
Шаг 3: Проработка сценария создания Ассистента
Процесс дизайна был довольно веселым, в силу условий выполнения. Часть функционала отрисовывалась примерно, чтобы программист понимал общую структуру, и уточнялась после проведения технического исследования. Поэтому некоторые участки интерфейса выглядели как-то так чуть ли не до последних этапов разработки (функционал написания промпта при настройке модели):
Когда основной сценарий достаточно устоялся, провела коридорные RITE, чтобы проверить общую удобность и понятность интерфейса и отловить основные ошибки взаимодействия.
Чат расположила по центру экрана, сделав его основной рабочей областью
Во-первых, с точки зрения человека это именно то, что он создает, его ключевая цель и задача. Смотреть, что получается, проверять на корректность не какой-то абстрактный виджет, а вот эту вот свою болваночку, которая постепенно становится умнее.
Во-вторых, ограниченность настроек.
То есть в человеческой, а не логической, картине мира чат — и есть основная рабочая зона, как настройки персонажа в игре. К тому же, с нашим помощником можно просто поболтать. Ну и как вторичный сценарий — позволяет человеку пользоваться помощником сразу тут же, для тех, кто не подключает бота на сайт или в мессенджер.
Так же определили формат настроек (Модель уходит на второй план относительно Знаний как редко изменяемый параметр) и примерный список разделов продукта:
Основной сценарий после тестирований
Посмотреть весь сценарий со всеми тонкостями: Кликабельный прототип
Шаг 4: Проработка дополнительных сценариев
Проработала все разделы, без которых продукт не смог бы нормально функционировать: список созданных помощников, аналитика по ассистенту, история диалогов, подключение каналов и настройка внешнего вида чат-виджета для вставки на сайт.
Шаг 5: Разработка нового чат-виджета
Мне удалось настоять на разработке нового облегченного виджета, который выполнял бы роль быстрого и услужливого помощника, всегда рядом, всегда на связи, но при этом не мешает и ничего не требует.
Стандартный чат-виджет от Just AI — довольно сложная, громоздкая и тяжеловесная вундервафля, созданная специально, чтобы покрывать все возможные сценарии взаимодействия с любыми ботами. Он не дружит со сценарием использования ассистента, где главное, что нужно пользователю от помощника — быстрый ответ на возникший в моменте вопрос.
Если диалогов в истории нет, при активации ассистента вместо раскрытия всего чат-виджета появляется только строка ввода, куда человек вводит свой вопрос.
Виджет постепенно увеличивается в размере до заложенного предела. Все пространство отдано под общение с помощником, дополнительные функции, например, обнулить диалог, максимально лаконичны.
На коридорных тестированиях и интервью с некоторыми пользователями после запуска респонденты подтвердили, что такой виджет действительно воспринимается как быстрая помощь, а процесс общения через него — как легкая быстрая задача.
Ключевой результат
Data Agent показал отличные результаты на западном рынке (цифры под NDA), подтвердив свою нужность.
Следующей его задачей стало помочь компании понять, какие есть нужды, задачи и проблемы у реальных пользователей для разработки новой полноценной версии.
Его успех вдохновил компанию на разработку Jay Copilot и Jay Knowledge Hub для российского рынка.
Шаг 1. Формирую продуктовую задачу
Постановка задачи ограничивалась идеей, отвечающей на вопросы «что мы делаем и почему это должно сработать». Но не для кого и зачем, как продуктом будут пользоваться.
Провела небольшое исследование рынка, поштормила с программистом и СРО (идейным вдохновителем), сформулировала базовые данные по задаче.
В качестве ЦА выбрала 2 группы:
Бизнес пользователи. Как будут применять: онбординг новичков в компании, информационная поддержка саппортов, работа с данными из CRM).
Люди, работающие с большими объемами информации для личных целей (например, обработка пула научных статей).
Таким образом, запрос пользователя звучит так: «Хочу получать (и предоставлять другим) достоверную информацию на основе моих данных. Соответственно, нужен такой бот, в которого могу данные загрузить, а потом пользоваться как мне удобно».
Made on
Tilda