The Next Wave of Generative AI: Domain-Specific LLMs

Успех применения LLM в корпоративных use cases во многом зависит от узконаправленности модели. Компании встраивают LLM в собственные приложения и рабочие процессы, каждый из которых использует данные, специфичные для конкретной предметной области. Реализация LLM происходит одним из трех основных способов:
1. Создание LLM с нуля
Этот вариант предполагает сбор и подготовку совокупности источников текста, таких как документы, электронные письма и записи обслуживания клиентов. Затем, эксперты по работе с данными создают LLM и обучают ее интерпретировать, обобщать и генерировать контент на основе паттернов, идентифицируемых в основе данных. Создавая LLM с нуля, компания повышает вероятность того, что руководители будут делать правильные решения на основе имеющихся данных.
Однако, для данного метода применения LLM существует ряд требований: обширные знания в области data science, большие объемы данных, и множество итераций и дорогостоящих вычислительных циклов.
2. Доработка существующей LLM
Настройка предварительно обученной LLM под специфичные потребности компании позволит иметь выходные данные более точными, с меньшим количеством потребляемых моделью данными.
Данный вариант подойдет компаниям в сфере здравоохранения, юридических услуг или других отраслях, заинтересованные стороны которых используют язык в зависимости от предметной области способами, которые предварительно обученные LLM не могут хорошо интерпретировать самостоятельно.
3. Обогащение промптов LLM
Компании могут обогащать вводный промпт, добавляя контент, относящийся к предметной области, такой как документация по продукту, отчеты об обслуживании клиентов, книги и научные статьи. Такой процесс называется поисковая дополненная генерация или RAG (Retrieval Augmented Generation). RAG просит LLM найти ответ в достоверном контенте, снижая риск галлюцинаций модели.
RAG известен как метод “заземления”, потому что он создает основу из фактов. RAG пользуется популярностью как экономически эффективный метод уточнения фактов. Ожидается, что RAG станет стандартным подходом во всех секторах, часто дополняя вариант тонкой настройки.

Toyota transforms IT service desk with GenAI

Главный IT-руководитель Toyota Motor North America, Джейсон Баллард, делится опытом компании в использовании GenAI для обработки запросов в IT-службе и HR с целью повышения контроля и качества. Ликвидируя методы традиционной IT-службы, Баллард подчеркивает важность распределения задач между человеческим ресурсом и искусственным интеллектом для приоритизации более важных и сложных задач.

Это, в свою очередь, ведет к:
1) Повышению квалификации рядовых сотрудников, предоставляющих поддержку пользователей в части рутинных задач. С помощью автоматизации таких запросов, как смена пароля или разблокировка учетной записи, сотрудники имеют возможность браться за задачи, позволяющие проявить свой профессиональный потенциал. Каждый месяц агент Ask в Toyota решает около 458 вопросов по сменам паролей и 164 по разблокировке учетных записей.
2) Ускорению производительности. По словам Балларда, за прошедший год агент GenAI разрешил почти 70 000 проблем и ускорил решение еще примерно 100 000. По данным компании, только за последний год сервис вернул сотрудникам и агентам более 70 000 часов продуктивности. По словам Балларда, в среднем AgentAsk компенсирует работу примерно 25 сервисных специалистов первого уровня каждую неделю.
3) Сокращению MTTR (Mean Time To Repair). Роботизированная автоматизация процессов (RPA) в Toyota привела к ускорению решения проблем и оптимизации процессов. В результате реализации GenAI, сотрудники имеют доступ к инструменту, улучшающему продуктивность - среднее время восстановления (MTTR) в компании составляет 11,4 минуты, что значительно превосходит отраслевой средний уровень в 3 дня.

Основываясь на многолетнем опыте работы с генеративным ИИ, Баллард советует: IT-руководители должны знать бизнес-проблему и возможности, прежде чем внедрять еще один технологический продукт. Начав с малого, определившись с масштабом и размером команды, чтобы подтвердить первоначальную гипотезу, ИТ-директора могут использовать подход “ползать, ходить, запускать”, подтверждая ценность, получаемую от нового решения, и продвигая организацию вперед.

Infonomics, Douglas B. Laney

Относитесь к информации как к активу — для получения конкурентного преимущества

Must-read для CDO и других лидеров в области информации и аналитики. “Инфономика” демонстрирует основы и методы количественной оценки стоимости информационных активов и тактику использования информации в качестве конкурентного преимущества для стимулирования роста.

На основе 250+ уникальных кейсов и источников, книга содержит рекомендации для:
1. Генеральных директоров и бизнес-лидеров для более полного владения информацией как корпоративным активом
2. IT-директоров, для улучшения потока и доступности информации
3. Финансовых директоров, для измерения фактической и скрытой ценности информационных активов своей организации.

Дуглас Лэйни - вице-президент и выдающийся аналитик исследовательской и консультативной группы Chief Data Officer (CDO) в Gartner, Inc. Дуглас занимается исследованиями и консультирует клиентов по вопросам монетизации и оценки информации. Является автором разработанной Gartner модели зрелости управления корпоративной информацией и стал соавтором электронной книги о больших данных для Financial Times.