Data Monetization: Generating Financial Returns from Data and Analytics—Summary of Survey Findings

Доклад MIT CISR «Data Monetization Survey Report» исследует, как компании могут извлекать финансовую выгоду из своих данных. Среди интересных инсайтов:

1. В среднем, наиболее развитыми практиками Data Science в исследуемых компаниях являются дашбординг и визуализация данных, наименее - использование специализированной аналитики (NLP, IoT/Edge) и обучение сотрудников основам Data Science (Статистика).

2. При этом, методы, которые отличают Top-performers компаний от их наименее результативных коллег, включают в себя как раз таки использование передовых инструментов обработки данных и аналитики, машинного обучения и специализированной аналитики (NLP, IoT/Edge), а также предоставление базового обучения в области науки о данных (грамотность, статистика) всем сотрудникам компании.

3. Для повышения клиентоцентричности бизнеса компании склонны вовлекать сотрудников, напрямую работающих с клиентами в процесс разработки продуктов.

4. Наибольший потенциал для получения экономической отдачи от своих данных имеет стратегия улучшения внутренних процессов. В среднем компании, принявшие участие в исследовании, получили 51% прибыли от монетизации данных за счет использования данных для повышения операционной эффективности, передавая данные в руки сотрудников, которые уполномочены принимать решения: например, тех, кто взаимодействует с клиентами, контролирует разработку продукции или управляет производственными процессами.

LLMs Will Always Hallucinate, and We Need to Live With This

"Проблема галлюцинаций ИИ систем - не временный сбой, а фундаментальная особенность их работы", — утверждают авторы исследования, основываясь на математической теории вычислений и теореме Гёделя о неполноте.

Принципы работы языковых моделей

Логика работы моделей напоминает игру, где приходится описать картинку, не видя ее целиком. С большей вероятностью это приведет к ошибкам — и именно так работают галлюцинации ИИ.

Авторы статьи утверждают, что это не признак несовершенства технологии, а основополагающий принцип работы ИИ. Сколько бы мы ни дообучали эти системы, они никогда не смогут знать абсолютно все. И даже если бы у них был доступ ко всем данным мира, существуют фундаментальные математические ограничения, не позволяющие системам всегда безошибочно извлекать необходимую информацию.

Подтвержденные авторами гипотезы

1. Никакие данные обучения никогда не могут быть полными. Мы никогда не можем дать 100% априорных знаний. Постоянно меняющаяся природа человеческих знаний гарантирует, что наши данные обучения всегда будут, в некоторой степени, неполными или устаревшими.

2. Даже если бы данные были полными, LLM не могут детерминированно извлекать правильную информацию со 100% точностью. Сама природа этих моделей гарантирует, что всегда будет некоторая вероятность извлечения нерелевантной информации, пусть и малая.

3. LLM не сможет точно классифицировать с вероятностью 1. Всегда будет некоторая двусмысленность, некоторая возможность неправильного толкования.

4. Никакое априорное обучение не может детерминированно и решительно остановить языковую модель от производства галлюцинаторных утверждений, которые фактически неверны.
Вместо попыток сделать ИИ безупречным, как предлагают авторы, нам следует принять его недостатки и сосредоточиться на том, как управлять ими наиболее эффективно.

65 полезных ресурсов для начинающих аналитиков и специалистов по Data Science

Список из 65 полезных ресурсов от Яндекс Практикум, которые помогут начинающим аналитикам и специалистам по Data Science уверенно справляться с профессиональными вызовами.

Для дата-сайнтистов:
- Разбор библиотек Python и SQL
- Платформы с интерактивными задачами для подготовки в союеседованиям
- Книги, курсы, и статьи по Machine Learning

Для бизнес-аналитиков:
- Статьи о о жизненном цикле разработки ПО
- Практичные советы о том, как работать со стейкхолдерами

Для системных аналитиков:
- Инструмент работы с диаграммами в нотации UML

- Чек-лист по знаниям системного аналитика уровня middle и senior

Думай как математик: Как решать любые задачи быстрее и эффективнее

"Думай как математик: Как решать любые задачи быстрее и эффективнее" — это прикладная книга, которая переворачивает взгляд на решение сложных задач, предлагая применять математическое мышление не только к числам, но и к повседневной работе.
Автор объясняет, как использовать принципы структурированного анализа, абстракции и упрощения, чтобы принимать решения быстрее и увереннее и усовершенствовать процесс усвоения материала.

Отличное подспорье во времена трансформаций, когда кажется, что "перестроить" сознание и сменить парадигмы нелегко; а то и невозможно.

На личном примере перехода от 'технофоба' к 'техногению', автор научит вас:
- Разбивать масштабные проблемы на управляемые части
- «Сжимать» ключевые идеи так, чтобы их было удобнее удержать в памяти

- Быстро находить нетривиальные пути решения за счёт применения принципов логики и вероятностей.