Если вы когда-либо обращались к специалисту по обработке данных для создания модели машинного обучения, вероятно, вы сначала почувствовали восторг, а затем озадачение.
Потенциальная сила впечатляет. В корпоративном применении предсказательный искусственный интеллект является противоядием от перегрузки информацией. Слишком много потенциальных клиентов? Используйте предсказательную модель, чтобы определить приоритеты от наиболее вероятных к покупке до наименее вероятных. Слишком много веб-страниц, на которых может быть нужная информация? Поисковая система Google использует модель, которая упорядочивает результаты поиска, помещая вверху те веб-страницы, которые, вероятно, наиболее соответствуют запросу. Слишком много зданий для проверки на пожарные опасности? Модель Нью-Йоркского пожарного департамента говорит им, какие из них следует приоритизировать как высокие риски.
В конечном итоге вы сядете с вашим квантом, чтобы услышать, как прошло ее числовое моделирование. “Предсказательная модель отличная!” – восклицает она. “У нас отличный набор данных, поэтому у нас площадь под кривой ROC составила 0.83!”
“Что это значит?” – вам приходится спрашивать.
“О, я имею в виду площадь под кривой ROC.”
“Хорошо… так это хорошо 0.83?” – спрашиваете вы, надеясь на лучшее.
“Абсолютно! Эта модель значительно лучше, чем отсутствие модели. Она, как, намного лучше случайного угадывания.”
Этот специалист по машинному обучению предоставляет вам конкретные цифры, но не помогает вам принять решение о бизнес-ходе. Вы спрашиваете: “Хорошо, сколько денег нам принесет использование модели для отправки следующей прямой рассылки?”
“О, я уверена, много. Я имею в виду, что таким образом вы будете связываться с клиентами, более склонными к покупке, так как как это может быть иначе?”
Странно: Ее компетенция впечатляет, и вы не сомневаетесь ни в чем, что она говорит, но все равно чувствуете, что вам приходится заставлять ее заговорить. “Итак, в итоге, на сколько улучшится прибыль от маркетинга, если мы обратимся только к верхним 20% из нашего списка потенциальных клиентов?”
“Ох… да, я могу полностью оценить это. Давайте встретимся снова завтра.”
На следующий день вы получаете ваш ответ. “Прибыль будет оценена в 1.6 миллиона долларов, что намного лучше, чем если бы вы отправили нецелевое массовое письмо всему списку, что привело бы вас в убытки на почти 800 000 долларов.”
Звучит хорошо, но после настоятельных требований вы чувствуете, что вам дан только один взгляд сквозь замочную скважину. Вам нужна более широкая видимость. Что, если вы маркетинговали к верхним 15% или 35%? Будет ли кто-то из них лучше?
Давайте перейдем к разрешению, которое избавит вас от этого неловкого, но часто встречающегося разговора. Полный взгляд, который вам нужен, называется кривой прибыли, редким, но фундаментальным видом потенциальной ценности предсказательного искусственного интеллекта.
Кривая прибыли показывает вам диапазон вариантов, предлагаемых предсказательной моделью. На приведенной выше примере кривой, 30% является лучшей точкой остановки, если ваша цель – максимизировать прибыль. Или, если немедленная прибыль не ваш единственный столб, и вместо этого вы хотите обратиться к многим клиентам, то 84% будет точкой безубыточности – вы сможете обратиться к такому количеству бесплатно, что, возможно, будет лучшим выбором, чем обращение ко всему списку с убытком почти 800 000 долларов, отрицательной прибылью, показанной в самом правом краю кривой. В этом диапазоне вариантов отсечения позиция, которую вы выбираете, называется порогом принятия решения.
По сути и важности, это визуальное изображение редко встречается. Несмотря на роскошь ваших квантов, вы, вероятно, не получите его, если не настоите на этом. Почему? Это не соответствует типичной специфике данных ученого. Это не является частью культуры, нигде не найдется этих технических книгах или университетских курсах. Возможно, более важно, что используемое ими программное обеспечение машинного обучения, вероятно, не имеет встроенной этой функции, по крайней мере, не в удобном, расширяемом виде.
Все-таки такая ориентированная на бизнес точка зрения находится за пределами должностных обязанностей ученого по данным. Они знают, как избегать технических препятствий, указывая своей машине, как учиться предсказывать из данных. И они знают, как сообщить о успехах своей модельной работы – используя метрики, которые отражают чисто прогностическую эффективность модели. Но что насчет потенциальной ценности модели в простых бизнес-терминах, таких как прибыль? Оценка – это задача для других, ответственность руководителей бизнеса, которые, в идеале, подключат модель к своим операциям, улучшая операции с помощью прогнозов модели. Ведь эти лидеры считают, что это технический шаг, принадлежащий ученому по данным, и правильно считают.
Поскольку редко предоставляется информация о потенциальной бизнес-производительности моделей машинного обучения, корпоративные проекты машинного обучения часто не могут быть реализованы. Это является частью упрямого разделения бизнеса и технологий, разрыва между заинтересованными сторонами и квантами, когда они не говорят на одном языке. Но без преодоления этого разрыва почти невозможно принять обоснованное решение о том, следует ли и каким образом развертывать модель машинного обучения – будь то для нацеливания на маркетинговую кампанию или улучшения любого другого крупномасштабного процесса.
Как представитель бизнеса, не урезайте требования. При каждой модели машинного обучения, которую вы рассматриваете для развертывания, убедитесь, что ваши специалисты по обработке данных предоставляют вам полную картину ее потенциальной бизнес-ценности.
