Данные разнообразны. Как мы уже обсуждали ранее, существует несколько видов данных, и бесконечное многообразие форм и формулировок постоянно расширяется. Данные отличаются не только по своему основному роду и виду, они также различаются по интенсивности, регулярности и объему.
В мире, где все больше данных также работает в приложениях, требующих высокой интенсивности данных, как было объяснено ранее, нам необходимо уметь работать с большим объемом данных на все более высоких уровнях разрешения, то есть с данными потоками, которые несут богатый набор информации, охватывающий значения, связанные с изображениями, движением, звуком и другими неструктурированными элементами, которым мы теперь пытаемся придать структурированный вид.
Местом, которое теперь будет специфически использовать высокоразрешающие данные, будут вселенная датчиков, заполняющих Интернет вещей. Физический мир все больше наполняется датчиками, большинство из которых собирают данные со страстной скоростью. В автомобильной промышленности, например, автомобили, сходящие с производственных линий, содержат сотни датчиков Интернета вещей, которые производят и собирают данные, чтобы предоставить цифровые указатели, на которые могут реагировать владельцы автомобилей (или сами транспортные средства). Используя датчики для отслеживания изменений со временем, производители во всех отраслях снабжают себя информацией, необходимой для поддержки передовых приложений искусственного интеллекта.
В конце концов, искусственный интеллект силен только настолько, насколько сильны данные (высокого разрешения или иного), которые его питают… так какие это имеет последствия на уровне управления данными и баз данных?
“Как мы сейчас знаем, искусственный интеллект включает различные подкатегории, такие как генеративный искусственный интеллект, причинно-следственный искусственный интеллект и то, что я назвал мировым искусственным интеллектом. В то время как генеративный искусственный интеллект привлек внимание своей способностью генерировать новые данные из предоставленного ввода, мировой искусственный интеллект сосредотачивается на практических применениях, нацеленных на реальные сценарии,” – сказал Эван Каплан, генеральный директор InfluxData, организации, известной своей базой данных для обработки временных рядов, созданной специально для обработки метрик, событий и журналов в одном месте.
Каплан предполагает, что эти “реальные” приложения требуют данных для решения различных проблем, начиная от автоматизации производства до умных термостатов. Применяя разнообразные техники для анализа данных, модели, работающие в этой области, могут обеспечивать прогностическую аналитику, прогнозирование и обнаружение аномалий. Однако вызов заключается в значительных объемах данных высокого разрешения – в сущности, данных с богатым уровнем деталей и ясности – необходимых для запуска, обновления и обучения моделей для инструментов искусственного интеллекта.
“Платформы, адаптированные для управления данными высокого разрешения в масштабе, появились для решения этой проблемы. Эти платформы способны обрабатывать объем и скорость новых данных, иногда с точностью до наносекунды, необходимые для питания моделей искусственного интеллекта. Совместно с продвинутым искусственным интеллектом, это открывает двери к полностью автономным системам,” – сказал Каплан. “Поскольку эти системы становятся все более развитыми, увеличивается необходимость понимания и получения ценности из данных в реальном времени или временных рядов – данных, записанных через равные интервалы – экспоненциально увеличивается. Каждое интернет-подключенное устройство генерирует непрерывный поток данных временных рядов. Искусственный интеллект использует эти данные для анализа исторических паттернов, моделирования поведения и прогнозирования. Это пример мирового искусственного интеллекта, который создает интеллект в масштабе через автоматизированное сбор данных, позволяя системам прогнозировать результаты, реагировать на них и эффективно управлять ими.”
На универсальном спектре данных, данные временных рядов считается обогащающим интеллект системы, предоставляя хронологический контекст по различным источникам потоковых данных. Эти данные обрабатываются с использованием программных алгоритмов и машинного обучения для интерпретации сигналов и контекстуализации реального мира в смысловую последовательность.
Использование данных временных рядов в масштабе означает, что автоматизированные технологии способны непрерывно повышать свой интеллект, по мере того как датчики сталкиваются с растущим множеством мировых (продолжая использовать терминологию генерального директора InfluxData) сценариев. Однако поскольку потоки данных, необходимые для этого, никогда не прекращаются, лежащие в основе системы искусственного интеллекта должны быть построены на платформе, способной обрабатывать данные временных рядов с высоким объемом и высокой кардинальностью.
“Представьте себе датчик, измеряющий до 50 различных показателей каждую миллисекунду. Теперь подумайте о том, что автономная система может содержать десятки или сотни датчиков. Эти датчики генерируют данные высокой кардинальности (кардинальность в данных временных рядов означает обилие уникальных значений с течением времени), которые экспоненциально увеличиваются с каждой прошедшей минутой,” – объяснил Каплан. “Специализированные платформы для данных предлагают масштабируемую и безопасную среду для хранения, обработки и анализа данных датчиков в масштабе. Благодаря высоким скоростям ввода и возможностям запросов в режиме реального времени, эти платформы превосходно справляются с быстрым и эффективным извлечением данных, основанных на времени.”
Мы можем делать все эти предположения, предложения и определения, но мы также должны отметить, что устройства, работающие с данными реального мира, должны понимать их происхождение, операционную ценность, критичность миссии, а также иметь представление об их промежуточном и окончательном назначении. Многочисленные приложения искусственного интеллекта в реальном мире интегрируют устройства на краю с облачными платформами. Для максимизации выгод от данных временных рядов устройства должны понимать ресурсы и ограничения своих устройств на краю. Решение этих проблем, по утверждению, позволяет данным временных рядов и искусственному интеллекту создавать автономные системы, которые, в теории, становятся все более интеллектуальными. Данные будут протекать через все более сложные модели обучения и выступать в качестве базового компонента.
Распространение подключенных устройств и программного обеспечения порождает все более большие объемы очень детальных, часто высокоразрешенных данных, создавая специфические проблемы управления. Однако детальный характер сбора данных увеличивает кардинальность (число значений или количество типов значений в любом данном фрагменте данных) – вызов, с которым многие базы данных борются.
Рассмотрим датчик автомобиля формулы-1 McLaren (см. изображение выше), который фиксирует 50 различных показателей каждую миллисекунду. Это может привести к экспоненциальному росту данных с высокой кардинальностью. Столбчатые базы данных все более предпочтительны для управления этим вызовом. Они облегчают запросы почти в реальном времени, экономя дисковое пространство. Хотя они отличаются от строковых баз данных, базовая технология обычно знакома разработчикам. Понимание характеристик рабочей нагрузки данных ключевое для оптимизации эффективности обработки.
“Значительный объем данных, получаемых от датчиков, может быть дорогостоящим для хранения, что заставляет организации разрабатывать стратегии управления старыми данными. В начале, трансформация данных – необходима. Например, учитывая, что наш датчик McLaren генерирует 50 показателей данных за миллисекунду, такая детализация может оказаться не нужной в будущем, поскольку мы начинаем можем классифицировать, какая информация имела значение… и какая имела меньшее значение (или большее). Следовательно, организации могут выбрать суммарный анализ с интервалом в секунду вместо сохранения данных с интервалами в миллисекунды. Такой подход помогает сократить расходы на хранение, избавляясь от ненужных данных,” – сказал Каплан.
Генеральный директор InfluxData закончил свои замечания на эту тему, упоминая методы сжатия данных для повышения эффективности хранения. Даже после трансформации, организации остаются с значительными объемами данных временных рядов. Он предлагает, что переход к столбцовому хранению может дать улучшенные коэффициенты сжатия, сокращая использование дискового пространства и повышая производительность запросов. Согласование представления данных на диске с его аналогом в памяти облегчает эффективное перемещение данных между диском и ОЗУ, обеспечивая последовательную производительность запросов и экономию затрат.
С развитием данных и появлением новых входных данных модели искусственного интеллекта требуют непрерывных обновлений, чтобы оставаться актуальными и эффективными. Непрерывная адаптация к возникающим сценариям жизненно важна, и это может быть облегчено регулярным мониторингом. Кроме того, постоянный анализ производительности является важным, чтобы подтвердить правильную работу, особенно с введением новых данных.
Предполагая будущие результаты благодаря применению искусственного интеллекта к датчикам высокого разрешения, можно сказать, что нас ждет новая эра в терминах того, как мы управляем данными. Будь то гордый владелец умного холодильника, уведомляющего вас, когда молоко и яйца испортятся или нет, датчики стали частью нашей жизни. Мы можем быть еще не полностью осведомлены и разговорчивы относительно мира датчиков, но стоит помнить, что в среднем смартфон поставляется с около 15 датчиками, так что датчики и их данные высокого разрешения уже есть у нас в кармане. Это имеет смысл с датчиками, верно?
