Big Data: как компании работать с большими данными

Что такое Big Data

Зачем бизнесу большие данные

Данные в современных условиях – одна из основ стабильной жизнедеятельности и успешного развития компании. Большие данные используются, в первую очередь, для глубокого и точного анализа спроса и ситуации на рынке, прогнозирования продаж и тенденций, принятия стратегически верных решений – основанных на фактах, а не гипотезах.

Предположим, вы – владелец пекарни в одном из районов Москвы. Люди из окрестных домов знают пекарню, регулярно покупают изделия и рекомендуют соседям. Однако в некоторые дни к концу дня остается большое количество нераспроданного хлеба и выпечки, а в другие спрос превышает предложение. Предсказать спрос не получается: на него влияет масса факторов от погоды до ассортимента хлеба в ближайшем супермаркете. Вы хотите стабилизировать продажи, увеличить ассортимент, обзавестись новыми лояльными клиентами и расшириться до сети пекарен, открыв подобные заведения в других районах. Как вам помогут большие данные?

Имеет смысл для начала собрать максимум данных о поведении и предпочтениях своих клиентов. Так вы узнаете:

• какие товары наиболее востребованы;
• какие товары покупают в наборах;
• сколько покупателей в каждом из временных интервалов;
• насколько скидки влияют на объем продаж;
• возрастет ли объем продаж, если запустить акцию «приходите вместе с соседями и получите булочку в подарок»;
• как влияет на объем продаж подключение опции доставки на дом;
• востребовано ли предложение горячих и холодных напитков и т.п.

Так вы увидите фактическую картину, как у вас устроены продажи. Причем увидите в прямом смысле слова: программные продукты, выполняющие анализ Big Data, позволяют визуализировать аналитическую отчетность в виде графиков, диаграмм, схем, таблиц, по которым сразу становится ясно, как распределяются продажи, когда покупателей больше всего, насколько успешны акции.

Например, выяснится, что больше всего посетителей в утренние и вечерние часы, что акция «приходите вместе с соседями» особенно популярна, если есть возможность попить чай прямо в пекарне, что к булкам часто покупают конфитюр и т.п. Обладая этой информацией, вы нарастите объем продаж, поставив дополнительные столики, оповестив клиентов, что к вечеру вы выпекаете свежие изделия, предлагая набор новых вкусов варенья. Успешность этих маркетинговых шагов вам также помогут оценить инструменты для работы с большими данными.

Для кого актуальна работа с данными?

С большими данными сейчас работает не только бизнес, но и государство, здравоохранение и наука. Основные потребители отчетов, основанных на Big Data – это руководители, аналитики, маркетологи, менеджеры по продажам и продуктам. Руководители получают отчетность, показывающую в любых разрезах, насколько эффективно работает предприятие, где возникают узкие места, какие проблемы наиболее критичны. Маркетологи изучают эластичность спроса, предсказывают изменения в поведении покупателей, делают прогнозы продаж, оптимизируют затраты на рекламу. Менеджеры по продукту анализируют отзывы клиентов, данные о конкурентах, прирост пользователей. Финансовые аналитики определяют целесообразность инвестиций, взвешенно управляют рисками, обеспечивают безопасность транзакций.

В здравоохранении Big Data помогает улучшить диагностику, определять заболевания на ранней стадии, персонализировать лечение, выявлять группы риска, предсказывать вспышки заболеваний, разрабатывать новые лекарства и методы лечения. Большие данные способствуют новым научным открытиям, прогнозированию в различных областях науки, созданию новых технологий и материалов. Государство с помощью больших данных решает свои задачи: составляет график движения общественного транспорта, повышает собираемость налогов, выявляет потенциальные очаги преступности и многое другое.

Основные этапы работы с большими данными

Работа с Big Data состоит из четырех основных этапов: сбор, обработка, анализ и применение результатов в практических целях. Иногда хранение данных и их визуализацию выделяют в отдельные этапы, но мы не посчитали это целесообразным: сбор и обработка невозможны без хранения, а средства визуализации встроены во все современные программные продукты и неразрывно связаны с анализом. 

Сбор данных: источники и типы данных

Большие данные, как правило, аккумулируются из многих источников – это позволяет создать объемную и многоплановую картину исследуемого объекта. Например, для составления портрета пользователя собирается его цифровой след: публикации, лайки и комментарии в соцсетях, каналы, на которые он подписан, история взаимодействия с онлайн-сервисами, история покупок и добавления в избранное, геолокации и проч. Такого типа данные относятся к социальным. Кроме них, есть еще машинные – генерируемые различными устройствами, и транзакционные данные, к которым относится информация о покупках, платежах, бронированиях, переводах и т.п.

По типам данные можно разделить на:

• структурированные – базы данных, электронные таблицы;
• частично структурированные – XML-файлы, JSON-файлы, электронные письма, документы Word;
• неструктурированные – тексты, изображения, аудио- и видеофайлы.

Конечно, данные собираются не вручную. Для автоматизации их сбора разработано множество различных инструментов – от различного рода парсеров до специализированных интерфейсов.

Хранение и обработка информации

После сбора данные сохраняются в распределенных файловых системах, базах данных NoSQL или в облачных хранилищах. Там производится очистка данных: при помощи специальных программ их отбирают и фильтруют, проверяя на точность и соответствие заданным параметрам. Алгоритм, работающий по принципу MapReduce, распределяет данные между узлами, серверами, компьютерами. Затем они параллельно друг с другом обрабатывают сегменты данных.

Анализ и визуализация данных

Очищенные данные уже можно использовать для анализа. Анализ помогает выявить тенденции, закономерности, узкие места, корень проблемы или явления. Для анализа применяются такие методы и технологии, как машинное обучение, нейронные сети, статистический анализ, BI-системы и другие. Отдельным направлением является предиктивная аналитика – прогнозирование на основе исторических данных. Этот метод все активнее используется в продажах, медицине, финтехе, логистике.

Применение результатов для принятия решений

Финальный этап – то, для чего производились все предыдущие – это применение на практике результатов, полученных от сбора, обработки и анализа данных.

• осуществление точного прогнозирования;
• мгновенное реагирование на сбои и уязвимости в безопасности;
• разработка маркетинговых стратегий, планов продаж, рекламных кампаний;
• планирование инвестиций;
• построение долгосрочной стратегии развития компании или продукта;
• оперативное исправление недочетов в работе.

Таким образом, конечный результат работы с большими данными – это улучшение работы по одному или нескольким параметрам, развитие компании, оптимизация издержек.

Технологии и инструменты Big Data

Для работы с большими данными разработано множество инструментов и технологий.

Перечислим наиболее популярные:

1. NoSQL – нереляционные базы данных для хранения неструктурированных данных. Они легко масштабируются и имеют гибкие настройки.
2. Озера данных (Data Lake) – хранилища, содержащие сырые, неструктурированные данные.
3. MapReduce, Hadoop, Spark и т.д. – распределенные файловые системы и фреймворки для обработки, интеграции и хранения данных на кластерах серверов. Они разбивают большие объемы данных на части, распределяя их по множеству серверов, чтобы поддерживать высокую производительность обработки.
4. Машинное обучение (Machine Learning, ML) и искусственный интеллект (Artificial Intelligence, AI) – инструменты и алгоритмы для анализа данных и выявления закономерностей, прогнозирования и автоматизации процессов.
5. Облачные вычисления – масштабируемые ресурсы для хранения и обработки больших данных.
6. Data Mining – инструмент для интеллектуального анализа, поиска закономерностей и тенденций в больших объемах данных.

Выбор технологий и инструментов для работы с Big Data зависит от специфики решаемой задачи, количества источников, объема и структуры данных, требуемой скорости обработки. Например, для обработки больших объемов данных, которые хранятся в распределенной файловой системе, могут быть использованы Hadoop и MapReduce, а для более быстрой обработки в оперативной памяти – Spark.

Популярные платформы и решения

В мире больших данных используются термины и аббревиатуры, не до конца понятные многим пользователям. Раскроем, что за ними стоит:

DWH (Data Warehouse, хранилище данных)

DWH (Data Warehouse, хранилище данных) – централизованное хранилище, предназначенное для сбора, хранения и анализа Big Data. DWH позволяет долго хранить большие массивы исторических данных. Файлы в нем сгруппированы по областям применения и расположены по хронологии. Данные могут быть распределены по витринам, чтобы реализовать ограничения доступа к ним. Примером DWH является, например, СУБД Arenadata.

Рис.1. Принцип работы DWH Arenadata

вас заинтересует

DWH: Корпоративные хранилища данных

Используйте максимальный объём данных для более точного анализа и принятия обоснованных решений

Узнать подробнее

ETL и ELT

ETL и ELT – способы интеграции, трансформации и извлечения данных. Традиционный подход ETL подразумевает извлечение данных из различных источников, их очистку и преобразование в соответствии с бизнес-правилами, и загрузку в целевую DWH-систему. Инновационный подход ELT меняет действия местами: данные сначала загружаются в DWH, а затем преобразуются внутри нее. Это позволяет использовать вычислительные мощности DWH для обработки данных. В качестве инструментов для ETL и ELT применяются Loginom, Юниверс smartETL, Arenadata Streaming и др.

Рис.2. Список процессов в Юниверс smartETL

Внедрение ETL и ELT

Подбор и внедрение инстурментов для извлечения, трансформации и загрузки данных под ключ

Оформить заявку

MDM

MDM (Master Data Management, системы управления мастер-данными) – системы для централизованного и систематизированного хранения мастер-данных предприятия, обеспечивающие их согласованность, достоверность и целостность. Из примеров MDM-систем можно выделить 1C:MDM, Arenadata Harmony MDM, Юниверс MDM.

Рис.3. Карта маршрута бизнес-процесса в 1C:MDM

вас заинтересует

MDM: Внедрение систем управления мастер-данными

Централизованное хранение данных, актуализация записей, автоматизация сбора информации, группировка данных и упрощение отчетности

Узнать подробнее

Data Catalog

Data Catalog (каталог данных) – инструмент, который собирает метаданные обо всех источниках данных в компании и осуществляет управление ими. С его помощью можно классифицировать данные, изучать их свойства, находить нужные данные по различным параметрам, анализировать их, контролировать доступ. Востребованные Data Catalog – это Arenadata Catalog, Юниверс DG.

Рис.4. Моделирование графа связей в Юниверс DG

вас заинтересует

Data Catalog: внедрение Каталога Данных

Централизованное хранилище метаданных для упрощения поиска, управления и анализа больших объемов информации

Узнать подробнее

BI-решения

BI (Business Intelligence, бизнес-аналитика) – технологии и процессы, направленные на глубокий анализ данных с использованием средств визуализации. BI включает в себя инструменты для создания и изучения отчетов, дашбордов, аналитических панелей. Из российских BI-платформ можно выделить PIX BI, Visiology, Modus BI.

Рис.5. Пример дашборда в PIX BI

вас заинтересует

BI: Внедрение систем бизнес‑аналитики

Управляйте бизнесом на основе достоверных данных

Узнать подробнее

Искусственный интеллект

ИИ, искусственный интеллект – инструмент, позволяющий извлекать ценные знания из больших данных. ИИ использует Big Data для обучения – в частности, алгоритмы машинного обучения на их основе выявляют закономерности, создают модели и осуществляют прогнозирования.

Сейчас разработано столько решений для работы с Big Data, что можно подобрать вариант на любой бюджет и задачи. В связи с санкциями и уходом многих западных вендоров с российского рынка рекомендуем вам по возможности пользоваться зрелыми российскими инструментами – это надежнее, предсказуемее и безопаснее. Благо, их уже достаточно много, и они проверены годами эксплуатации.

Основные вызовы и проблемы

При работе с большими данными можно столкнуться с проблемами, касающимися, в первую очередь, качества данных и их защиты. Хорошая новость – все они решаемы, если правильно выбрать инструменты и комплексно подойти к задаче использования Big Data.

1. Стандартизация и качество данных. На этапе сбора данные разрознены и представлены в разных форматах – и это нормально. Но использовать их в сыром виде для анализа преждевременно, обязательно нужно уделить внимание всем аспектам их очистки: отбору по заданным параметрам, фильтрации, проверке на актуальность, точность, полноту и другие критерии качества.
2. Информационная безопасность и защита персональных данных. Требования к хранению больших данных выше, чем обычных, поскольку риски в случае несанкционированного доступа к ним тоже высоки. Для реализации политики безопасности используют совокупность технологий: шифрование, анонимизацию, разграничение доступа, обеспечение отказоустойчивости систем, защиту от DoS-атак. К защите персональных данных нужно подойти не менее ответственно: ее нюансы прописаны в законе 152-ФЗ «О персональных данных». В Big Data существует принцип минимизации сбора персонализированных данных, по которым можно идентифицировать пользователя – в пользу обезличенных данных.
3. Необходимость специалистов и опыт команды. Работа с большими данными требует привлечения квалифицированных специалистов: аналитиков данных, специалистов по ИИ и машинному обучению, системных аналитиков, Data scientist, Data engineer. Важно, чтобы они работали в команде и их деятельность была скоординирована.

Обычно только очень крупные компании имеют в штате всех перечисленных нами специалистов. Но и это не проблема: распространена практика, когда команду для работы с Big Data приглашают на аутсорсинг или аутстаффинг. Это имеет ряд преимуществ – от отсутствия необходимости выплачивать за них налоги и другие сборы до гарантированного результата работы опытной и сплоченной команды.

С чего начать внедрение Big Data в компании

«Все это звучит интересно и многообещающе, но с чего начать?» – спросите вы. Рассказываем.

1. Определите бизнес-цели и задачи. Например, вывод нового продукта на рынок, снижение операционных затрат, улучшение качества обслуживания и т.д. Желательно, чтобы цели имели четкие численные и временные показатели: начало продаж продукта с 1-го декабря, увеличение конверсии на сайте на 10% за месяц, сокращение максимального времени реагирования на обращения до 30 минут к 1-му июня.
2. Проведите аудит, касающийся сбора данных. Для этого нужно определить, из каких источников будет поступать информация и какая именно.
3. Разработайте архитектуру системы для сбора, хранения, обработки и анализа данных. Убедитесь, что ИТ-инфраструктура готова для работы с большими данными.
4. Выберите инструменты для сбора, хранения и обработки данных. Здесь вам могут пригодиться наши рекомендации из раздела «Популярные платформы и решения».
5. Установите выбранные инструменты и осуществите их настройку. Понадобится настройка правил сбора данных из различных источников, процессов их очистки, стандартизации, интеграции. Также нужно будет настроить параметры хранения, защиты, обработки данных и автоматизацию других процессов. Затем разрабатываются дашборды и отчеты, которые позволяет анализировать и визуализировать данные.
6. Проведите для сотрудников обучение по работе с новыми инструментами. Обучение должно зависеть от роли, которую пользователь будет выполнять: например, маркетологу не нужно знать, как разрабатывать дашборды.

После начала работы с большими данными рекомендуем на постоянной основе осуществлять мониторинг KPI по ключевым для вас параметрам: снижение затрат, возрастание выручки, прирост клиентской базы, точность прогнозирования, окупаемость инвестиций и т.д. По результатам анализа вы сможете вносить изменения в работу с Big Data и повышать ее эффективность.

Советы по подбору команды и технологического стека

Оптимальный способ внедрения Big Data в компании – привлечение опытного интегратора с внушительным бэкграундом участия в релевантных проектах. Важно, чтобы с вами работала слаженная команда квалифицированных специалистов, компетенции которых соответствуют вашим целям и поставленным задачам. Получить представление о профессионализме интегратора вы можете на основе общения, изучения открытой информации (опыт работы, кейсы на сайте, отзывы клиентов), референсов – их компании часто предоставляют по запросу. На вводной консультации вы сможете задать все интересующие вопросы и сделать выводы, исходя из информативности и практичности полученных советов.

При выборе технологического стека рекомендуем в первую очередь определить, где вы будете хранить и обрабатывать данные: в облаке или локально. Чаще всего для Big Data выбирают облачные хранилища, поскольку они обладают достаточной производительностью, обеспечивают масштабируемость и гибкость, не перегружая ИТ-инфраструктуру компании. Однако организации, в которых вопросам безопасности данных уделяется особое внимание, отдают предпочтение серверным хранилищам. Выбор конкретных инструментов и технологий зависит от ваших задач и особенностей ИТ-ландшафта. Точные рекомендации можно дать по итогам определения целей внедрения Big Data, источников и состава собираемой информации, и моделирования архитектуры системы работы с данными.

Будущее и тренды Big Data

Big Data интенсивно развивается – и ожидается, что это будет продолжаться. Из того, что мы наблюдаем, можно выделить ряд трендов:

1. Расширение возможностей интеграции с ИИ и машинным обучением для автоматизации процессов, повышения точности анализа и прогнозов.
2. Рост объема данных. Данные накапливаются и алгоритмы учатся обрабатывать все больший и больший их объем.
3. Развитие технологий для обеспечения высокого уровня защиты данных, особенно персональных.
4. Масштабное использование BI-платформ с Self-service аналитикой, которую можно быстро осуществлять без программирования.
5. Построение коллабораций. Смежные сегменты бизнеса объединяют данные, чтобы получить более полную и объемную картину рынка.
6. Упрощение интеграции инструментов Big Data с источниками данных и между собой.

Также ожидается рост спроса на специалистов по работе с данными: Data engineer, Data scientist, BI-разработчиков, аналитиков различной направленности, специалистов по машинному обучению.

Заключение

В современном мире данные — это один из главных ресурсов, способный существенно повысить эффективность вашего бизнеса. Использование технологий Big Data открывает перед компаниями новые горизонты: от точного прогнозирования спроса до оптимизации затрат и улучшения взаимодействия с клиентами.

Эксперты компании Первый Бит обладают необходимыми знаниями и практическими навыками, чтобы помочь вам выстроить эффективную систему работы с большими данными. Мы предлагаем полный цикл услуг — от внедрения инструментов для сбора и хранения данных до построения интеллектуальных аналитических моделей, которые приведут к ощутимым бизнес-результатам.