Что такое Big Data

Тема больших данных впервые появилась в 1960-70-х годах, когда началась история Центров обработки данных. А первая платформа, предназначенная для взаимодействия с большими данными, была создана в 2005 году - Hadoop.

Сам термин Big Data впервые был употреблен в 2008 году. Автором определения стал редактор журнала Nature Клиффорд Линч, который отнес к большим данным всю неоднородную информацию, объем которой превышает 150 Гб в сутки. Однако сегодня единого критерия объема нет, поскольку количество данных, в том числе видео, фото, контент социальный сетей, файлы, документы, ссылки, записи, быстро увеличивается во всем мире.

Big Data – это не просто общие хранилища данных, а инструменты, которые быстрее обрабатывают информацию и тратят меньше времени на анализ. Их применяют для сбора статистики, прогнозирования. Широкое применение Big Data находят в маркетинге: полученные данные подвергаются анализу, на его основе составляется точный портрет пользователя с набором определенных социально-демографических характеристик.

Главные отличия больших данных от традиционной аналитики:

• Весь массив неструктурированных данных обрабатывается сразу.
• Сортировки данных перед обработкой, в свою очередь, не происходит.
• Эта информация подвергается обработке в реальном времени.

Сегодня большие данные используют госорганы, бизнес во всех отраслях и крупные компании. Среди них Microsoft, IBM, Oracle, EMC, Google, Apple и другие.

Зачем нужны большие данные

Большие данные применяют во всех отраслях, где предполагается работа с большим объемом информации и необходимость его анализировать. Это маркетинг и реклама, банковская сфера, здравоохранение, промышленность, ритейл, страховой бизнес и многие другие сферы. Главные цели, которые решают данные:

1. Построение моделей, основанных на поиске причинно-следственных связей.
2. Оптимизировать рутинные процессы, требующие больших трудозатрат. Например, в сервисах такси расчет стоимости сделают не люди, а автоматические программы, учитывая расстояние, погоду, время суток, загруженность дорог.
3. Составление прогнозов. Компании предсказывают поведение покупателей, на основе идет формирование магазинами персональных предложений.

Таким образом, технологии Big Data ценны не столько способностью собрать и хранить данные, сколько возможностями для ее обработки. Они имеют встроенные инструменты аналитики, которые дают возможность за короткое время провести предиктивный анализ, определить прогноз результатов стратегических решений, оптимизировать работу любого предприятия, найти пути развития.

Характеристики Big Data

От обычных данных большие отличаются признаками, которые называют VVV:

• Volume(объем) — размер данных, их вес и место, занимаемое ими. Обычно о больших данных говорят, если их поток превышает 100 Гб в сутки.
• Velocity(скорость) — чтобы быстро обработать большой объем информации, необходима высокая скорость. 
• Variety (разнообразие) — данные поступают в разнообразных форматах. Это может быть текст, денежные транзакции, видео и аудио. Используются структурированные или неструктурированные данные – часто большие данные не упорядочены полностью либо их часть.
• Variability (изменчивость) — поток данных не всегда однороден, случаются всплески и спады. 
• Value(ценность) — параметр, который оценивает важность информации и сложность ее обработки. Помогает бизнесу рассчитать эффективность затрат на внедрение Big Data.
• Visualization(визуализация) — результаты анализа Big Data можно визуализировать для упрощения восприятия.
• Veracity(достоверность) — точность как самих данных, так и способа, с помощью которого они получены.

Как собирают и хранят большие данные

Big Data необходимы, чтобы собирать данные из всех доступных источников. Это следующие источники:

1. Интернет вещей (IoT) и облегчающие жизнь устройства, подключенные к нему. Это смартфоны, умные колонки, системы умного дома и другие устройства, передающие данные с помощью датчиков.
2. Данные от компаний: заказы продуктов, совершенные транзакции, профили клиентов, запросы в сети.
3. Данные приборов – метрологических станций, замеров состава воды и воздуха, сведения, полученные со спутников.
4. Статистика государств и регионов о рождаемости и смерти, миграции жителей.
5. Медицинская информация – результаты анализов, электронные снимки.
6. Социальные сети, в которые пользователи выкладывают видео, тексты, фотографии.
7. Онлайн-кассы, отправляющие через сеть данные о транзакциях в режиме реального времени.
8. Карты лояльности, которыми пользуются постоянные клиенты.
9. GPS-трекеры.
10. Поисковые системы, куда пользователи вводят запросы.
11. Информация из мобильных приложений.

Для хранения всей полученной информации существуют следующие технологии:

• Собственные сервера и инфраструктура, которую компания самостоятельно закупает. Также необходимо организовать их обслуживание.
• Специальные дата-центры с очень мощными серверами.
• Data cloud – готовые облачные хранилища, которые сдают в аренду места для хранения данных и обеспечивают техническую поддержку. Такую услугу предоставляют, например, Amazon, Microsoft или Google.

Как анализируют и используют большие данные

Для обработки больших данных используется специальное ПО, которое называют горизонтально масштабируемым: задачи распределяются между несколькими компьютерами, которые одновременно проводят обработку.

В основе ПО – модель параллельных вычислений MapReduce, которая работает по алгоритму:

• Извлечение данных из всех источников, которые система фильтрует по заданным условиям и распределяет между компьютерами.
• Компьютеры (узлы) параллельно проводят вычисления, передавая полученные результаты.

Именно на основе этой модели работает Hadoop с открытым кодом. Если в одном узле этой системы произойдет сбой, ее задачи будут переданы другим. Еще один пример такого ПО - Apache Spark. Это набор библиотек, предназначенных для проведения вычислений в оперативной памяти.

Для анализа больших объемов данных и выявления закономерностей используется несколько методов:

1. Descriptive analytics – описательный метод, используется для выяснения причин событий, корректировки действий.
2. Predictive analytic – предписательный метод прогнозирования на основе текущей ситуации. Для этого используется машинное обучение, нейросеть, Data Maning и сложные математические алгоритмы.
3. Prescriptive analytics – предиктивная технология выявления проблемных точек в любом деле и прогнозирования с их учетом.
4. Diagnostic analytics – диагностика текущего состояния для выявления проблем.

Базы работают на основе обезличивания данных для защиты информации и агрегированности, то есть оперирования средними показателями.

Использование технологии Big Data

Данные используют во многих отраслях бизнеса:

1. Промышленность. Большие данные позволяют прогнозировать спрос на продукцию и, соответственно, планировать производство.
2. Найм сотрудников. С помощью данных рекрутеры на начальном этапе отсеивают кандидатов, не заинтересованных в получении вакантной должности или совсем не подходящих для нее.
3. Банки. Данные позволяют защищать клиентов банков от действий мошенников, поскольку системы способны автоматически обнаруживать странности в поведении отдельных пользователей. Также большие данные используют для оценки платежеспособности клиентов.
4. Автомобилестроение. Большие данные помогает усовершенствовать производство машин разного назначения.
5. Медицина. Используют для анализа показателей жизнедеятельности человека, для точной постановки диагнозов и разработкилекарств.
6. Госструктуры. С помощью больших данных государственные компании ведут статистику, принимают решения относительно занятости населения, борьбы с преступностью, обеспечения безопасности.
7. Маркетинг. Большие данные упрощают исследования и проекты, позволяют с помощью cookies сегментировать пользователей и разрабатывать для них персональные предложения.
8. Медиа. Big Data используются для измерения аудитории для формирования редакционной политики.
9. Логистика. Использование больших данных и их анализ оптимизирует перевозки и делает их дешевле, исключает вероятность ошибок.
10. Обработка фото. Базы данных позволяют использовать огромное число стилей и фильтров, которые помогают в работе фотографов.
11. Ритейл. Большие данные применяются супермаркетами и интернет-магазинами для анализа транзакций, разработки персональных предложений, оптимизации доставки, улучшения мерчендайзинга.
12. Рынок недвижимости. Девелоперы собирают информацию, чтобы предложить пользователю интересные варианты жилья.
13. Спорт. Тренеры используют Big Data для отбора перспективных игроков и разработки эффективных стратегий для каждого противника.
14. Сельское хозяйство. Big Data необходимы для построения точных прогнозов погоды в конкретной местности.
15. Геология. На основе больших данных о состоянии почвы и прочих факторах ведется поиск новых месторождений.
16. Образование. Большие данные помогают понимать и выбирать курсы и вебинары.

Big Data в маркетинге

Широкое применение данные нашли в продвижении. К маркетингу обычно относится четыре типа данных:

• Данные о клиентах – демографические, социальные, предпочтения, интересы.
• Данные о конкурентах – цены, продажи, рекламные активности.
• Данные об операциях – критерии эффективности маркетинговых кампаний.
• Данные о финансах – уровень продаж, издержки, прибыль.

На практике большие данные применяются маркетологами для решения следующих задач:

1. Сегментация рынка.
2. Портрет целевой аудитории.
3. Персонализация рекламы в интернете и соцсетях и снижение расходов на рекламные кампании.
4. Прогнозирование поведения потребителей.
5. Создание и совершенствование продуктов.
6. Сокращение издержек.
7. Формирование персонализированных скидок, рекомендация новинок.

Языки программирования для больших данных

Для работы требуется знание нескольких языков программирования. Самые основные:

• Python – очень популярный язык программирования. Python широко применяется для статистического анализа и в машинном обучении. Существует много библиотек Python, которые упрощают работу.
• Java – язык, который нужен для написания некоторых бесплатных инструментов для работы с Big Data.
• JavaScript – один из основных языков для создания динамичных сайтов и блогов. Используется для обмена большими данными и их визуализации.
• C/C - два языка, которые позволяют генерировать полезные инструменты с высокой скоростью работы и управлять ими. Они помогают обрабатывать множество данных за короткое время.
• R – язык, который используют для проведения статистического анализа и визуализации. Обычно его выбирают, когда нужно работать со сложной статистикой.
• SQL – язык запросов. Необходим, чтобы получить доступ к информации, которая хранится в базах данных.

Программирование – основа работы с данными. Его знание требуется на всех этапах, от выгрузки информации до обработки и настройки алгоритмов машинного обучения.

Big Data и персональные данные

Одним из основных уязвимых мест Big Data является то, что системы собирают и используют в анализе персональные данные пользователей – телефон, адрес и другие. Важно, что, если компании целенаправленно занимаются сбором данных о клиентах или посетителях сайта, они должны получить согласие. Для этого просят принять соглашение о сборе информации, этого требует законодательство с 2023 года.

В Big Data данные хранятся в обезличенном виде. Кроме того, в базах они зашифрованы – таким образом обеспечивается безопасность пользователей и информации о них. Однако для того, чтобы гарантировать полную безопасность, этого недостаточно. В российском секторе интернета происходит, по статистике, до 10 краж персональных данных ежегодно. Проблема заключается еще и в том, что пользователи, в большей степени, не представляют, какие свои данные и в каком объеме они передают компании. Потеря контроля над информацией – причина серьезного репутационного ущерба любой компании.

Использование больших данных требует очень серьезного подхода к обеспечению безопасности информации и создания новых методов для ее хранения.

Сервисы Big Data

В связи с широким распространением Big Data разработчики создают специальные программы. С применением программного обеспечения становится проще работа с большими данными, легче извлекать и обрабатывать информацию. Некоторые из них:

1. 1С-Битрикс BigData – облачный сервис, чтобы персонализировать рекламу, который встраивается в систему управления сайтом. Позволяет повысить эффективность рекламы и увеличить средний чек.
2. RTB Media – платформа для закупки цифровой рекламы и участия в RTB-аукционах. Позволяет настроить ретаргетинг, применяется для привлечения покупателей.
3. Alytics – система аналитики с возможностью автоматизировать контекстную рекламу и получать интерактивные отчеты со всеми метриками, отражающими ее эффективность.
4. Crossss – сервис для персонализации интернет-магазинов. Собирает информацию о поведении пользователей, определяет их интересы, обеспечивает персонализированные предложения – к примеру, индивидуальную выкладку товаров в каталоге или рассылки на электронную почту.
5. Know Your Data – приложение для анализа больших данных в Google.

Кроме того, существует немало облачных сервисов, которые позволяют хранить и обрабатывать информацию без расходов на обслуживание собственных вычислительных и аналитических мощностей и физического оборудования.

Примеры использования больших данных

Приведем несколько примеров успешного использования возможностей данных крупными компаниями (Use Cases):

• Toyota изучила поведение водителей в момент аварии и разработала систему безопасности.
• Airbnb проводит аналитику поведения пользователей и предлагает самые популярные направления в соответствии с их интересами.
• Издание Huffington Post в реальном времени оценивает реакцию пользователей, комментарии, подписки и делает тесты разных методов доставки контента категориям читателей, чтобы стимулировать их подписаться.
• Amazon запустил рекомендации продуктов клиентам на основе машинного обучения. Они включают как предыдущие покупки, так и время года, приближающиеся праздники и другие факторы.
• В супермаркетах «Лента» предлагают персонализированные скидки, с помощью данных осуществляется ценообразование.
• Intel улучшила систему тестирования компьютеров перед их отправкой в магазины, благодаря чему сократились сроки доставки.
• ПЭК запустила Центр управления перевозками, что помогло обеспечить загрузку складов и сократить сроки доставки.
• DHL решила проблему «последней мили» и оптимизировала маршруты курьеров с помощью данных, собираемых GPS.
• В магазинах «Карусель» используется система умной выкладки, подсказывающая, как лучше оформить витрину для повышения продаж.
• Альфа Банк собирает большие объемы данных о клиентах и создает персональные предложения.
• Stafory разработала робота-рекрутера Веру. Он сортирует резюме, обзванивает кандидатов, выделяет наиболее заинтересованных.
• Netflix анализирует поведение клиентов и рекомендует персонально каждому новые фильмы и сериалы.
• Ozon анализирует огромные объемы данных и создает таргетированную рекламу.

Специалисты по большим данным

C Биг дата связаны три профессии:

1. Data Scientist – специалист, который анализирует базы данных, делает выводы и строит прогнозы. В компетенции дата-сайентиста входит обязательное знание программирования, статистики, математики.
2. Big Data аналитик данных – специалист, который проводит аналитику, анализирует нескольк наборов данных и визуализирует результаты.
3. Data-инженер – занимается технической стороной сбора и обработки данных, поддерживает работу системы.

Ожидается, что количество вакансий для специалистов, которые связаны с базами данных, будет расти, поскольку компании все чаще прибегают к подобным моделям для оптимизации своей работы. Например, HeadHunter выяснил, что за 4 последних года спрос на подобных специалистов вырос в 4 раза. Большинство вакансий приходятся на IT-компании, также сотрудники востребованы в финансовом секторе.

Чтобы стать специалистом по базам данных, необходимо разобраться, как они работают, и изучить Python и SQL. Кроме того, не всего просто понять сферу, в которой хотелось бы работать – это может быть, например, финтех или другое направление бизнеса.

Big Data в России и мире

Объем хранящихся цифровых данных неуклонно растет, особенно в бизнесе в области IT, в телекоме и банках. В 2023 году США и Европе примерно половина компаний работает с данными, а мировыми лидерами по внедрению и применению таких технологий являются США и Китай. В целом в мире объем рынка растет практически на 30% в год. Главные потребители больших данных – крупные корпорации, однако в некоторых странах их деятельность по сбору данных о пользователях ограничена.

В Китае, например, к 2023 году действует более 200 законов, которые касаются сохранения личной информации. В Европе действует GDPR – регламент по защите данных, который регулирует все процессы, связанные с их сбором и хранением.

В России рынок Big Data только оформляется. Например, известно, что сотовые операторы делятся данными с банками о потенциальных заемщиках, данных на 500 млн. долларов у операторов связи купило Правительство Москвы. Среди корпораций, которые, как правило, активно используют большие данные - «Яндекс», «Сбер», Mail.ru Group (VK). В 2018 году в России была создана профильная ассоциация, в которую вошли крупные компании, работающие с большими данными. Эксперты считают, что у российского рынка данных огромный потенциал, а экономический эффект, связанный с использованием подобных технологий, будет увеличиваться.

Проблемы и перспективы Big Data

При использовании данных компании сталкиваются с некоторыми сложностями. Чаще всего возникают такие проблемы:

• Нет ресурсов для хранения больших данных, далеко не все хранилища имеют возможность решить эту задачу.
• Сложности с системой обработки получаемых данных. Аналитики тратят много времени на то, чтобы привести терабайты и петабайты данных в понятный вид.
• Регулярное появление инструментов для работы с большими данными, что влечет за собой необходимость постоянного обучения.
• Большие данные неоднородны, что вызывает сложности с их обработкой. Отсутствие всех необходимых инструментов для анализа данных ухудшает его качество и приводит к появлению ошибок.
• Для работы с данными нужны огромные вычислительные мощности, которые пока доступны только крупных компаниям.
• Сбор больших данных всегда связан с проблемой приватности: далеко не все пользователи хотят, чтобы данные о них были известны корпорациям.
• Данные использует не просто бизнес, но и политики – например, для того, чтобы повлиять на исход выборов.

Однако преимуществ использования больших данных больше, и их важность для развития человечества трудно переоценить. Например, они помогают бороться с пандемиями, решать проблемы городов, экономить средства в государственном бюджете, приносить другую пользу.

Часто задаваемые вопросы

Заключение

Эксперты рассказывают, что популярность Big Data будет расти вместе с ростом количества информации, требующей обработки. Вероятно, работать с большими данными будут не только крупные предприятия, но также средний и малый бизнес, стартапы, особенно с учетом того, какие возможности дает искусственный интеллект. В будущем Big Data станут главным инструментом принятия решений – начиная от производителей и заканчивая государственными структурами и международными организациями.