Big Data: выдержка из 2000 страниц

Здравствуйте!

Обычно любую свою статью мы начинаем с пояснения, что же это за термин такой. Эта статья не станет исключением. Однако это вызвано прежде всего не желанием показать, какие мы умные, а тем, что тема по-настоящему сложная и требует тщательного пояснения.

К примеру, вы можете почитать, что такое big data в Википедии, ничего не понять, а потом вернуться в эту статью, чтобы всё-таки разобраться в определении и применимости для бизнеса. Итак, начнём с описания, а потом перейдём к примерам для бизнеса.

Что такое Big Data

Big data — это большие данные. Удивительно, да? Реально с английского это переводится как «большие данные». Но это определение, можно сказать, для чайников.

Технология big data — это подход к обработке большого объёма данных для получения новой информации, которую тяжело обработать обычными способами. Данные могут быть как обработанными (структурированными), так и разрозненными (то есть неструктурированными).

Сам термин появился относительно недавно. В 2008 году в научном журнале этот подход предсказывался как нечто необходимое для работы с большим объёмом информации, которая увеличивается в геометрической прогрессии. К примеру, ежегодно информация в интернете, которую нужно хранить и обрабатывать, увеличивается на 40 %. Ещё раз: +40 % каждый год появляется в интернете новой информации.

Если распечатанные документы понятны и способы их обработки тоже понятны (перенести в электронный вид, сшить в одну папку, пронумеровать), то что делать с информацией, которая представлена в совершенно других «носителях» и других объёмах:

• интернет-документы;
• блоги и социальные сети;
• аудио/видео-источники;
• измерительные устройства.

Характеристики Big Data: три (и больше) V

Есть характеристики, которые позволяют отнести информацию и данные именно к big data. Все они укладываются в три V:

1. Объём (от англ. volume) — данные измеряются в величине физического объёма «документа», подлежащего анализу;
2. Скорость (от англ. velocity) — данные не стоят на месте, а постоянно прирастают, поэтому требуется их быстрая обработка;
3. Многообразие (от англ. variety) — данные могут быть не одноформатными: разрозненными, структурированными или частично структурированными.

Иногда к трём V добавляют четвёртую V (veracity — достоверность данных) и даже пятую V (viability — жизнеспособность или value — ценность). Где-то мы видели даже 7V, которые характеризуют данные, относящиеся к big data. Но на наш взгляд, это из серии маркетинг-микса 4P (где периодически добавляют новые P, хотя для понимания достаточно начальных четырёх).

Кому и зачем нужна Big Data

Встаёт логичный вопрос: как можно использовать информацию (ведь big data — это сотни и тысячи терабайт)? Даже не так. Вот есть информация. Так для чего придумали big data? Какое применение у big data в маркетинге и в бизнесе?

1. Обычные базы данных не могут хранить и обрабатывать огромного количества информации. Big data решает эту главную задачу: успешно хранит и управляет информацией большого объёма.
2. Структурирует сведения, поступающие из различных источников (видео, изображения, аудио и текстовых документов), в единый, понятный и удобоваримый вид.
3. Формирует аналитику и создаёт точные прогнозы на основании структурированной и обработанной информации.

Если говорить просто, то любой маркетолог, который понимает, что изучение большого объёма информации о компании, конкурентах и отрасли даёт очень приличные результаты:

• полное понимание компании и бизнеса со стороны цифр;
• изучение конкурентов, что позволяет вырваться вперёд;
• получение новой информации о клиентах.

Именно поэтому все «носятся» с технологией big data, пытаясь внедрить её в свою компанию для увеличения продаж и снижения издержек.

А если конкретно, то big data помогает:

1. увеличить кросс-продажи и дополнительные продажи за счёт лучшего знания предпочтений клиентов;
2. найти популярные товары и причины, по которым их покупают (и наоборот);
3. усовершенствовать продукт или услугу;
4. улучшить уровень обслуживания;
5. повысить лояльность и клиентоориентированность;
6. предупредить мошенничество (особенно актуально для банков);
7. снизить лишние расходы.

Примеры использования Big Data

Самый распространённый пример, который приводится во всех источниках, — это, конечно же, компания Apple, которая собирает данные о своих пользователях (телефон, часы, компьютер). Именно благодаря экосистеме корпорация так много знает о своих пользователях и использует это для получения прибыли.

Мы же расскажем о другом проекте. Вернее, о человеке, который строит будущее, используя big data-решения. Это Илон Маск и его компания Tesla. Его главная мечта — сделать автомобили автономными: вы садитесь за руль, включаете автопилот от Москвы до Владивостока и засыпаете, потому что вам совершенно не нужно управлять автомобилем.

Казалось бы, фантастика? Но нет! Просто Илон поступил гораздо мудрее, чем Google, которые управляют автомобилями с помощью десятков спутников, и пошёл другим путём:

1. В каждый продаваемый автомобиль ставится компьютер, который собирает всю информацию о водителе, стиле вождения, дорогах и движении других автомобилей. Объём таких данных доходит до 20–30 ГБ в час.
2. Эта информация по спутниковой связи передаётся в центральный компьютер для обработки.
3. На основе данных big data строится модель беспилотного автомобиля.

К слову, если у Google дела идут довольно скверно и их автомобили часто попадают в аварии, то у Маска, благодаря работе с big data, тестовые модели показывают очень неплохие результаты.

Но это всё из экономики. Многое, что может решить big data, совершенно не связано с заработком и деньгами. Статистика Google, основанная на big data, показывает интересную вещь: перед тем как медики объявляют о начале эпидемии в регионе, в этом регионе существенно возрастает количество поисковых запросов о лечении данного заболевания. Таким образом, правильный анализ данных позволяет предсказать начало эпидемии гораздо быстрее, чем официальные органы.

Big Data в России

Россия, как всегда, немного притормаживает. Само определение big data в России появилось не более чем в 2026 году (мы говорим именно про обычные компании). И это несмотря на то, что это один из самых быстрорастущих рынков в мире: ежегодно рынок программного обеспечения для сбора и анализа big data прирастает на 32 %.

Чтобы охарактеризовать рынок big data в России, вспоминается одна старая шутка: big data — это как секс до 18 лет. Все об этом говорят, вокруг много шумихи и мало реальных действий, и всем стыдно признаться, что сами-то они этим не занимаются. И правда, вокруг этого много шумихи, но мало реальных действий.

Хотя известная исследовательская компания Gartner уже в 2026 году объявила, что big data — это уже не возрастающий тренд (как, кстати, и искусственный интеллект), а вполне самостоятельные инструменты для анализа и развития передовых технологий.

Наиболее активные ниши, где применяется big data в России, — это банки и страхование, телекоммуникационная сфера, ритейл, недвижимость и государственный сектор. Для примера расскажем подробнее о паре секторов экономики, которые используют алгоритмы big data.

1. Банки

Начнём с банков и той информации, которую они собирают о нас и наших действиях. Для примера мы взяли ТОП-5 российских банков, которые активно инвестируют в big data:

1. Сбербанк;
2. Газпромбанк;
3. ВТБ 24;
4. Альфа-Банк;
5. Тинькофф Банк.

Особенно приятно видеть в числе российских лидеров Альфа-Банк. Приятно осознавать, что банк, официальным партнёром которого ты являешься, понимает необходимость внедрения новых маркетинговых инструментов.

Но примеры удачного внедрения big data мы хотим показать на банке, который нравится за нестандартный взгляд его основателя. Мы говорим про Тинькофф Банк. Их главной задачей стала разработка системы для анализа больших данных в режиме реального времени из-за разросшейся клиентской базы. Результаты: время внутренних процессов сократилось минимум в 10 раз, а для некоторых — более чем в 100 раз.

2. Недвижимость

В недвижимости всё гораздо сложнее. Это именно тот пример, который мы хотим привести для понимания big data в пределах обычного бизнеса.

Исходные данные:

1. большой объём текстовой документации;
2. открытые источники (частные спутники, передающие данные об изменениях земли);
3. огромный объём неконтролируемой информации в интернете;
4. постоянные изменения в источниках и данных.

И на основе этого нужно подготовить и оценить стоимость земельного участка, например, под уральской деревней. У профессионала на это уйдёт неделя. У Российского общества оценщиков & РОСЭКО, которые внедрили анализ big data с помощью программного обеспечения, уйдёт на это не более 30 минут неторопливой работы. Сравните: неделя и 30 минут. Колоссальная разница.

Инструменты создания Big Data

Конечно же, огромные объёмы информации не могут храниться и обрабатываться на простых жёстких дисках. А программное обеспечение, которое структурирует и анализирует данные, — это интеллектуальная собственность и каждый раз авторская разработка.

Однако есть инструменты, на основе которых создаётся вся эта «прелесть»:

• Hadoop & MapReduce;
• NoSQL-базы данных;
• инструменты класса Data Discovery.

Если честно, мы не сможем вам внятно объяснить, чем они отличаются друг от друга, так как знакомству и работе с этими вещами учат в физико-математических институтах. Зачем тогда мы об этом заговорили? Помните, в кино грабители заходят в любой банк и видят огромное число всяких железяк, подключённых к проводам? То же самое и в big data. К примеру, вот модель, которая является на данный момент одним из лидеров на рынке.

Стоимость инструмента big data в максимальной комплектации доходит до 27 миллионов рублей за стойку. Это, конечно, люксовая версия. Мы к тому, чтобы вы заранее примерили создание big data в<|eos|>