Применение больших данных в высоконагруженных системах: практические кейсы

Big Data — сбор и анализ массивов данных для роста и развития бизнеса.
Big data (большие объемы данных) используется в крупных и небольших бизнесах, она способствует принятию обоснованных решений, помогает строить высокоточные прогнозы развития компании.
Внедряется Big data везде, где собираются и обрабатываются массивы информации:

• в промышленности и сельском хозяйстве;
• в науке и маркетинге;
• в автомобилестроении и перевозках;
• в здравоохранении и строительстве, многих других сферах.

Чтобы сберегать гигантский объем сведений, нужны специальные хранилища.

Хранилище данных помогает собрать и исследовать большой объем информации, выявить связи и тенденции, провести предиктивный анализ (предсказать будущий ход событий). Сбор данных из многочисленных источников в одном месте помогает составлять отчеты и принимать стратегические решения, чтобы улучшить работу компании.
Солидный бизнес с помощью хранилища данных может:

• сохранять большой объем исторических сведений;
• безопасно хранить информацию из многих источников в одном месте;
• экономить время при создании отчетов и аналитической работы;
• преобразовывать данные в стандартные формы;
• удалять ненужную информацию, неточные сведения.

Компания АйТи-Баланс занимается веб-разработкой электронных торговых площадок. Адаптирует функционирующие ЭТП под нужды компании, создает высоконагруженные сайты, сервисы и программное обеспечение, используя Highload разработку.

Разработка больших данных эффективна, если в хранилище поступает информация из большого количества источников. Для этого нужны солидные технологические мощности — сочетание графических ускорителей GPU и вычислительных кластеров.
При использовании Big data 80% усилий направлено на сбор и преобразование сведений, контроль их достоверности и качества. И только 20% — на аналитику.

Сложный механизм работы любой биржи подразумевает генерирование огромного массива данных в реальном времени. При ее работе используются данные, критичные для пользователей: цены на акции, опционы, фьючерсы, наполняемость биржевого стакана, скорость срабатывания ордеров.

В трейдинге важна бесперебойная работа торговой площадки, секунда может повлиять на прибыль или убыток.

В разработке этого кейса применялась обновленная технологическая платформа. Это обеспечило доступ клиентам к Big data, размером в десятки петабайт, при этом добавлялись десятки терабайт информации каждые сутки. Инновации позволили оперативно мониторить ситуацию на рынке, осуществлять контроль за соблюдением правил торговли.

Когда цель компании — вывести отношения с клиентом на персональный уровень, предлагать услуги и продукты, предугадывая желания, нужна аналитическая платформа. Она пользуется геолокацией с мобильных телефонов клиентов, данными погоды, сведениями о дорожных пробках, о транзакциях на платежной карте.

Для решения этого кейса использовались Data Lake на Cloudera. На этой платформе хранятся данные из социальных сетей, о погоде и пробках на дорогах и прочем. Для этого нужно было, чтобы сведения поступали в real-time.

В этом кейсе стояла задача внедрения технологии, которая позволила бы сформировать персонализированные предложения и уменьшить расходы на IT-сферу.

После того, как внедрили data-driven, помогающий принимать решения, основываясь на больших данных, расходы кратно уменьшились. Ввели Big data в полтора десятка терабайт из таких источников, как реляционная база данных, информация из социальных сетей, профайлы клиентов, сведения о транзакциях на платежных картах.

Этот кейс был разработан и введен в одном из главных банков страны, чтобы предотвратить мошенничество с документами, наладить идентификацию пользователей банка.

Основой разработки стала биометрическая платформа, изначально используемая в экспертной и оперативной работе правоохранительных органов. Скорость работы системы, благодаря таким инновациям, как In-Memory Processing, позволила за несколько секунд сравнить изображение в базе и на камерах, расположенных на стойках.

В результате потери от мошенничества сократились в 10 раз.

Ни одно серьезное производство в любой отрасли не может обойтись без сбора и последующей разработки больших данных.

Автомобильная компания стремилась свести к нулю сбои при изготовлении двигателей.

Разработка моторов авто сопровождается компьютерной симуляцией, в которой терабайты информации, обрабатываемые в кластерах с высокой производительностью. Цеха тесно взаимодействовали друг с другом, поэтому внедрение Big data было оправданным шагом.

Датчики, установленные на двигателях, регистрировали их работу, малейшие отклонения. Передавали сведения инженерам для оперативного изменения.

Введение и разработка больших данных позволили улучшить бизнес-модель производства моторов, серьезно сократили издержки.

Используя инновационные решения для сбора и анализа больших данных, компания по выпуску лакокрасочной продукции получила инструмент выявления трендов на рынке.

Это позволило расширить ассортимент и разработать новые продукты, повысить спрос на свою продукцию, тесно сотрудничать с дизайнерами.

Одна из наиболее популярных телекоммуникационных компаний реализовала несколько Big data проектов:

• сегментировала базу абонентов;
• улучшила распознавание и защиту пользователей от мошенничества;

выделила абонентов, которые находятся в аэропорту, чтобы предложить им роуминг для общения за границей.

Собирая информацию о предпочтениях клиентов, казино не могут обойтись без разработки больших данных. Ведя учет проигрышей посетителей, владельцы игровых площадок, выявляют наиболее увлеченных, тех, кто оставляет в казино огромные суммы.

Введение облачных решений и обработка Big data сделало возможным персонализировать клиентов, предлагать им новые игры.

Крупные отечественные сети супермаркетов давно взяли на вооружение Big data в разработке новых решений для таких процессов:

• выявление закономерностей;
• персонализированные предложения;
• прогнозирование спроса;
• доступность товара на полке.

Одна из солидных российских сетей, чьи супермаркеты есть во всех больших городах страны, начала с внутренней оптимизации процессов с помощью больших данных. Столкнувшись с трудностями, руководители сети решили использовать новую платформу, которая основана на Arenadata Hadoop, Arenadata DB (Greenplum), Spark.

В результате стал намного точнее промо прогноз, клиентская аналитика и анализ товарных категорий. Работа с Big data продолжается.

Закономерности в поведении покупателей интересны любому ритейлеру. Одна из крупных торговых сетей, функционирующая на рынке 10 лет, применила инновационные решения, основанные на больших данных в двух направлениях: совершенство аналитических моделей и организация процессов.

Разделяя на сегменты полученный объем информации, ритейлер добился успешной работы с ассортиментом, учел запросы при формировании общего предложения. Использование больших данных позволило контролировать и предсказывать отток покупателей.

Еще один известный российский ритейлер использовал инновационные решения на основе больших данных для персонализации предложений. Учитывалась информация об истории покупок, поисковые запросы, отклики на персональные предложения.

В результате разработки больших данных компания улучшила эффективность контакта на 25%.
Применение Big data позволяет вести еженедельный анализ. Один из отечественных ритейлеров занимался аналитической работой по изучению покупательского поведения через чеки.

В итоге компания добилась успехов в персонализированных предложениях клиентам сети, продолжает развиваться в этом направлении, увеличивает базу за счет введения новых каналов.

Использование Big data помогает наиболее эффективно прогнозировать спрос и управлять поставками. Большие данные позволяют предсказать, как скидки и акции влияют на продажи, помогают скорректировать поступление товаров в розничные магазины. Разработка больших данных влияет на уровень издержек, позволяет не хранить лишние запасы на складах, уменьшает списание товаров, что важно для продуктовых супермаркетов.

Один из крупных ритейлеров вдвое снизил ошибки в прогнозах, введя Big data. Построив систему геоаналитики с данными о населении, местоположении конкурентов, трафике, предпочтениях покупателей того или иного района, добился повышения уровня оборота магазинов и закрытия убыточных торговых точек.

Каждый солидный ритейлер, компании, функционирующие в других сферах имеют интернет-магазины.
Компания АйТи-Баланс занимается highload разработкой (разработкой высоконагруженных систем) с 2013 года. Сотрудничала со многими крупными фирмами, накопила опыт, позволяющий уменьшить издержки на создание ЭТП.

Highload разработка и запуск электронной торговой площадки с помощью Big data позволяет отслеживать поведение клиента. Если он ушел с сайта без покупки, система пришлет персонифицированный e-mail с подбором альтернативных товаров. Посетитель торговой площадки получит уведомление о снижении цены на товар, который он просматривал, информацию о новых поступлениях.

ЭТП состоит из нескольких модулей. От подачи заявок до заключения договоров. При разработке учитывается:

• администрирование;
• интеграция с поставщиками;
• финансовые сервисы;
• отчетность.

Компания АйТи-Баланс использует в работе методологии AGILE И SCRUM, сотрудничать можно по системам outsource или outstaff.
В портфолио фирмы-разработчика:

• федеральные ЭТП (b2g);
• корпоративные маркетплейсы (b2b);
• коммерческие электронные торговые площадки (b2b).

АйТи-Баланс работает над проектами с нуля или создает ЭТП в функционирующих компаниях, подстраивая их под нужды заказчика.
Электронные торговые площадки, веб-разработкой которых занималась наша компания, занимают топовые места в рейтингах RAEX.
Созданная ЭТП работает без сбоев, если заказ поступает не только на highload разработку, но и на поддержку высоконагруженной системы в дальнейшем.