Какие новые технологии появились на рынке больших данных
Большие данные — уже не просто модная тема для дискуссий, а множество реальных проектов, приносящих бизнесу немалую пользу. Проекты в области больших данных стоят недешево. Поэтому очень важно не ошибиться при выборе технологии и просчитать все возможные риски. Об этом говорили участники секции «Большие данные» CNews Forum 2020.
Технологические возможности
Владимир Егоров, генеральный директор ТУРБО, напомнил участникам конференции, что третья технологическая платформа, в основе которой лежат мобильные устройства и огромные массивы информации, постепенно завоевывает мир. Он рассказал о созданном компанией решении TURBO BI. Его основой является хранилище, которое позволяет формировать многомерные кубы на основе произвольно загружаемых данных, содержит встроенные функции по работе с математическими моделями, дает возможность создавать аналитические отчеты, панели и дэшборды и обеспечивает получение данных непосредственно из внешнего источника.
Данные в хранилище сгруппированы по направлениям — персонал, продажи, биллинг, главная книга, основные средства и др. Можно работать с группами данных и анализировать вложенную информацию до конкретной проводки. В ближайшее время будет проведена интеграция с языком R, что существенно расширит возможности использования математического аппарата для анализа данных, моделирования и прогнозирования.
По словам эксперта, особое внимание при создании решения было уделено визуализации — разработчики ориентировались на предпочтения поколения Z. Кроме того, в TURBO BI уже имеются перенастроенные базовые справочники, а настройка новых не требует программирования. Благодаря реализации концепции Low code пользователь может сам добавлять и выбирать объекты, указывать зависимости и тип представления.
Возможности TURBO BI
Источник: ТУРБО, 2020
Большинство крупных компаний до сих пор не используют большую часть собираемых данных для принятия решений, уверен Евгений Сандомирский, директор по развитию бизнеса Epam. В тоже время, мир медленно, но верно движется в сторону создания организаций, управляемых на основе данных (data-driven organization). В основе такой организации лежит разработка стратегии в области данных (data strategy) и формирование культуры их использования (data – driven culture). «Стратегия в области данных дает новые возможности, но и создает новые вопросы. Только постепенное изменение культуры даст на них ответы, — говорит Евгений Сандомирский. — Начинать нужно, не дожидаясь их».
Цифровая стратегия Epam
Источник: Epam, 2020
Он рассказал о разработанной Epam интегрированной платформе для повышения производительности сотрудников Epam Digital Workplace, которая дает единый цифровой доступ ко всем необходимым инструментам, процессам, данным. Комбинируя функциональность в зависимости от роли, платформа помогает принимать решения, обмениваться информацией, выполнять нужные действия, предоставлять рекомендации и легко перемещаться между инструментами и системами. Система располагается поверх существующих учетных систем, инфраструктуры и унаследованных баз данных, обеспечивая единую, состоящую из модулей глобальную платформу успеха.
По словам Алексея Сидорова, директора по управлению данными, главного евангелиста Denodo Technologies, сегодня одной из важнейших тенденций в области управления данными стала виртуализация. Благодаря ей можно в режиме реального времени получать доступ к источникам самой разной информации.
Виртуализация данных
Источник: Denodo, 2020
При этом совершенно не важно, где, в какой форме и каких форматах хранятся данные. Более того, они не устаревают, потому что попадают в виртуальную дата-фабрику непосредственно из источника. Там они проходят необходимую очистку и подготовку. Большое внимание уделяется обеспечению безопасности. Таким образом, у бизнеса появилась реальная возможность не только быстро получать необходимые данные, но и существенно сократить расходы на их обработку.
Алексей Струченко, начальник отдела баз данных «Инфосистемы Джет», представил технологию, позволяющую работать с базами данных быстрее и эффективнее, — это израильская компания SQream. Она создала решение, которое обрабатывает данные не на процессоре, а на видеокарте с использованием всей ее невероятной «параллельности». Речь идет не о замене базы данных, а об их разгрузке за счет того, что SQream DB возьмет на себя часть запросов, может быть самых ресурсоемких. SQream DB работает на разных платформах, но одно их самых интересных ее проявлений — на архитектуре IBM Power.
Подробнее о решении рассказал Александр Рабкин, региональный директор SQream в России. SQream DB использует мощности тысяч параллельных вычислительных ядер в графических процессорах Nvidia. С его помощью можно импортировать, хранить и анализировать от десятков до сотен терабайт данных. При этом стоимость решения существенно ниже аналогов благодаря сокращению затрат на инфраструктуру и специалистов.
Александр Рабкин поделился результатами тестирования SQream DB на Power9. SQream DB использует для загрузки данных как CPU, так и GPU. Многоядерная архитектура IBM Power9 делает загрузку намного быстрее, чем сопоставимые системы на базе x86. Так, для набора данных TPC-H (SF 10 000) сервер IBM Power9 загружал данные почти в два раза быстрее, чем сервер на базе x86.
Кроме того, SQream DB на Power9 показывает результаты на 150–370% быстрее, чем на сопоставимых серверах x86, особенно для больших наборов данных. Это связано с более высокой пропускной способностью NVLink между CPU и GPU и высокой пропускной способностью архитектуры процессора Power9. Например, в наборе данных TPC-H (SF 10 000) Query 8 выполнялся за 25% времени на IBM Power9 по сравнению с сервером x86.
Станислав Павлов, директор в области серверных решений Huawei Russia R&D, рассказал о новом продукте компании — процессоре Kunpeng. На сегодняшний день это самый высокопроизводительный процессор на ARM-архитектуре. Его можно использовать для серверов, вычислительных центров, работающих с большими данными, распределенных хранилищ. В России уже сформирована экосистема, в состав которой входят крупнейшие российские компании и вендоры, предлагающие всевозможные решения на базе Kunpeng.
Преимущества использования автоматизированных интеллектуальных средств анализа больших данных перед традиционным подходом, подразумевающим их ручной сбор и анализ при помощи специалиста, уже неоспоримы, говорит Илья Кузьминов, директор центра стратегической аналитики и больших данных ИСИЭЗ НИУ ВШЭ. В качестве примера он привел систему интеллектуального анализа больших данных iFora. Она состоит из отдельных модулей и позволяет комбинировать их для решения конкретных задач. В качестве примера эксперт привел опыт использования системы для выявления трендов цифровизации.
Большие данные для банков
О том, как большие данные помогают предотвратить отток клиентов, рассказал Юрий Сирота, старший вице-президент, руководитель департамента искусственного интеллекта и анализа данных, руководитель центра компетенций BI банка «УралСиб». По его мнению, некоторый естественный отток неизбежен, и эта цифра отличается от отрасли к отрасли. Но высокий показатель оттока — верный признак того, что бизнес делает что-то не так. «Удержание существующего клиента дешевле привлечения нового», — напомнил эксперт.
Для того, чтобы предотвратить отток клиентов, надо постоянно собирать данные о них, заблаговременно выявлять тех, кто подумывает об отказе от сотрудничества, и принимать меры, чтобы их удержать. Имеющиеся сегодня технологии позволяют делать это быстро и эффективно. Так, специалисты по искусственному интеллекту могут создать инструменты, необходимые для анализа поведения клиентов и выработки стратегии индивидуальной работы с ними. Программа максимум — получить от искусственного интеллекта конкретные рекомендации.
Конечно, математическая модель, а именно она лежит в основе работы искусственного интеллекта, не может гарантировать, что рекомендуемые меры будут на 100% эффективны. Однако, по мнению Юрия Сироты, стоимость ошибочной коммуникации существенно ниже упущенной выгоды от потери клиента.
Этапы реагирования на отток
Источник: УралСиб, 2020
Юрий Попов, директор департамента развития цифровых технологий банка «Хоум Кредит», уверен, что потенциал неиспользуемых данных и их превращения в полезную для бизнеса информацию практически безграничен. Он рассказал, как организована работа с большими данными в банке от момента появления бизнес-идеи до запуска пилотного проекта и последующего развертывания решения на все бизнес подразделения.
Сергей Серов, начальник управления Big Data и машинного обучения банка «Хоум Кредит» привел пример конкретного проекта, который был реализован в банке для повышения качества коммуникации с клиентами. В результате проекта была внедрена система анализа клиентских запросов как в чате, так и при голосовом обращении в режиме реального времени. На основе этой информации и клиентского профиля была доработана система динамических подсказок оператору, оптимизирован подбор продуктов банка и т.д.
Большие данные в логистике
Технологии больших данных помогают логистическим компаниям строить оптимальные маршруты, давать рекомендации по экономичному расходу топлива, следить за состоянием транспортных средств в режиме онлайн, контролировать действия водителя и минимизировать риск ошибок, отметил Фарид Мадани, генеральный директор ГК «Деловые Линии». Также технология широко применяется для решения управленческих задач различных подразделений.
Как работает Self-Service BI
Источник: Деловые линии, 2020
Он рассказал о реализованной в компании схеме сбора, хранения и обработки больших данных. Особое внимание Фарид Мадани уделил Self-Service BI — комплексному решению, разработанному экспертами BIA Technologies и позволяющему бизнес-пользователю быстро проверить гипотезу или провести анализ, не привлекая разработчиков. Внедрение этого решения сократило время подготовки отчетов в 2-3 раза, улучшило качество сервиса и уменьшило издержки на работе персонала и расходе топлива.
Эксперт уверен, что в ближайшее время спрос на технологии больших данных со стороны логистических компаний будет расти. Они будут использоваться для повышения эффективности цепочек поставок и оптимизации логистических процессов, при внедрении всесторонней телеметрии: превентивной диагностики, онлайн-мониторинга, а также в ходе использования беспилотных транспортных средств.
Большие данные на производстве
«Мы повышаем эффективность компании за счет использования технологий искусственного интеллекта, выстраивая нефтяную компанию, управляемую на основе данных, математических моделей и цифровых двойников», — говорит Анджей Аршавский, руководитель центра разработки и монетизации данных дирекции по цифровой трансформации «Газпромнефть». Производственные системы столь сложны, что человек не в состоянии всегда принимать оптимальные решения. И сервисы визуализации информации, поиска и поддержки принятия решений позволят планировать и управлять производством эффективнее.
Он привел примеры сервисов на базе искусственного интеллекта, которые уже реализованы в компании. Это интеллектуальная расшифровка магнитограмм, модуль, позволяющий оптимизировать процесс добычи нефти и т.д. В перспективе планируется создать единую корпоративную цифровую платформу, которая позволит на 20% сократить сроки начала использования новых технологий, на 50% увеличить скорость доставки нового функционала от проектных команд до бизнес пользователей и более чем на 30% повысить эффективность работы продуктовых команд.
Единая корпоративная цифровая платформа
Источник: Газпромнефть, 2020
Большие данные для здравоохранения
Об использовании больших данных в сфере здравоохранения рассказал Алексей Бахаев, начальник управления информатизации Научно-исследовательского института организации здравоохранения и медицинского менеджмента (НИИ ОЗ ММ). Они помогают повысить доступность высокоуровневой экспертизы для всех врачей, оптимизировать рутинные процессы, наладить раннюю диагностику заболеваний, оперативно принимать управленческие решения и контролировать процесс лечения и реабилитации. Алексей Бахалов рассказал о проектах, реализованных НИИ ОЗ ММ для столичного департамента здравоохранения.
Как прошел CNews FORUM 2020
В 2020 г. CNews FORUM — крупнейшая независимая площадка для встречи ИТ-директоров, руководителей ИТ-компаний и представителей органов власти — успешно прошел в тринадцатый раз. Впервые для форума организаторами был освоен новый формат — значительная часть мероприятия прошла в онлайн-режиме.
В ходе форума состоялось около 100 экспертных докладов. В сессионной части было проведено шесть тематических отраслевых секций: «Госсектор», «Банки», «Облачные технологии», «Аналитика больших данных», «Торговля», «Промышленность».
В пленарной части CNews FORUM выступили заместитель министра Минцифры Дмитрий Огуряев, директор по ИТ в РЖД Евгений Чаркин, директор департамента ИТ «Росатома» Евгений Абакумов, директор по ИТ, член правления Альфа-банка Сергей Поляков, заместитель председателя правления Московского кредитного банка Сергей Путятинский, региональный руководитель Veeam в России, СНГ, Грузии и на Украине Владимир Клявин, глава представительства Dynatrace в России, Белоруссии и Казахстане Игорь Хомков, CEO, член совета директоров компании Naumen Игорь Кириченко, директор департамента сопровождения торговых и вспомогательных систем блока ИТ Московской биржи Григорий Васильев, менеджер по информационным системам и бизнес-решениям по стране в Coca-Cola HBC Russia Стоян Валчев, директор по ИТ в ОМК Игорь Савцов, директор по ИТ в «Т плюс» Александр Антонов и многие другие.
Директор департамента сопровождения торговых и вспомогательных систем блока ИТ Московской биржи Григорий Васильев рассказал об управлении производительностью в ИТ
Замглавы Минцифры Дмитрий Огуряев посвятил доклад перспективам цифрового профиля гражданина
Директор по ИТ в РЖД Евгений Чаркин описал аспекты цифровой трансформации в условиях пандемии
Региональный руководитель Veeam в России, СНГ, Грузии и на Украине Владимир Клявин остановился на теме будущего управления данными
Директор по ИТ, член правления Альфа-банка Сергей Поляков назвал свой доклад «Почему мы не боимся BigTech»
CTO SberCloud Федор Прохоров рассказал об эволюции сервисов на российском облачном рынке
Директор департамента ИТ «Росатома» Евгений Абакумов в режиме онлайн выступил на тему положения дел и будущего ИТ в атомной отрасли
Глава представительства Dynatrace в России, Белоруссии и Казахстане Игорь Хомков рассказал о ключевом бизнес-кейсе в эпоху всеобщего онлайна
Заместитель председателя правления Московского кредитного банка Сергей Путятинский рассуждал о том, готовы ли мы к экосистемам и маркетплейсам
CEO, член совета директоров компании Naumen Игорь Кириченко описал, как ИТ-отрасль адаптировалась под потребности рынка
Директор по ИТ в НПФ Сбербанка Андрей Педоренко рассуждал о вызовах ИТ-трансформации в рамках развития экосистемы
Менеджер по информационным системам и бизнес-решениям по стране в Coca-Cola HBC Russia Стоян Валчев посвятил доклад ускоренному развитию бизнеса через преобразование ИТ-систем
Директор по ИТ в ОМК Игорь Савцов говорил о цифровой эволюции в эпоху цифровой революции
Директор по ИТ в «Т плюс» Александр Антонов привел примеры повышения эффективности за счет ИТ-проектов в своей компании
За лучший платформенный сервис года — SberCloud.Advanced — награду получил заместитель гендиректора по ИТ SberCloud Федор Прохоров
Лучшей российской технологией участники форума определили сервис виртуальных ведущих dictor.mail.ru
Награду от лица Mail.ru принял менеджер проекта dictor.mail.ru Георгий Шершнев
За цифровой профиль гражданина замглавы Минцифры Дмитрий Огуряев получил награду как за цифровой сервис года
За наградой в номинации «Экспансия года», доставшейся по итогам голосования участников форума системам компьютерного зрения на базе искусственного интеллекта и нейронных сетей компании NtechLab, на сцену поднялся ее гендиректор Андрей Теленков
Офисным пакетом года стал «Р7-офис», награда за который была вручена гендиректору компании-разработчика «Новые коммуникационные технологии» Наталии Агафоновой
Голосовать за разработчиков в конкурентных номинациях можно было с помощью QR-кода
Редкие невиртуальные гости форума оставили себе память о нем в виде фотографий. До встречи в следующем году
Данные становятся основной успешного бизнеса. Однако не все хорошо понимают, как с ними работать так, чтобы они приносили реальную прибыль. Об этом рассказал Владимир Егоров, генеральный директор ТУРБО.
CNews: Компании используют около 10% имеющихся у них данных. Что, на ваш взгляд, мешает их эффективной обработке и использованию?
Владимир Егоров: Сегодня данные — такой же ресурс, актив любого предприятия или организации, как и прочие традиционные активы: финансы, товарные запасы, know-how или человеческий капитал. Анализ данных, поиск закономерностей и предиктивная аналитика открывают широкие возможности по оптимизации бизнеса и повышению конкурентоспособности, даже созданию нового спроса и новых продуктов и сервисов. Думаю, многие сегодня осознают значимость данных, а лидеры не только осознают, но и реализуют стратегии работы с данными. Не случайно эффект цифровизации посчитан для многих отраслей бизнеса и сфер деятельности, а управление и анализ информационных потоков — важнейшие дисциплины цифровизации.
Huawei активно развивает направление R&D в России. При правильной фокусировке индустриальных усилий существует перспектива преодоления двадцатилетнего пути, который проходили производители других архитектур, за пять лет, уверен Станислав Павлов, директор в области серверных решений Huawei Russia R&D.
CNews: Какие R&D направления являются ключевыми для Huawei? Какие из них активно развиваются в России?
Станислав Павлов: Ключевыми R&D направлениями для Huawei в России являются искусственный интеллект, компьютерное зрение, высокопроизводительные вычисления, беспроводные технологии, сетевые коммуникации.
Как правило, для обработки данных их сначала собирают в едином хранилище. Однако делать это все сложнее, потому что объемы растут экспоненциально. Гораздо более перспективной стратегией является виртуализация данных, рассказал Алексей Сидоров, директор по управлению данными и главный евангелист Denodo.
CNews: Каковы особенности виртуальных данных?
Алексей Сидоров: Большинство схем интеграции данных подразумевают использование средств извлечения, преобразования и загрузки данных (ETL) или аналогичных им инструментов. Принципы ETL были предложены в 1970-х годах, и хотя за прошедшее время построенные на их основе процессы значительно усовершенствованы и разработаны во многих вариантах, они по-прежнему состоят из трех основных этапов: данные извлекаются из источников, преобразуются в структуру и формат, соответствующие целевой системе, в которую должны быть переданы (в хранилище операционных данных, витрину данных и т. п.) и загружаются в эту целевую систему.
Бизнес строит все больше корпоративных хранилищ данных. Сегодня проблема в том, чтобы ускорить процедуру их анализа. Для этого можно использовать технологию обработки данных на видеокарте, говорит Алексей Струченко, руководитель направления баз данных «Инфосистемы Джет».
CNews: Уровень использования данных остается крайне низким. В чем, по вашему мнению, причина?
Алексей Струченко: Мне ситуация видится иначе. Данные используются вполне продуктивно. Для многих клиентов мы строим новые корпоративные хранилища данных. Это делается как раз, чтобы применять накопленную информацию на качественно новом уровне. Современные идеи Data Lake и Machine Learning существенно влияют на развитие инфраструктуры. Другое дело, что процесс строительства таких хранилищ непростой. Немалые сложности в подобных проектах связаны с репликацией между различными источниками данных — особенно если часть данных нужно брать из SQL баз данных, а часть лежит в Big Data.
Короткая ссылка на материал: //cnews.ru/link/a16909
