Методология DataOps — мода или фундаментальная потребность?

Обзор панельной дискуссии «DataOps – Agile-методологии в работе с большими данными» на Big Data 2018
Источник: Сайт IBS

Андрей Николаенко, системный архитектор в IBS, выступил модератором дискуссии «DataOps — Agile-методологии в работе с большими данными» в рамках десятого форума Big Data 2018, организованного издательством «Открытые системы», и поделился её ключевыми инсайтами.

«DataOps (акроним от data и operations) — это новая методология, которая предполагает совместную работу объединенных команд разработки и эксплуатации ИТ-систем (DevOps), инженеров по подготовке данных и исследователей данных в компаниях, бизнес которых основан на работе с данными.

Участники панельной дискуссии — руководители «даталогических» подразделений и практик Банка России, Ростелекома, Новолипецкого металлургического комбината, Альфа-банка, ГНИВЦ, Авито — разобрали, что в методологии DataOps от проходящей моды, а что — фундаментальное, от насущных потребностей.

Эксперты поделились опытом организации практики интегрированной разработки и эксплуатации для платформ больших данных. Особый акцент экспертами был сделан на тонкостях работы с платформами данных в условиях «бимодального ИТ» — когда часть процессов ИТ-подразделений находится в «традиционном модусе», а часть — в цифровом, гибком. Спикеры поговорили о том, как обеспечить в таких условиях одновременную работу обеих модальностей с единой платформой данных. Это непростой вопрос, и организации подходят по-разному к его решению.

Очень живо обсуждалась универсализация профессий в условиях DataOps: оказалось, что в некоторых из компаний аналитики уже не ждут месяцами выпуска очередной версии BI-инструмента или обновления хранилища, а предпочитают своими руками написать SQL-запрос к платформе данных или воспользоваться Python-блокнотом. При этом все согласились, что слияния профессий математиков, программистов, тестировщиков, администраторов, аналитиков пока не предвидится, но есть потребность в расширении кругозора всех участников DataOps-команд для возможности подстраховать команду в условиях скорой разработки».

Мнение эксперта в статье
Андрей Николаенко
Главный системный архитектор
Сайт IBS использует cookie. Это дает нам возможность следить за корректной работой сайта, а также анализировать данные, чтобы развивать наши продукты и сервисы. Посещая сайт, вы соглашаетесь с обработкой ваших персональных данных.