Streszczenie: W wielu firmach dane są rozproszone, a ich wykorzystanie nie jest wystarczająco skoordynowane, co prowadzi do powstawania silosów, które utrudniają pełne wykorzystanie potencjału biznesowego. Z jednej strony organizacje zbierają ogromne ilości danych, z drugiej zaś nie potrafią w pełni wyciągnąć z nich wartości. Kluczem do rozwiązania tego problemu jest efektywna integracja danych, która pozwala na ich łatwiejsze udostępnianie i analizowanie w różnych działach firmy. Dzięki zastosowaniu odpowiednich narzędzi technologicznych i zmianie podejścia do zarządzania danymi, organizacje mogą stworzyć środowisko sprzyjające lepszemu wykorzystywaniu danych w podejmowaniu decyzji. Współpraca między działami oraz włączenie pracowników na różnych poziomach organizacji może pomóc w przełamaniu barier, które dotąd dzieliły poszczególne zespoły. Warto zainwestować w technologie wspierające integrację danych oraz rozwijać kulturę dzielenia się informacjami, co przełoży się na większą innowacyjność i lepsze wyniki finansowe firmy.
Wywiad z Sinisha Mitrovic, Account Executive w firmie Cloudera oraz dr inż. Kamilem Folkertem, CTO w firmie 3Soft.
Dlaczego w wielu firmach wciąż istnieją silosy danych?
KF: W mojej opinii, jednym z ważniejszych powodów, jest fakt, że proces burzenia silosów jest długotrwały i wymaga crossdepartamentowego zaangażowania pracowników na wszystkich szczeblach struktury organizacyjnej. Niezbędne jest wprowadzenie szeregu nowych inicjatyw i procedur, które pomogą zmienić podejście do danych w organizacji. Przede wszystkim chodzi o zbudowanie kultury organizacyjnej opartej na dbaniu o spójność, jakość i aktualność danych, co gwarantuje, że będą one miały realną wartość biznesową.
SM: Z technologicznego punktu widzenia, burzenie silosów również wymaga systemowego podejścia. Digitalizacja daje możliwość wykorzystywania wielu wyspecjalizowanych narzędzi, które pozwalają analizować dane z różnych źródeł. Jednak korzystanie z każdego z tych narzędzi wymaga innego zestawu kompetencji. Czasem dla osoby, która wyspecjalizowała się w jednej technologii, trudne albo wręcz niemożliwe jest szybkie nauczenie się innej technologii. W konsekwencji, brak odpowiednich kompetencji blokuje przekrojową analizę danych ze wszystkich obszarów.
Jak zatem zacząć działać, by skutecznie zburzyć silosy?
SM: Moim zdaniem odpowiedzią jest architektura Data Lake. W ramach wdrożenia koncepcji Data Lake można w sposób elastyczny i efektywny kosztowo gromadzić w jednym miejscu wszystkie dane, jakie posiada organizacja. Dzięki zastosowaniu tej koncepcji możemy mówić o ewolucji – a nie rewolucji – w procesie burzenia silosów. Cloudera, wspólnie z 3Soft jako partnerem, proponuje klientom wdrożenie platformy niejako obok istniejącej już architektury, co nie zakłóca pracy systemów dotychczas działających w organizacji.
KF: Takie podejście pozwala bezpiecznie i efektywnie uruchomić zintegrowaną platformę do zarządzania danymi. Decyzję o tym, kiedy dane procesy w całości przenieść na nową platformę i pozbyć się długu technologicznego pozostawiamy osobom odpowiedzialnym w organizacji za poszczególne procesy.
Jakie wyzwania wiążą się z budowaniem platformy?
SM: Silosy danych na ogół powstawały w systemach utrzymywanych w infrastrukturze zlokalizowanej w jednym lub kilku data center. Jednak coraz więcej firm zaczyna korzystać z rozwiązań chmurowych, w efekcie czego powstają silosy na zupełnie nowym poziomie – pomiędzy chmurami oferowanymi przez różnych dostawców. Pojawia się więc potrzeba budowania platform multicloudowych lub hybrydowych.
KF: W 3Soft wychodzimy naprzeciw tym wyzwaniom, oferując rozwiązania oparte na technologii Hadoop w dystrybucji firmy Cloudera – dostawcy, który skupia się na rozwoju swojego produktu w modelu any‑cloud oraz cloud‑firts. Dzięki temu zbudowaliśmy unikalny zespół kompetencji, który pozwala nam zarówno w pełni wykorzystywać potencjał uczenia maszynowego i sztucznej inteligencji, jak i czerpać z najnowszych zdobyczy technologicznych związanych z cloudem.
Jak wygląda współpraca z klientami nad strategią burzenia silosów?
KF: W pierwszym etapie, podczas warsztatów z właścicielami danych, omawiamy główne problemy i diagnozujemy sytuację. Wspólnie analizujemy czy systemy dziedzinowe zawierają kompletne dane, czy dane podlegają rekoncyliacji oraz jak wygląda integracja strumieni danych i przetwarzania strumieniowego. Pozwala nam to ocenić, które etapy pozyskiwania danych są najbardziej zaniedbane oraz gdzie znajdują się najniżej wiszące owoce.
SM: Na podstawie zebranych informacji projektujemy platformę do zarządzania danymi, mając na uwadze skalowalność i określone możliwości przetwarzania. Nasze rozwiązania są wdrażane w rozproszonych środowiskach, w zależności od potrzeb klienta – on‑premise, w chmurze lub jako rozwiązania hybrydowe. Uwzględniają również funkcje dotyczące zabezpieczeń, zarządzania danymi oraz ciągłości działania.
KF: Przy opracowywaniu architektury danych i wdrażaniu platformy ściśle współpracujemy z zespołem klienta, gdyż zaproponowane rozwiązania dotykają indywidualnych problemów i potrzeb biznesowych. Proces wdrożenia realizujemy iteracyjnie z zachowaniem reżimu czasowego, w tym okien serwisowych oraz świadcząc usługę ciągłego nadzoru autorskiego.
Jak powinien wyglądać pierwszy krok w drodze do zburzenia silosów danych w organizacji?
KF: Zdecydowanie polecam spotkanie w formie warsztatu z ekspertami Cloudera i 3Soft. Umożliwi to szybkie zidentyfikowanie najważniejszych problemów i zaplanowanie dalszych kroków.
