Od hurtowni danych do Big Data

Dziś nowe technologie umożliwiają firmom czerpanie korzyści z analizy ogromnych ilości danych. Jednak przedsiębiorstwa zarówno na świecie, jak i w Polsce dopiero zaczynają się uczyć, jak wykorzystać tę szansę.

Według przewidywań IDC1 do roku 2020 na całym świecie będziemy przechowywać nawet do 35 zettabajtów danych, czyli 35 miliardów terabajtów, co będzie stanowiło 44‑krotny przyrost informacji od 2009 roku. Nawet 85% nowych danych nie zostało usystematyzowanych, np. tekst, rejestry sieciowe, materiały filmowe czy zdjęcia. Jednocześnie prędkość przechwytywania danych rośnie, a firmy i klienci chcą mieć możliwość podejmowania decyzji w czasie rzeczywistym.

Gromadzenie i analiza danych to nic nowego dla firm. „Rozwiązania typu Business Intelligence są wdrażane w organizacjach od przynajmniej dwóch dekad. Jednak Big Data oznacza wzrost skali i znaczenia tych działań. Zmienia się także podejście. Business Intelligence przyświeca myśl: Zastanówmy się, jakie dane zbierać, żeby uzyskać konkretną wiedzę. Tymczasem Big Data zakłada: Zbierajmy wszelkie możliwe dane i szukajmy w nich wzorców i wiedzy” – twierdzi Artur Kończyński, dyrektor ds. portali i integracji systemów w K2 Internet.

Big Data to konieczność w firmach, które przetwarzają duże ilości danych, jak również w takich, dla których badanie opinii klientów na zasadzie ankietowania to już zdecydowanie za mało.

Jeszcze kilka lat temu firmy skupiały się na gromadzeniu spójnych, kompletnych danych o wybranych wycinkach swojej działalności. Na tej podstawie budowano modele do raportowania sprzedaży, zakupów, stanów magazynowych czy sytuacji finansowej. Jest to podejście do hurtowni danych, które znamy niemal od początku istnienia tego rozwiązania – jak wraz z rozwojem technologii przez lata można było budować hurtownie większe, szybsze. Ale ciągle były to hurtownie w ujęciu klasycznym. „Obecnie trend ten wyraźnie się zmienia. Firmy rozszerzają dane gromadzone w swoich hurtowniach o kolejne źródła” – mówi Daniel Mordarski, Business Solution Manager w firmie Qumak. „Źródła te pochodzą z otoczenia przedsiębiorstw, a nie z nich samych. Stąd coraz większe zainteresowanie chociażby social media czy różnego rodzaju danymi dotyczącymi rynku i konkurencji. Powoduje to drastyczne zwiększenie wolumenu danych w bazach. Dodatkowo ich różnorodność, a co za tym idzie – jakość i wiarygodność zdecydowanie się zmniejszyła. Po pierwsze, dane pochodzą z niesprawdzalnych do końca źródeł. Oczywiście można próbować kontrolować jakość, ale tego typu informacje będą niekompletne i nie zawsze spójne. Po drugie zaś, są to dane, które czasami trudno sprowadzić do wspólnego mianownika z danymi z wewnątrz firmy. Dlatego też analizy oparte zarówno na jednych, jak i na drugich źródłach są obarczone dużym prawdopodobieństwem błędnej interpretacji” – dodaje Mordarski.

Po to, żeby wyraźnie oddzielić tradycyjną hurtownię danych od nowego modelu, wprowadzono pojęcie Big Data. Wraz z nowymi rozwiązaniami technologicznymi, takimi jak opisywana dalej w raporcie technologia przetwarzania danych „In Memory”, zwrot w kierunku Big Data nabiera tempa. Rozwiązania takie przy umiejętnym stosowaniu dają ogromne możliwości związane z penetracją rynku, rzeczywistą oceną sytuacji firmy na tle szeroko rozumianej konkurencji, badaniami odbioru poszczególnych produktów u klientów, sięgając po dane z social media. „Z pomocą przychodzą tu narzędzia prognostyczne pozwalające badać ogromne zbiory danych, odrzucać wartości skrajne i analizować, analizować, analizować” – zauważa Daniel Mordarski.

Nowa architektura systemów

Klasyczne korporacyjne hurtownie danych stosunkowo dobrze radzą sobie z gromadzeniem i przetwarzaniem danych. Pod warunkiem jednak, że pochodzą ze znanych źródeł, niejako wbudowanych w tkankę organizacji, jak bankowe systemy transakcyjne, księga główna, systemy CRM. „Posługują się zazwyczaj dość złożonymi modelami danych, precyzyjnie opisującymi dobrze rozumiane zagadnienia biznesowe. Powszechnie wykorzystują klasyczne systemy baz danych, SQL i model relacyjny. Ponieważ główne procesy biznesowe zmieniają się stosunkowo wolno, w podobny sposób mogą zmieniać się struktury danych i kluczowe wskaźniki wydajności związane z tymi procesami. To samo dotyczy raportowania i analiz” – uważa Adam Bartos, dyrektor ds. technologii w SAS Institute Polska.

Skąd zatem konieczność niemal rewolucyjnych zmian i poważnego podejścia do Big Data, kosztem starych rozwiązań. „Po pierwsze, przechowywanie i sprawne przetwarzanie olbrzymich ilości danych za pomocą klasycznych rozwiązań wymagałoby bardzo dużych inwestycji w infrastrukturę. Jednocześnie nie ma gwarancji, że zgromadzone nowe źródła danych i ich analiza przyniosą konkretny efekt biznesowy” – mówi Adam Bartos. Zapewne w „morzu danych” znajdują się „skarby”, ale nie do końca wiemy, jak są duże. Problem nie dotyczy jedynie nowych źródeł danych. Drogie jest również przechowywanie i przetwarzanie danych historycznych, takich jak na przykład transakcje z poprzednich lat. Nie jest ekonomicznie uzasadnione przechowywanie w korporacyjnej hurtowni zbyt długiej historii. Po drugie, uzupełnianie hurtowni danych o nowe źródła byłoby procesem długotrwałym ze względu na złożoność korporacyjnych hurtowni danych.

„Każdy projekt przebudowy czy rozbudowy hurtowni to poważne przedsięwzięcie. Tymczasem eksploracja Big Data lub wykorzystanie zaawansowanej analityki wymagają szybkości i zwinności w zakresie tworzenia struktur danych będących podstawą modelowania lub analiz” – zaznacza Adam Bartos, dyrektor ds. technologii w SAS Institute Polska.

Od hurtowni danych do Big Data

Najpierw duże firmy oraz innowatorzy

Kiedyś hurtownie danych mogły decydować o przewadze firmy, dziś ich miejsce może zająć rozwiązanie klasy Big Data. Nie oznacza to oczywiście, że wszystkie firmy będą zmuszone inwestować krocie w zaawansowaną analitykę i nowe sposoby przechwytywania i przechowywania danych. „Mniejsze przedsiębiorstwa z pewnością będą również korzystały z danych pochodzących z rynku czy z portali społecznościowych. Jednak, moim zdaniem, będą to dane już przetworzone lub zagregowane przez inne firmy. A do takiego podejścia tradycyjna hurtownia w zupełności wystarcza. Technologia Big Data będzie bardzo ciekawym rozwiązaniem dla dużych graczy na rynku. Na początku rozwiązaniem wyróżniającym na tle konkurencji i pozwalającym na uzyskanie przewagi konkurencyjnej, a później, jak tylko rynek nasyci się technologią Big Data, jako warunek konieczny do istnienia w gronie liderów” – mówi Daniel Mordarski z Qumak.

Big Data to konieczność w firmach, które przetwarzają duże ilości danych (tj. firmy produkcyjne, dystrybucyjne, banki, ubezpieczyciele, telekomunikacyjne), jak również w takich, dla których badanie opinii klientów na zasadzie ankietowania to już zdecydowanie za mało. To, czy firmy będą wyznaczać standardy w takich obszarach, jak obsługa klienta czy reagowanie na zdarzenia w swoim otoczeniu, będzie uzależnione od tego, kiedy zdecydują się na zakup i wdrożenie takiego rozwiązania. „Trendy te po raz pierwszy tworzą bezpośrednie połączenie między wynikami finansowymi firmy a inwestycjami w nowoczesne systemy zarządzania informacją” – zauważa dr Sławomir Strzykowski z polskiego oddziału Microsoftu, odpowiedzialny za produkty wchodzące w skład Microsoft Application Platform, rozwiązań do zarządzania danymi.

Dużą szansę efektywnego wykorzystania nowego trendu mają te organizacje, które swoją przygodę z danymi rozpoczęły od rozwiązania Business Intelligence, zanim jeszcze o Big Data stało się głośno. Miały szanse zdobyć to, co najcenniejsze – kulturę pracy opartą na danych, której nie są w stanie zastąpić nawet najbardziej innowacyjne technologie. „Instytucje takie jak banki, telekomy czy ubezpieczyciele posiadają ogromne ilości danych o swoich klientach. Dla ich biznesu kluczowe jest ciągłe wykorzystywanie zbudowanej na tej podstawie wiedzy, aby minimalizować ryzyko lub wykrywać nadużycia” – uważa Artur Kończyński z K2 Internet. „Wyzwaniem jest jednak wykorzystanie tej wiedzy do budowania długoterminowej relacji z klientami i rozszerzenie działań marketingowych czy sprzedażowych poza standard. Wygra ten, kto ma coraz łatwiejszy dostęp do informacji i opisywane od lat utopijne wizje spójnego zarządzania doświadczeniem użytkownika zdoła przełożyć na realny model biznesowy” – dodaje Kończyński.

Duże korzyści z wczesnego wejścia do królestwa Big Data mogą też odnieść branże o natężonej konkurencji oraz te, które muszą oferować zindywidualizowane produkty i usługi. „Znaczący impuls do zainwestowania w technologie przetwarzania dużych ilości danych mają te branże, w których relatywnie łatwy dostęp do dużych ilości danych może być łatwo przełożony na możliwą do realizacji strategię” – wyjaśnia Dariusz Brankowski, dyrektor sprzedaży Database & Technology w SAP Polska. Zatem w pierwszej kolejności będą to takie branże, jak finanse i ubezpieczenia, handel detaliczny (tradycyjny oraz internetowy) i telekomunikacja. „To one mogą wykorzystać wiedzę o poszczególnych elementach zachowań klientów, aby tworzyć personalizowane oferty, które zwiększają dotarcie do klienta końcowego, przy jednoczesnej poprawie wskaźnika rentowności oraz zmniejszeniu całościowego ryzyka biznesowego” – dodaje Brankowski.
* * *

Analityka to szansa dla większości innowacyjnych podmiotów, gotowych do eksperymentowania z nowymi modelami biznesowymi lub pragnących zoptymalizować sposób prowadzenia działalności. Koncepcja Big Data realnie wpływa na każdą branżę lub obszar naszego życia – bez względu na to, czy jest to przemysł, ubezpieczenia, bankowość, ochrona zdrowia czy polityka.