Kiedy skalowanie jest kwestią ratowania życia

16 marca 2020 roku o godzinie 21.26 otrzymałem pilny e‑mail od mojego przyjaciela DJ Patila. Pisał do mnie z kalifornijskiego centrum dowodzenia kryzysowego. Chciał walczyć z COVID‑19 w najlepszy znany mu sposób – za pomocą danych.

Dhanurjay „DJ” Patil był głównym ekspertem ds. danych w Białym Domu, szefem działu technologii w Devoted Health, starszym współpracownikiem Belfer Center w Harvard Kennedy School oraz doradcą w Venrock Partners. Nie pełni się równocześnie tylu ważnych funkcji, chyba że jest się w czymś dobrym. Dla DJ‑a tym „czymś” są matematyka i informatyka.

PRZECZYTAJ CAŁY ARTYKUŁ W WERSJI PDF

W swoim mailu DJ wyjaśnił, że współpracuje z gubernatorami z całego kraju, aby opracować model potencjalnego wpływu COVID‑19 na planowanie scenariuszy. Chciał pomóc w odpowiedzeniu na ważne pytania, takie jak: „Ile łóżek szpitalnych będziemy potrzebować?”, „Czy możemy zmniejszyć rozprzestrzenianie się wirusa, jeśli tymczasowo zamkniemy miejsca, w których gromadzą się ludzie?” i „Czy powinniśmy wydać nakaz pozostania w domu i na jak długo?”. Choć nikt nie jest w stanie przewidzieć przyszłości, modelowanie wirusa za pomocą wszystkich znanych czynników okazało się najlepszą szansą na pomoc przywódcom w podejmowaniu świadomych decyzji, które miały wpłynąć na życie setek tysięcy osób. W tym celu DJ zebrał zespół wolontariuszy, który składał się z najbystrzejszych umysłów zarówno z Doliny Krzemowej, jak i pozostałych części kraju. Niczym po wezwaniu do broni ci profesjonaliści zebrali się osobiście, aby walczyć z COVID‑19 w najlepszy znany im sposób, czyli z wykorzystaniem danych.

Walka z czasem kontrolowanym przez wirusa

Dobra wiadomość jest taka, że mieli model. I to nie byle jaki model. DJ i jego zespół pracowali na tym, który został opracowany przede wszystkim przez naukowców ze światowej sławy Johns Hopkins Bloomberg School of Public Health (JHSPH). Model ten, który jest projektem typu open source, wykorzystuje dane o ludności stanu lub powiatu (wraz z danymi dotyczącymi transportu) do modelowania liczby osób, które potencjalnie mogłyby być narażone, zakażone i/lub hospitalizowane. Uwzględnia również rozprzestrzenianie się wirusa na podstawie różnych interwencji niefarmaceutycznych, w tym zamykaniu szkół i parków oraz wydawaniu nakazów kwarantanny.

Niemniej ów model funkcjonował w lokalnej strukturze JHSPH i nie mógł być skalowalny w celu uruchomienia dużej liczby scenariuszy jednocześnie, aby zaspokoić potrzeby kraju (i potencjalnie świata). Był on również zbyt wolny. Aby uzyskać wymaganą skalę i szybkość, DJ i jego zespół musieli uruchomić model w chmurze, więc przenieśli swój lokalny kod do Amazon Web Services (AWS). Doprowadziło to do kolejnego wyzwania, ponieważ skrypt ten nie został początkowo napisany z myślą o chmurze, więc nie mógł w pełni wykorzystać skali i optymalizacji możliwych dzięki AWS. W rezultacie zespół DJ‑a spędził tydzień na przenoszeniu i uruchamianiu jednego scenariusza dla Kalifornii, który wciąż nie był wystarczająco szybki. Wyobraźcie sobie teraz, ile czasu zajęłoby skalowanie tego procesu dla 49 kolejnych stanów. Wymagałoby to co najmniej miesięcy pracy, a dodanie wielu scenariuszy z różnymi zmiennymi jeszcze bardziej by go opóźniło. Ekipa DJ‑a nie miała tyle czasu, bo jak mówi dr Anthony Fauci, dyrektor Narodowego Instytutu Alergii i Chorób Zakaźnych: „To nie ty kontrolujesz czas. To wirus go kontroluje”.

Optymalizacja procesu budowania modelu w chmurze

Ekipa DJ‑a musiała być w stanie uruchamiać i dostosowywać model do szybko zmieniającej się sytuacji i przeprowadzać pełny raport w ciągu godzin, a nie tygodni czy miesięcy. DJ zwrócił się do mnie, ponieważ zależało mu na naszej pomocy w optymalizacji procesu budowania modelu w chmurze. Mając okazję pomóc mojemu przyjacielowi i wesprzeć projekt, który mógłby ratować życie, natychmiast odpowiedziałem „tak”. Kiedy uruchomiłem wewnętrzny alarm, stało się coś niesamowitego. Ludzie z całej firmy zgłosili się do pomocy, ponieważ wiedzieli, że mają wiedzę, której wymaga ten projekt. Nikt nie pytał: „Kto jest odpowiedzialny za tego klienta?” czy „Kto ma moce przerobowe do pracy nad tym projektem?”. Wszyscy natychmiast przystąpili do działania.

Chcieliśmy, aby proces tworzenia tego modelu działał jak silnik odrzutowy. Pierwszą rzeczą, którą musieliśmy zrobić, było stworzenie architektury, która zasilałaby model na każdym kroku. Zaczęliśmy od sprofilowania kodu i ponownego skompilowania kluczowych bibliotek numerycznych. Następnie musieliśmy zoptymalizować wszystkie elementy procesu i skrypty. Wtedy do akcji wkroczył nasz zespół specjalistów, w tym grupa zajmująca się obliczeniami o wysokiej wydajności (HPC). Specjaliści ci pomagają organizacjom w rozwiązywaniu największych problemów związanych z danymi i bardzo specyficznymi zastosowaniami, takimi jak genomika, chemia obliczeniowa, uczenie maszynowe czy symulacja pojazdów autonomicznych. Współpracowali z członkami zespołu DJ‑a, JHSPH i niektórymi pracownikami państwowymi nieprzerwanie przez dwa weekendy – w celu optymalizacji procesu poprzez rearchitekturę i wdrożenie do AWS.

W rezultacie, dzięki zaangażowaniu pracowników AWS, przyczyniliśmy się do stworzenia open source’owego modelu JHSPH, który umożliwia ciągłą integrację i wdrożenie (CI/CD) procesu nauki dla integracji kontenerów w Amazon Elastic Container Registry (który ułatwia programistom przechowywanie, zarządzanie i wdrażanie obrazów kontenerów typu Docker – przyp. red.). Zaaranżowaliśmy również skalowalne strategie wdrożeń poprzez AWS Batch (narzędzie umożliwiające przetwarzanie wsadowe w dowolnej skali – przyp. red.) oraz zintegrowaliśmy kilka innych usług. Wysoki poziom koordynacji z AWS był kluczowy dla połączenia wszystkich tych technologii.

Przyszłość to środowiska całkowicie oparte na chmurze

Ekipa DJ‑a skróciła czas trwania tworzenia modelu i wygenerowania pełnego raportu z jednego tygodnia dla jednego scenariusza do mniej niż 12 godzin dla wielu scenariuszy. Obecnie nowy model stworzony przez JHSPH jest wdrażany w AWS zarówno we wszystkich 50 stanach, jak i na całym świecie – po to, by pomóc w podejmowaniu decyzji, które mają bezpośredni wpływ na globalne rozprzestrzenianie się COVID‑19.

Jednak to nie koniec historii, a dopiero jej początek. Podczas gdy wirus rozprzestrzenia się globalnie, musimy jeszcze zrozumieć jego pełny wpływ na społeczeństwo. Gdy dowiemy się więcej o warunkach rozprzestrzeniania się wirusa, kluczowe znaczenie będzie miało powtórzenie istniejących modeli. Wszyscy pracujący nad tą inicjatywą będą mieli o wiele więcej bezsennych nocy, ponieważ nadal będą skalować ten model do większej liczby państw i krajów, a także analizować wpływ strategii łagodzenia skutków.

W 2020 roku i później większość organizacji przekształci swoje środowisko w całkowicie oparte na chmurze, w którym każdy pracownik będzie miał dostęp do wybranej aplikacji lub usługi z dowolnego miejsca i w dowolnym czasie. Jedną z tego rodzaju transformacji, która została już wprowadzona, jest telemedycyna.

Skalowalność i szybkość wdrażania inicjatyw pomocnym społecznościom

Posłużmy się przykładem szwedzkiego start‑upu służby zdrowia KRY*, który uruchomił dla pracowników z tego sektora bezpieczną i skalowalną platformę do przeprowadzania wideokonsultacji z pacjentami. Ich nowa usługa o nazwie Care Connect jest obecnie dostępna dla każdego praktykującego lekarza lub pracownika służby zdrowia w Europie. Duże wrażenie robi fakt, że zespół KRY dzięki wykorzystaniu rozwiązań od AWS był w stanie uruchomić platformę w ciągu zaledwie półtora tygodnia. Jest to o tyle istotne, że pozwoliło to lekarzom na bezpieczne udzielanie konsultacji online.

KRY to doskonały przykład, dlaczego nawet najbardziej podstawowe usługi i zasady projektowania nadal odgrywają istotną rolę w realizacji takich pomysłów jak Care Connect. Natomiast gdy zaczniemy je integrować z takimi narzędziami jak Amazon Aurora, która łączy wydajność i dostępność tradycyjnych baz danych przedsiębiorstwa z prostotą baz danych typu open source, okazuje się, że możemy zbudować skalowalne i wydajne systemy szybciej niż kiedykolwiek wcześniej.

Ale czasami nie chodzi tylko o skalę, a o szybkość, z jaką można realizować i testować nowe pomysły i inicjatywy, które w sensowny sposób pomagają
jak największej liczbie ludzi.

KOMENTARZ EKSPERTA

Chmura stała się wehikułem nowych, niesamowitych rozwiązań

Ostatnie miesiące pokazały, jak bardzo istotne dla firm z całego świata stały się nowe technologie – zwłaszcza te chmurowe. Skalowalność, zwinność, szybkość działania – przymioty, o których mówi się w kontekście chmury i jej zalet – zaczęły być szczególnie istotne i dostrzegalne. I to zarówno przez firmy, które od lat korzystały z chmury, jak i tych, którzy do tej pory bardziej sceptycznie spoglądali na ten stosunkowo nowy sposób przechowywania i dostępu do danych.

Warto zauważyć, że nie ma jednego modelu czy sposobu, w jaki chmura wspomogła firmy w tych dziwnych czasach. Stała się ona raczej katalizatorem rozwiązywania problemów, które wyglądały różnie u poszczególnych firm. Posłużmy się przykładem branży rozrywkowej. Szacuje się, że w pierwszym tygodniu marca w samych Stanach Zjednoczonych na wideoplatformach takich jak Netflix czy Hulu użytkownicy spędzili ponad 160 miliardów minut, czyli ponad dwa razy więcej niż w tym samym okresie rok temu. Dlaczego? Ponieważ ludzie szukali rozrywki podczas przebywania w domu lub podczas kwarantanny. I tak oto chmura pozwoliła tym platformom na obsłużenie nagłego zwiększonego ruchu, którego nikt wcześniej nie mógł się spodziewać. O skalowalności i niemal nieograniczonej mocy obliczeniowej chmury można by mówić więcej. Dobrym przykładem jest choćby słynna aplikacja na komórki, pozwalająca na udostępnianie krótkich filmików – Snapchat, która zaobserwowała w tym czasie wzrost użycia o 30–50%.

Warto jednak wspomnieć, że ostatni czas to nie tylko wzrost i sukces firm, zwłaszcza z branży rozrywkowej. To również czasy zastoju biznesów, na przykład z branży turystycznej. Niemniej chmura okazała się ratunkiem dla wielu z nich, a to za sprawą nagłego wyłączenia dużej ilości serwerów i mocy obliczeniowej, z której nikt i tak nie korzystał. Dało to możliwość wytchnienia i redukcji typowych kosztów IT, co w normalnym świecie „niechmurowym” nie byłoby w ogóle możliwe.

Szkoły zamknięte, uczniowie w domach. Gdzie tutaj miejsce na chmurę? Okazuje się, że odpowiedź jest całkiem blisko nas – w Krakowie, w siedzibie firmy Brainly. Brainly to polski jednorożec, czyli jedna z tych firm, której udało się zawojować świat. Jej produkt? Platforma wspierania uczniów w rozwiązywaniu prac domowych, gdzie jedni mogą pomóc drugim. Platforma, stworzona tutaj w Polsce, z której korzysta już niemal 300 milionów osób na całym świecie. To znowu chmura i możliwość szybkiego dotarcia do najdalszych miejsc na świecie, bezpiecznego zlokalizowania oraz uruchomienia systemów i aplikacji, która dała możliwość wsparcia młodzieży w tych jakże ciężkich i dla niej czasach.

O ile o różnych zaletach chmury można dyskutować wiele, warto tu wspomnieć o jeszcze jednym: szybkości działania. Jak reagować na czasy, których nikt się nie spodziewał? Jak dostarczać nowe rozwiązania, których nikt wcześniej nie przewidywał? Właśnie z pomocą chmury. Filaindiana – aplikacja, o której w Polsce mało kto słyszał – to jeden z symboli walki z COVID‑19 we Włoszech. To platforma stworzona przez kilku studentów pierwszych lat inżynierii w Mediolanie, którzy postanowili wesprzeć rodaków i rozwiązać problem nagłego skupiania się dużych ilości ludzi w sklepach. Zaledwie w ciągu kilku dni stworzyli aplikację, która informowała użytkowników o tym, w których sklepach w okolicy czeka się dłużej na zrobienie zakupów z uwagi na zwiększony ruch, a w których tego problemu nie ma. Zaledwie po tygodniu – jak o aplikacji napisały lokalne gazety – osiągnęła ponad milion użytkowników. Ludzi, którzy z wykorzystaniem tej „na szybko” stworzonej aplikacji pragnęli robić zakupy w sposób bezpieczny, bez narażania siebie i innych. I to wszystko właśnie oparte na chmurze AWS.

Szybkość działania, reagowania i wdrażania nowych rozwiązań oraz pomysłów widać również w Polsce. Przykładowo Aviva w zaledwie kilka dni stworzyła nową darmową ofertę dla medyków w formie darmowego ubezpieczenia o nazwie Aviva Medykom. Oferta ta i aplikacja, która ją dostarczała, zostały stworzone w ciągu kilkudziesięciu godzin – właśnie w chmurze – a w ciągu kilku dni z jej usług i darmowego ubezpieczenia skorzystało niemal 30 tysięcy pracowników służby zdrowia w Polsce.

Chmura w ciągu ostatnich kilku miesięcy stała się zatem już nie tylko wehikułem nowych, niesamowitych technologii. Stała się również miejscem, które pomogło przyśpieszyć budowanie i wdrażanie rozwiązań, które wymogły obecne czasy.

Tomasz Stachlewski, 
CEE Senior Solutions Architecture Manager w Amazon Web Services

*KRY we Francji i Wielkiej Brytanii działa jako LIVI, a platforma nazywa się LIVI Connect.

Indeks dolny Niniejszy artykuł opiera się na materiale When scaling your workload is a matter of saving lives, oryginalnie opublikowanym na autorskim blogu Vogelsa All Things Distributed – poświęconym tworzeniu skalowalnych i solidnych systemów rozproszonych. Fragment dotyczący KRY pochodzi z wystąpienia dr. Wernera Vogelsa wygłoszonego podczas AWS Summit Online EMEA 2020. Indeks dolny koniec_{Niniejszy artykuł opiera się na materiale When scaling your workload is a matter of saving lives, oryginalnie opublikowanym na autorskim blogu Vogelsa All Things Distributed – poświęconym tworzeniu skalowalnych i solidnych systemów rozproszonych. Fragment dotyczący KRY pochodzi z wystąpienia dr. Wernera Vogelsa wygłoszonego podczas AWS Summit Online EMEA 2020.}