W łatwy sposób zintegruj swoje dane - DataBridge, nowe rozwiązanie od Astrafox

Astrafox DataBridge to narzędzie stworzone specjalnie dla Klientów biznesowych, aby umożliwić skuteczne i efektywne zarządzanie danymi. To rozwiązanie nie tylko pozwala łatwo pobierać oraz integrować dane z różnych źródeł, tworząc jednolitą bazę danych gotową do analizy i raportowania, ale także wyróżnia się znacznie niższymi kosztami w porównaniu z innymi opcjami dostępnymi na rynku. 

Do rozmowy zaprosiliśmy Michała Pietrzaka, autora tego rozwiązania i Konsultanta BI w Astrafox, który opowie o jego działaniu, potencjalnych zastosowaniach oraz korzyściach, jakie może przynieść organizacjom. Przyjrzymy się bliżej, jak DataBridge pomaga firmom przełamywać bariery w dostępie do danych i oferuje elastyczność oraz budżetowe podejście do zarządzania informacją. 

Michał Maliszewski: 

Michał, zacznijmy od podstaw – czym dokładnie jest Astrafox DataBridge? 

Michał Pietrzak: 

DataBridge to rozwiązanie, które umożliwia pobieranie danych z różnych oraz załadowanie ich do bazy danych, która może być następnie podłączona do narzędzi analitycznych takich jak Tableau czy Power BI. Skupiliśmy się na połączeniach poprzez API, ponieważ jest to rozwiązanie, którego brakuje. Obecnie firmy wykorzystują coraz więcej platform internetowych, do których danych nie ma bezpośredniego dostępu, a które też warto analizować.  

Czyli pojawiła się potrzeba związana z takimi źródłami, gdzie jedyną możliwością tak naprawdę było podłączenie się do danych poprzez API. A jak to wygląda, jeśli chodzi o te narzędzia docelowe? Bo Tableau ma przecież natywne konektory. 

Tak jest, Tableau ma natywne konektory. Jeżeli chodzi o API, to możemy również skorzystać z Web Data Connector. Jest to prosty interfejs oparty na JavaScript. Niestety to rozwiązanie jest dosyć mało wydajne, zwłaszcza przy bardzo dużych ilościach danych - ma swoje ograniczenia. Pozwala jedynie na połączenie danych bezpośrednio do Tableau. Nie można wyniku załadować do żadnej bazy danych. Nie zadziała też w połączeniu z innymi narzędziami jak Power BI, Qlik, Looker. 

OK, ale z drugiej strony mamy takie narzędzia ETL, jak choćby Alteryx, który byłby w stanie takie rozwiązanie mieć i zapewne je ma - dlaczego więc nie Alteryx? 

Tak, masz rację, Alteryx w zupełności by sobie z tym poradził i podejrzewam, że inne narzędzia ETL również. Problem pojawia się taki, że są to bardzo mocno rozbudowane narzędzia i niestety również bardzo drogie. Większość firm nie jest w stanie sobie pozwolić na tak duże narzędzie i też nie będzie w stanie wykorzystać w pełni potencjału takiej technologii. W przypadku naszego Klienta potrzebowaliśmy jedynie przesłania danych z API, pobrania ich i przeanalizowania, a Alteryx i ogólnie zaawansowane narzędzia ETL, służą bardziej do przetwarzania, modyfikacji tych danych, łączenia ich z różnych źródeł. Są to bardzo zaawansowane funkcjonalności, które tu akurat nie są potrzebne. 

A jakbyś mógł przytoczyć jakieś przykładowe platformy, z którymi to narzędzie może współpracować. 

Tak naprawdę mamy możliwość podłączenia się do praktycznie dowolnego systemu, które wystawia swoje dane przez API. Takie przykładowe, z którymi pracowaliśmy, to chociażby systemy księgowe takie jak Symfonia, FakturyXL, platformy e-commerce: Baselinker, PrestaShop, czy również inne narzędzia, jak JIRA czy Pipedrive. Zdarzyło się nawet ze Stravą. 

No tak, to jest narzędzie również ciekawe ze względów statystycznych i ma wielu użytkowników. Natomiast rzeczywiście, tak jak powiedziałeś, są to bazy, źródła czy platformy, które często są spotykane u Klientów i jednocześnie, tak jak mówisz, kwestie budżetu mogą tutaj grać dość dużą rolę. 

A co z pozostałymi źródłami? Do analiz BI wykorzystujemy także dane z innych źródeł. 

Zgadza się, tutaj jednak skupiliśmy się na pobieraniu danych z API, ponieważ to tej funkcjonalności nam brakowało. 

Obecne narzędzia BI posiadają natywne rozwiązania do łączenia się z różnymi bazami danych czy plikami tekstowymi np. Excel, Google Cloud, Analytics, Salesforce. Uważam, że te połączenia będą wystarczające w większości przypadków, ale oczywiście jeżeli będzie taka potrzeba, to jesteśmy w stanie pobierać dane również z innych źródeł. 

Tutaj może jeszcze tylko dodam, że w Astrafox, korzystając z doświadczenia kolegów i koleżanek z innych działów, możemy również obsłużyć dane z systemów ERP Comarchu – Optima i XL oraz AMODIT. 

Rozumiem. A jeżeli chodzi o transformację danych? Ponieważ mamy ten proces rozłożony z reguły na trzy etapy: podłączenie, załadowanie danych - tutaj, tak jak mówisz, jest opcja API i opcja użycia narzędzia Business Intelligence, które może pozostałe źródła również pobrać. A co z kwestią transformacji czy czyszczenia takich danych? 

Jak najbardziej również jesteśmy w stanie wyczyścić te dane, przefiltrować i przetworzyć w jakiś sposób. Z tym że tutaj musimy pamiętać o dwóch rzeczach. To nie jest pełny ETL, taki jak Alteryx. Mamy zdecydowanie mniejsze możliwości, jeżeli chodzi o przetwarzanie danych, jest to bardziej ograniczone. Skupiamy się tutaj raczej na udostępnianiu danych niż jakiejś bardzo mocnej obróbce. Po drugie, dane pobieranie przez API pochodzą z bazy danych i są w jakiś sposób już przetworzone oraz uporządkowane. 

No tak, to rzeczywiście tutaj jest dość jasne i faktycznie, jeżeli te "bazy" - tak, już samo to, że mówimy o bazach danych, a nie o różnych plikach na przykład excelowych - będą odpowiednio uporządkowane oczywiście. Rozumiem, że przy plikach płaskich też podobnie, jak w przypadku baz danych mamy rozwiązanie w postaci konektorów, które ma Tableau czy Power BI, gdzie możemy do tych plików się podłączyć. No i teraz, jeżeli skończyliśmy ten proces - powiedzmy jakiegoś tam delikatnego przetwarzania wyboru tych danych, no to chcemy je gdzieś zapisać. Jak tutaj wyglądają możliwości tego rozwiązania? 

Oczywiście najłatwiejszym rozwiązaniem jest ładowanie wszystkiego do bazy danych. Czy to będzie MS SQL, PostgreSQL czy rozwiązanie chmurowe typu Snowflake, to tak naprawdę nie ma większego znaczenia. Tutaj dopasujemy się do potrzeb i możliwości Klienta. Oczywiście, jeśli będzie taka konieczność, to możemy również robić eksport do plików np. CSV. Chcieliśmy, aby to było jak najbardziej uniwersalne rozwiązanie niepowiązane z konkretnym narzędziem BI, dlatego że tych narzędzi jest na rynku coraz więcej i każdy może używać innego np. Tableau, Power BI, Qlik, Looker Studio, nawet Grafana. 

A jeżeli chodzi o utrzymanie rozwiązania, to gdzie ono może być utrzymywane/hostowane? 

Tutaj tak samo jak wcześniej dopasowujemy się do Klienta. Możemy to hostować u siebie - mamy dostępne serwery w Warszawie. Rozwiązanie może być hostowane również u Klienta w jego infrastrukturze, może być to również chmura, AWS, MS Azure.  

To zadam teraz jeszcze takie pytanie, które wydaje mi się, że może się też pojawić właśnie u Klientów. No bo możemy te dane pobrać, możemy je przetworzyć, załadować, ale czy możemy ten proces zautomatyzować - bo to wszystko pewnie można zrobić ręcznie, użyć nawet Excela i te dane sobie gdzieś skopiować, potem przetworzyć. Znamy to z autopsji - wielu Klientów w taki sposób, na jakimś etapie po prostu działa. Natomiast jeżeli chcielibyśmy takie rozwiązanie przedstawić, to czy tutaj też możemy powiedzieć: "Tak, to rozwiązanie może być również automatyczne." 

Tak, oczywiście. To też było jednym z głównych wymagań tego rozwiązania. Znaleźliśmy sporo narzędzi dostępnych, które po prostu tego harmonogramu nie mają i trzeba to wykonywać ręcznie lub pisać skrypt. Tutaj automatyzacja danych to tak naprawdę harmonogramy, które uruchamiają się w pełni automatycznie. Wykonywanie tych zadań jest oczywiście monitorowane, w razie problemów wysyłane są powiadomienia mailowe – monity - o błędach. To było jednym z głównych założeń, żeby można było skonfigurować i zapomnieć. Żeby nie trzeba było cały czas tego pilnować i zaprzątać sobie głowy. 

A jeżeli powiedzmy mamy Klienta, który już takie rozwiązanie sobie wdraża i pojawia się nowe źródło, czy inne zmiany - to też widzieliśmy często, że nawet po stronie samych tych platform następują jakieś modyfikacje. Czy to rozwiązanie można później dostosowywać? 

Tak, oczywiście możemy dowolnie dostosować rozwiązanie, czy będzie potrzeba modyfikacji ze względu na zmiany w API, czy Klient będzie potrzebował nowej platformy, czy będzie chciał zmienić miejsce, z którego będziemy te dane eksportować, czy dodać kolejną bazę danych lub ją całkowicie zmienić z różnych powodów. Nie ma z tym problemu. Tutaj musimy też pamiętać, że rozmawiając o API, to tak naprawdę jedną zasadą działania API, która jest ogólnie przyjęta i respektowana przez większość, jest to, że API nie zmieniają się wstecz. To znaczy, że zmiany, które są wprowadzone w API, nie powinny niszczyć narzędzi, które mogą na poprzedniej wersji pracować. Więc jeżeli jakaś nowa wersja się pojawi, bardzo mało prawdopodobieństwo, że ona faktycznie może coś zepsuć. To będą raczej dodawane nowe informacje niż usuwane stare. 

Ok, no dobrze, czyli podsumowując, Astrafox DataBridge jest rozwiązaniem, które pozwala na połączenie się z takimi platformami i źródłami danych, gdzie nie mamy bezpośredniego dostępu do bazy danych i wtedy możemy łączyć się poprzez API. Mamy możliwość transformacji tych danych, oczywiście nie w tak dużym zakresie jak narzędzia dużo droższe i bardziej rozbudowane. Natomiast posiadamy podstawowe przygotowanie tych danych, szczególnie że przez API łączymy się do bazy danych, a nie do danych nieustrukturyzowanych i następnie możemy te dane zapisać w dowolnej bazie danych, bądź podłączyć je do narzędzia frontendowego, takiego jak Tableau, Power BI, Qlik, czy Looker Studio. Dodatkowo jest to rozwiązanie budżetowe, czyli niewymagające aż takich nakładów finansowych, jak te duże narzędzia ETL. 

Tak jest, zgadza się. 

Jeśli jesteście zainteresowani tym rozwiązaniem albo zastanawiacie się, czy to rozwiązanie byłoby dla was dobre, to więcej możecie dowiedzieć się na stronie Astrafox.