Krzysztof Modrzewski – wywiad po semKRK#21 BIG

Looker automatyzuje za nas odpytywanie tabel w BigQuery. Jeżeli mamy zrobiony raport i odświeżamy go, to Looker wykonuje zapytanie SQL, aby wyświetlić nam informacje. Tak samo jest, jeżeli włączymy sortowanie – to będzie nowe zapytanie z dodatkową funkcją Order_by itd. Manipulowanie raportem kosztuje, ale warto wiedzieć, że takie procesowanie kosztuje nas $5 za każdy 1 TB przeprocesowanych danych, ale pierwszy 1 TB jest darmowy. A jeżeli chodzi o weryfikację, to już musimy to podejrzeć bezpośrednio w BigQuery, ile tych danych przeprocesowaliśmy, ponieważ ciężko jest to przewidzieć.

W BigQuery płacimy za procesowanie danych, czyli za robienie zapytań SQL, i tak, to kosztuje $5 za każdy 1 TB przeprocesowanych danych powyżej pierwszego darmowego 1 TB. Jeżeli jednak nic nie zmieniamy w raporcie (nie zmieniamy daty, nie sortujemy, nie dodajemy dodatkowych kolumn itp.), to Looker nie będzie wykonywał nowego zapytania SQL do bazy, więc nie będziemy nic dodatkowo płacić. Takie „zapamiętanie” danych powinno działać przynajmniej przez 12 godzin.

W skrócie: niewiele. Dlaczego? Ponieważ korzystając z BigQuery, płacimy za przechowywanie danych oraz przeliczanie ich za pomocą zapytań SQL. W zależności od wielkości biznesu i ilości danych te koszty będą różne, ale jeżeli chodzi o przechowywanie, to płacimy $0.02 za każdy 1 GB powyżej darmowych 10 GB. Aby ponieść koszty miesięczne rzędu $5, musielibyśmy procesować około 1,5 TB danych oraz mieć 125 GB danych.

Niestety, nie jesteśmy w stanie odtworzyć danych, których po prostu nie zbieraliśmy – dlatego im szybciej włączymy integracje GA4 z BigQuery, tym lepiej, nawet jeżeli nie będziemy z tych danych korzystać.

Obecnie nie jest to dostępne, ale trzeba obserwować, ponieważ GA4 dynamicznie się zmienia i takie dane mogą się w przyszłości pojawić.

Google niczego nie utrudnia. Chodzi o kwestie techniczne – w BigQuery zbierane są surowe dane tak jak na serwerach googlowych. Google przed wysłaniem danych do naszego GA4 musi je odpowiednio przetworzyć, aby dało się z nich korzystać, tak samo powinniśmy zrobić my z naszymi surowymi danymi – albo skorzystać z narzędzi, które robią to za nas i udostępniają gotowe dane, już przetworzone, w BigQuery.

Generalnie nie powinno być różnic w ilości wywołanych eventów, ponieważ sama liczba nie jest przerabiana, ale jednak w praktyce mogą pojawić się różnice wynikające z kilku kwestii takich jak np. Consent Managament i Mode, gdzie Google w przypadku niewyrażenia zgody będzie zbierał te dane do modelowania, ale w surowych danych nic nie zobaczymy. Mogą też być różnice związane z czasem procesowania danych w GA4, może się zdarzyć, że podczas procesowania Google coś „zgubi”, więc tak, będą różnice, ale raczej niewielkie.

Wynika to z przyjętego modelu oznaczania ID sesji, który jest nadawany wyłącznie na podstawie Timestampu.

Małe biznesy nic nie będą płacić za korzystanie z BigQuery (ze względu na darmowe ilości przechowywania i procesowania danych i kupony na Google Cloud), więc myślę, że od samego początku warto budować już swoją hurtownię danych i uczyć się, jak korzystać z połączonych danych do optymalizacji zarówno biznesu, jak i marketingu.

Nie do końca, ponieważ jeżeli mamy zrobiony raport i odświeżamy go, to Looker wykonuje zapytanie SQL, aby wyświetlić nam informacje. Tak samo jest, jeżeli włączymy sortowanie – to będzie nowe zapytanie z dodatkową funkcją Order_by itd. Manipulowanie raportem będzie nas kosztować, ale jeżeli nic nie zmieniamy w raporcie (nie zmieniamy daty, nie sortujemy, nie dodajemy dodatkowych kolumn itp.), to Looker nie będzie wykonywał nowego zapytania SQL do bazy, więc nie będziemy nic dodatkowo płacić. Takie „zapamiętanie” danych powinno działać przynajmniej przez 12 godzin.

Szukanie materiałów na YouTube, materiały bezpośrednio od Google, stronę https://www.optimizesmart.com/blog/, i w przyszłości kanał Marketing Masters na YouTube (https://www.youtube.com/c/MarketingMasters).

Odpowiednio założyć projekt i dobrze podpiąć biling oraz ustawić, aby data ważności tabeli nie wygasała, no i połączyć GA4 z BigQuery. Można też zrobić backup danych Universal Analytics do BigQuery za darmo: https://witbee.com/pl/blog/ocal-swoje-dane-z-google-analytics-universal-wykonaj-darmowy-back-up-danych-historycznych-do-google-bigquery

Polecam taki artykuł do zapoznania się: https://stacktonic.com/article/the-future-of-cdps-the-headless-approach

Mamy możliwość monitorowania wykorzystania BigQuery, więcej informacji tutaj:https://cloud.google.com/bigquery/docs/monitoring

Zdecydowanie powinniśmy przesyłać dane odpowiednio przygotowane do zrobienia autoML. Działanie na surowych danych jest niepraktyczne i bardzo kosztowne.