Data Craze Weekly #1

Tę wiadomość możesz otrzymać bezpośrednio na swoją skrzynkę dzięki zapisowi na newsletter – Data Craze Weekly.

Przegląd Tygodnia

W #1 wydaniu Data Craze Weekly po przerwie zapraszam Cię do sprawdzenia czym jest CDC, co nowego w PostgreSQL 15 i delikatnie o dokumentowaniu danych.

CDC – Change Data Capute w wydaniu Netflixa

Artykuł ma już trochę czasu, ale nadal jest to bardzo dobre przejście przez to czym jest CDC, czego wymagać od takiego „narzędzia” jak je stworzyć i … jak to zrobił Netflix.

Link: https://netflixtechblog.com/dblog-a-generic-change-data-capture-framework-69351fb9099b

Postgresql 15 bez dostępu CREATE dla schematu PUBLIC domyślnie

Od wersji 15 PostgreSQL nie będzie można tworzyć obiektów w schemacie PUBLIC bez roli admin / superuser domyślnie.

Link: https://andreas.scherbaum.la/blog/archives/1120-Changes-to-the-public-schema-in-PostgreSQL-15-and-how-to-handle-upgrades.html

Dokumentowanie danych po raz N-ty

Im dalej w las pracując z danymi, modelami, tabelami, schematami itd. Tym bardziej zaczynamy się gubić w gąszczu obiektów.

Pojawiają się pytania: po co ta tabela? Czy ktoś z niej korzysta? Jaki był jej cel?

Dokumentowanie nie należy do najprzyjemniejszych rzeczy. Jednak im szybciej zdamy sobie sprawę z tego, że praca z danymi przypomina nieco pracę bilbiotekarza i porządek jest królem. Tym będzie nam łatwiej w codziennej pracy.

Link: https://towardsdatascience.com/data-documentation-best-practices-3e1a97cfeda6

Narzędzia

sql_formatter - pracujesz w zespole i nie chce wam się dłużej sprzeczać czy przecinek na końcu czy na początku?

Zastosujcie formatter, który łatwo możecie zintegrować z GIT-em przed commitem.

Link: https://github.com/PabloRMira/sql_formatter

Sprawdź Wiedzę

Bez użycia funkcji MAX wyświetl drugi największy identyfikator produktu (kolumna PRODUCT_ID) z tabeli PRODUCTS.

#SQL

        SELECT product_id
          FROM products
      ORDER BY product_id DESC
         LIMIT 1
        OFFSET 1;

Praca

• Senior Data Engineer – Wayflyer – UK / EU Remote – 80000£ – 100000£