A Fizz adattárházának migrációja Databricks Lakehouse platformra
Ügyfél
A Fizz Magyarország első banki hátterű e-kereskedelmi piactere, amelyet az OTP Bank leányvállalata üzemeltet. Az OTP „beyond banking” stratégiájának részeként indult platform az első évében közel 7 millió látogatót vonzott, és több mint 500 kereskedő több mint 1,5 millió termékét tette elérhetővé a vásárlók számára.
Feladat
Az induláskor a Fizz egy SQL Server alapú adattárházra és Power BI riportokra támaszkodott, amelyek napi batch feldolgozással szolgálták ki az üzleti riportálási igényeket. Ahogy a platform növekedett, egyre nagyobb igény jelent meg a fejlettebb analitikai képességek és a gyorsabb adatelérés iránt. A meglévő rendszer korlátai fokozatosan nyilvánvalóvá váltak, különösen a skálázhatóság, a rugalmasság, valamint a modern adatelemzési és AI felhasználási esetek támogatása terén.
Emellett a Python alapú feldolgozások külön környezetben futottak, a rendszer bővítése pedig növekvő infrastruktúra-költségekkel járt. A Fizz olyan egységes platformot keresett, amely képes támogatni az SQL- és Python-alapú munkafolyamatokat, valamint a jövőbeni AI kezdeményezéseket is, mindezt a működés további bonyolítása nélkül.
A kihívások kezelésére a Fizz a Databricks Lakehouse architektúra mellett döntött. A cél a meglévő környezet gyors leváltása volt úgy, hogy közben a riportálás folytonossága és a végfelhasználói élmény se sérüljön.
Megoldás
A Databricks platform bevezetéséről szóló döntést követően az Abylon Consulting részt vett a Fizz meglévő SQL-alapú adattárházának Databricks Lakehouse platformra történő migrációjában. A projekt célja egy gyorsan bevezethető, ugyanakkor stabil megoldás kialakítása volt, amely biztosítja a meglévő riportálási folyamatok zavartalan működését.
Az adatbetöltést az Azure Data Factory végezte, amely az adatforrásokból érkező adatokat elérhetővé tette a Databricks környezetben. A platform a Medallion Architecture szerint került kialakításra, az adatok pedig Delta táblákban kerültek tárolásra a bronze és silver rétegekben. A nyers adatok a bronze rétegbe érkeztek, majd Databricks workflow-k és Python alapú feldolgozások segítségével kerültek átalakításra és betöltésre a silver rétegbe.
A projekt fontos célja az egyszerű és hatékony megvalósítás volt. A gold rétegben az üzleti logika és a riportálási objektumok view-k formájában kerültek kialakításra, amelyeket a Power BI közvetlenül használt fel. A meglévő pipeline-ok és datasetek módosításra és optimalizálásra kerültek, hogy zökkenőmentesen működjenek együtt az új platformmal, míg a Logic App-ek felülvizsgálata biztosította az adatátviteli folyamatok megbízhatóságát.
Az Abylon emellett támogatta a riportálás folytonosságát a Power BI modellek új környezethez történő kapcsolásával, valamint az adatbetöltési és riportálási folyamatok optimalizálásával. A hosszú távú fenntarthatóság érdekében tudásmegosztó workshopokat és képzéseket tartottunk, hogy a Fizz csapata önállóan is magabiztosan üzemeltethesse és továbbfejleszthesse a platformot.
Eredmények
A migráció eredményeként a Fizz egy modern, skálázható Databricks alapú adatplatformot kapott, amely mindössze három hónap alatt valósult meg a meglévő riportálási folyamatok megszakítása nélkül. Az új környezet javította a teljesítményt, egyszerűsítette az üzemeltetést, és megfelelő alapot teremtett a jövőbeli analitikai és AI kezdeményezések számára.
A projekt legfontosabb eredményei:
- Jobb teljesítmény és skálázhatóság az infrastruktúra-költségek növelése nélkül
- Az SQL- és Python-alapú munkafolyamatok egyetlen platformon történő konszolidálása
- Az éjszakai adatfeldolgozási idő 3–4 óráról körülbelül 90 percre csökkent
- Jelentősen gyorsabb riportelérés az üzleti felhasználók számára
- A Power BI frissítési idejének mintegy 50%-os csökkenése
- A nagyméretű adatexportok percek alatt elkészülnek
- Körülbelül 50 tábla és a kapcsolódó riportálási logika sikeres migrációja Databricks környezetbe
- Mindez a működés folytonosságának teljes megőrzése mellett
Szeretne többet megtudni?
A Databricks által publikált angol nyelvű részletes esettanulmány mélyebb betekintést nyújt a migráció folyamatába, a technikai megvalósításba és az üzleti eredményekbe.
További esettanulmányok
Projekt típusa
Adattárház migráció Databricks Lakehouse platformra
Iparág
E-kereskedelem / Retail
Technológiák
- Databricks Lakehouse
- Databricks SQL
- Microsoft Azure
- Azure Data Factory (ADF)
- Power BI
- Python
- Delta Lake
