Synapse-ról Databricksre: adattárház-modernizáció a MOL Digital Factory-nél
Ügyfél
A MOL-csoport Közép-Európa egyik legnagyobb vállalata és Magyarország legnagyobb cége. A budapesti központú, integrált nemzetközi olaj- és gázipari vállalat több mint 80 éves iparági tapasztalattal rendelkezik, mintegy 25 000 munkavállalót foglalkoztat, és több mint 30 országban van jelen.
Az Abylon hosszú évek óta a MOL-csoport kiemelt partnere, amelynek számos adat- és BI-projektet szállítottunk sikeresen. Jelen projektet a MOL-csoport Digital Factory szervezete valósította meg a Retail üzletág számára, amely 10 közép-európai piacon összesen 2300 töltőállomás és a hozzájuk kapcsolódó convenience üzletek működtetéséért felel.
Feladat
A MOL-csoport digitális transzformációs motorjaként működő Digital Factory korábban egy helyben üzemeltetett, SQL-alapú adattárházra támaszkodott, amely elsősorban a nagy mennyiségű tranzakciós és ügyféladatokra épülő BI riportolást szolgálta ki. Bár a rendszer stabilan és megbízhatóan működött, nem fejlett analitikai felhasználásra vagy rugalmas adatfeldolgozásra tervezték.
Ahogy nőtt az igény a mélyebb üzleti elemzések, az összetettebb megoldások és a modellezési képességek iránt, bevezetésre került egy fejlett analitikai platform, amely olyan technológiákra épült, mint a Databricks és az Azure Synapse. Ez új lehetőségeket nyitott meg, ugyanakkor egy széttagolt környezetet eredményezett, ahol a különböző felhasználói csoportok eltérő platformokat használtak fejlesztési (Databricks) és analitikai (Synapse) feladatokra.
A több platform párhuzamos működtetése növelte a komplexitást és a költségeket, miközben teljesítménybeli és használati különbségeket is eredményezett. Az egységes, felhőalapú adatplatform hiánya korlátozta a skálázhatóságot, és megnehezítette a fejlett analitikai, illetve gépi tanulási kezdeményezések támogatását.
A MOL-csoport Digital Factory szervezetének egy olyan egységes és skálázható platformra volt szüksége, amely egyszerre szolgálja ki a fejlesztők és az elemzők igényeit, miközben javítja a teljesítményt és csökkenti a működési komplexitást.
Megoldás
Korábbi kezdeményezések részeként létrejött egy fejlett analitikai platform, amely a Databricks környezetet használta fejlesztési és gépi tanulási feladatokra, míg az Azure Synapse a SQL-alapú analitikai munkaterhelések kiszolgálására szolgált. Bár ez a felállás új képességeket tett elérhetővé, egyben megosztott környezetet is eredményezett, ahol a különböző felhasználói csoportok eltérő platformokon dolgoztak.
A platformok fejlődésével a Databricks bevezette a SQL Warehouse szolgáltatást, egy kifejezetten analitikai munkaterhelésekre optimalizált SQL motort. Ez lehetővé tette, hogy a fejlesztési és analitikai feladatok egyetlen platformra kerüljenek át anélkül, hogy a teljesítmény vagy a funkcionalitás sérülne.
Az első értékelések azt mutatták, hogy a Databricks SQL Warehouse jelentősen jobb lekérdezési teljesítményt és kedvezőbb költségszintet biztosít. Az eredmények alapján a MOL-csoport Digital Factory és az Abylon közösen úgy döntött, hogy az összes SQL-alapú munkaterhelést Synapse-ról Databricksre migrálja, mivel ez bizonyult a leghatékonyabb megoldásnak mind az analitikai, mind a fejlesztési felhasználási esetek számára, a meglévő kód módosítása nélkül.
A migráció kiterjedt a lekérdezésekre, riportokra és felhasználói folyamatokra is. Az átállást követően a Synapse kivezetésre került, a Databricks pedig a fejlesztők és elemzők közös platformjává vált.
A megoldás egyik kulcseleme a Databricks SQL Warehouse bevezetése volt. Ez a SQL-fókuszú motor lehetővé teszi a lekérdezések közvetlen futtatását a Databricks környezetben, valamint a riporting eszközök, például a Power BI natív összekapcsolását. Ennek köszönhetően a meglévő riportok jelentős átdolgozás nélkül tovább használhatók maradtak.
A Databricks ma már az analitikai és fejlesztési feladatok elsődleges platformja. Az adatfeldolgozás és az analitika teljes egészében egyetlen környezetben történik, ami egyszerűbb működést és egy jövőbiztos, skálázható alapot biztosít a további fejlesztésekhez.
Eredmények
Az új platform hatékonyabb és skálázhatóbb alapot biztosít a MOL-csoport Digital Factory számára az adatvezérelt döntéshozatal támogatására. A rendszerek konszolidációjának és a teljesítmény javításának köszönhetően a szervezet csökkentette költségeit, miközben gyorsabb és megbízhatóbb hozzáférést biztosít az üzleti információkhoz. Az egységes platform emellett egyszerűsítette a működést, és stabil alapot teremtett a jövőbeli adatkezdeményezések számára.
Főbb eredmények:
- A platformköltségek mintegy 60–70%-os csökkentése a korábbi környezethez képest
- Gyorsabb hozzáférés az üzleti információkhoz a jobb lekérdezési teljesítménynek köszönhetően
- A fejlesztési és analitikai feladatok egyetlen platformon történő egyesítése
- Hatékonyabb együttműködés a csapatok között a közös adat- és analitikai környezet révén
- Az adatsilók csökkentése és az adatok konzisztenciájának javítása
- Egyszerűbb üzemeltetés és irányítás egy központi adatplatform segítségével
- Fejlett analitikai, gépi tanulási és AI-megoldások támogatása egy skálázható platformon
- Jobb felhasználói élmény az elemzők és fejlesztők számára
- Beépített verziókövetés és Azure DevOps, illetve Git integráció a hatékonyabb fejlesztési folyamatok érdekében
További esettanulmányok
Projekt típusa
Adattárház-modernizáció és felhőalapú platformkonszolidáció
Iparág
Olaj- és gázipar
Technológiák
- Databricks
- Databricks SQL Warehouse
- Microsoft Azure
- Azure Synapse Analytics
- Power BI
- Python
- Machine Learning
