Databricks Lakebridge: Egyszerűbb és gyorsabb adattárház-migrációk az AI segítségével
A Databricks az egyik leginnovatívabb vállalat a mesterséges intelligencia és az adatkezelés területén, és nemrég tovább bővítette tevékenységét a BladeBridge csapat beolvadásával, amely mostantól Lakebridge néven működik. Ez az együttműködés nemcsak a hagyományos adattárház-migrációt egyszerűsíti le, hanem lehetővé teszi a teljes körű adatmodernizációt is, amely segíti a vállalatokat egy rugalmasabb környezetbe való átállásban. Az alábbiakban bemutatjuk, mit jelent a Lakebridge a felhasználók számára a gyakorlatban.
Mi a Lakebridge és miért fontos?
Az adattárházak modernizálása ma kulcsfontosságú feladat a vállalatok számára: a régi, elszigetelt rendszerek nem képesek lépést tartani a gyorsuló üzleti igényekkel és az AI-központú feldolgozási folyamatokkal. A szervezeteknek nem csupán migrációra van szükségük, hanem egy átfogó adatplatformra való teljes átállásra.
A migráció azonban gyakran kockázatos lépésnek számít.
A probléma gyökere, hogy az örökölt SQL-kódok összetettek, a függőségek nehezen azonosíthatók, és gyakran hiányzik a dokumentáció. Több ezer SQL-szkript és tárolt eljárás kézi felülvizsgálata és újraírása jelentős visszalépést okozhat. A Lakebridge erre a kihívásra kínál megoldást:
A Lakebridge a migrációs folyamat akár 80%-át képes automatizálni. Tud SQL-konverziót, profilozást, validálást és egyeztetést végezni, ezzel felgyorsítva a munkafolyamatokat.
Mit nyer vele egy szervezet?
- Rálátást a migráció terjedelmére és összetettségére
- Automatizált kódátalakítást és validálást beépített és felhasználó által definiált szabályokkal
- Az adatok pontosságának biztosítását
- Gyors átállást a Databricks SQL-re
Ráadásul a Lakebridge nem erőlteti az „egyszerre mindent” megközelítést: a „lift-and-shift” módszer mellett támogatja a fokozatos, hibrid migrációs stratégiákat is, így a cégek stabil alapokon vihetik át adataikat a modern adatplatformra.
A megoldás modern, automatizálásra fókuszáló szemlélettel kezeli a régi rendszerek összetettségét, és kiterjeszthető architektúrájának köszönhetően lehetőséget ad partnereknek új funkciók hozzáadására és a platform folyamatos fejlesztésére.
Forrás: Databricks
A BladeBridge korábbi szerepe és technológiája
A BladeBridge régóta az egyik kulcsszereplő az adattárház-migrációk automatizálásában a Databricks SQL felé. Platformja több mint 20 különféle adattárházból és ETL-megoldásból képes a munkaterhelések migrációját automatizálni, jelentős rugalmasságot biztosítva a vállalatok számára.
A Databricks és a BladeBridge közös megoldása, amely most Lakebridge néven fut, leegyszerűsíti az egyik legkritikusabb lépést a Microsoft SQL, Teradata és más régi rendszerekből való átállás során a Databricks SQL-re, egy szabályalapú kódátalakítási folyamat révén. Mivel szabályalapú, determinisztikus, így az átalakítások hibamentesek. Ez szorosan illeszkedik a Databricks stratégiájához, amely célja, hogy a vállalatok gyorsan elérjék az adatintegrációt teljes adatvagyonukban.
A Lakebridge eszközei: Analyzer, Converter és Reconciler
Forrás: Databricks
A migrációs folyamatot három eszköz támogatja: az Analyzer, a Converter és a Reconciler.
Ezekkel a cégek hónapokat spórolhatnak meg, hiszen adateszközeiket néhány óra alatt újraépíthetik a Databricks Data Intelligence Platformon.
A folyamat az Analyzerrel indul, amely alaposan felméri a meglévő adattárház környezetét, hogy feltárja az esetleges eltéréseket. Ezt követően a Converter átalakítja az örökölt ETL-folyamatokat és SQL-szkripteket – beleértve a tárolt eljárásokat is – olyan kóddá, amely futtatható a Databricks SQL-en vagy Spark SQL-en, szabályalapú transzformációs motorja segítségével. Végül a Reconciler ellenőrzi az adatok pontosságát és helyességét, biztosítva, hogy a migráció után az új rendszer ugyanazokat az eredményeket adja, mint a forrásrendszer.
Mit nyernek a vállalatok a Databricks Data Intelligence Platformmal?
Mindezek révén a vállalatok kontrollált és zökkenőmentes módon állhatnak át a Databricks Data Intelligence Platformra, miközben minimalizálják a migrációs kockázatokat.
Egyre több szervezet szeretné maga mögött hagyni a régi, elszigetelt adattárházakat, és áttérni a Databricks intelligens adattárházára, a Databricks SQL-re. Ez a technológiai fejlesztés újabb eszköz a Databricks kínálatában, amely lehetővé teszi a cégek számára, hogy kihasználják a Databricks SQL teljesítmény- és költséghatékonysági előnyeit, miközben egy olyan platformra költöznek, ahol a mesterséges intelligencia központi szerepet játszik.
A Lakebridge segítségével a migráció többé nem egy több mint egy évig tartó, bizonytalansággal teli, kézi folyamat, hanem egy átlátható, szabályalapú, biztonságos, gyors és költséghatékony megoldás.
Gyakorlati tapasztalataink
Mindez jól hangzik, de milyen a gyakorlatban? Cégünk egyik Senior Data Engineer-je mesélt a tapasztalatairól.
„Egy nagyszabású migrációs projekt során, amely SQL Serverről Databricksre irányult, több mint 900 tárolt eljárást kellett átültetnünk. Mivel az SQL-szkriptek és tárolt eljárások nemrég kerültek be a Databricks kínálatába (a cikk írásakor még Public Preview státuszban), kíváncsiak voltunk, hogyan kezeli ezt a Lakebridge. Az eredmények ígéretesek voltak: iteratív folyamaton keresztül sikeresen elkezdtük ezeknek az eljárásoknak a működő Databricks-kóddá alakítását.
Ez a folyamat több hónapnyi kézi migrációt spórolt meg egy ekkora kódbázison.
Emellett a Lakebridge folyamatosan bővül – a legutóbbi frissítés például lehetővé tette egyedi szabályok bevezetését, amivel a legspeciálisabb forráskódokat is kezelni tudtuk, és integrálhattuk a célrendszerben kívánt változtatásokat.”
Szeretnél többet tudni arról mire képes a Lakebridge?
Ne hagyja, hogy a régi adattárházak visszatartsák a fejlődést! Az Abylon és a Databricks Lakebridge megoldásával a migráció többé nem stresszes, kockázatos projekt, hanem átlátható, gyors és biztonságos folyamat. Lépjen kapcsolatba velünk még ma, és segítünk áthelyezni adatait a jövő platformjára!
Vagy nézze meg fix árú és fix terjedelmű Databricks QuickStart csomagjainkat.
