Hydro
Dataplattform fordeler prosessdata — med Azure Databricks i kjernen
Ikke undervurder viktigheten av lagring og håndtering av data, skriver Hydro i presentasjonen av dataplattformen sin.
Utfordring
Hydros skybaserte dataplattform er et viktig verktøy for selskapet. Med den tilgjengeliggjør Hydro data fra produksjonssystemet, cellekontrollsystemer og sensorer i anleggene - i sanntid og som batchede datastrømmer.
Data tilrettelegges for visning i informasjonsportaler, selvbetjent rapportutvikling og avansert analyse. Resultatene gjøres tilgjengelig for hele organisasjonen — fra operatører og prosessingeniører til salg, vedlikehold og ledelse.
Slik fungerer dataplattformen
Det er en plattform for langtidslagring, foredling og tilgjengeliggjøring av data på tvers av analyse- og forretningsområder. Plattformen støtter både strømmebasert og batch-basert databehandling.
Inntak og orkestrering av rådata utføres av Azure Functions som på en pålitelig og skalerbar måte sørger for lagring til ulike lagringstjenester. Azure SQL Database og Azure Data Explorer (ADX) benyttes som sentrale lagringstjenester i plattformen, i tillegg til at all historisk data lagres i Delta Lake for trygg og skalerbar langtidslagring.
Azure Databricks benyttes til transformasjon og foredling av data fra rå til analyseklar tilstand, samt utvikling og drift av dataprodukter og maskinlæringsmodeller. Databricks Unity Catalog benyttes som en felles styrings- og tilgangsplattform for rådata, ustrukturerte filer, dataprodukter og ML-modeller. Data fra ulike SQL databaser federeres til Unity Catalog via Lakehouse Federation. Tilgang og eierskap forvaltes desentralt av domeneeiere i tråd med data mesh-prinsipper, innenfor rammer og standarder definert på plattformnivå.
Resultatet er en løsning med høy tilgjengelighet selv ved stort datavolum, som er både skalerbar og kostnadseffektiv for Hydro.
Hydro benytter seg av fremtidsrettet teknologi. Det har vært interessant å få førstehåndserfaring og innsikt i mulighetene som Azure tilbyr — og Azure Databricks er en sentral del av det. Det har også vært spennende å være med i et av Industri 4.0-initiativene som Hydro fronter utad.
Teknologi
- Azure Databricks (inkl. Unity Catalog) – distribuert plattform for datatransformasjon og prosessering av batch- og strømmedata, utvikling av dataprodukter og maskinlæringsmodeller, samt felles mekanismer for tilgangsstyring
- Azure Event Hubs – sanntidsingest av prosess- og sensordata
- Azure Functions – orkestrering av dataflyt og lagring av data
- Azure SQL Database – lagring av strukturerte data i RDBMS
- Azure Data Explorer (ADX) – lagring av tidsserie
Ansvarlig kontor: Haugesund
Kontakt oss
