Metadata on the fly

Oracle Data Management maakt je leven een stuk eenvoudiger, zowel in de cloud als on-premise. Er kunnen echter fouten optreden bij het laden van de data, wat vaak komt door ontbrekende metadata members. Het oplossen van deze missende metadata is een tijdrovende klus en veroorzaakt downtime. Hoe kun je dit slim automatiseren?

Missende metadata oplossen

Het handmatig oplossen van de ontbrekende metadata-members in de applicatie kost veel tijd, omdat je de volgende stappen moet doorlopen:

  1. Controleer het foutbericht van de laadactie om de afgekeurde members voor de verschillende dimensies vast te leggen.
  2. Bewerk de dimensies door de geweigerde metadata members op de juiste plaats in de boomstructuur toe te voegen.
  3. Vernieuw de kubus om deze nieuwe members zichtbaar te maken voor de applicatie.
  4. Voer de laadtaak voor Data Management opnieuw uit.
  5. Valideer of de nieuwe laadtaak met succes is uitgevoerd.

Het geautomatiseerd aanmaken van ontbrekende metadata members in Oracle Data Management

Eén van onze klanten heeft Swap Support dan ook gevraagd of het mogelijk is om dit proces te automatiseren, zodat het minder tijd kost en er minder downtime is tijdens werkdagen. Gelukkig is het antwoord op deze vraag ja.

In dit blog ga ik vooral in op de functionele stappen rondom het automatiseren van deze data loads. Wil je meer weten over de scripts en technieken die hiervoor worden gebruikt, neem dan gerust contact met mij op.

Bij het implementeren van dit geautomatiseerde proces is het uitgangspunt om de standaardfunctionaliteit van de Hyperion-omgeving zoveel mogelijk te gebruiken. De automatiseringsscripts gebruiken we eigenlijk vooral voor het uitvoeren van reeds gedefinieerde taken. We benutten de uploadfunctie van Metadata in Data Management om de nieuwe ontbrekende members te maken en in kaart te brengen. Verder hebben we REST API’s van zowel Data Management als FCCS/ PBCS (HFM/ Planning) gebruikt om de verschillende loads uit te voeren en te monitoren.

Hoe werkt het?

De beste manier om de geautomatiseerde stappen uit te leggen is door het proces van begin tot eind te doorlopen. Zo zie je goed de functionele stappen die nodig zijn om de transactiegegevens succesvol te laden.

  1. Voer remote een dataload rule voor Data Management uit om een geüploade flat file in de doelapplicatie te importeren.
  2. Als dit niet lukt, download dan het bijbehorende error log uit de omgeving om de afgewezen members te vinden:

  3. De geweigerde gegevensrij ziet er in het bijbehorende logbestand als volgt uit:

  4. Om te achterhalen welke van deze members in de toepassing ontbreekt, vergelijkt het script de geweigerde waarden in deze error line met alle members op het laagste niveau van de overeenkomstige dimensies. Vervolgens maakt het script een nieuwe flat file met alle afgewezen members van de dimensie:
  5. Upload nu de metadata load file naar een locatie binnen Data Management die is gedefinieerd om dimensiemembers te uploaden naar de overeenkomstige dimensie. Voer hierna de automatische load van metagegevens uit in Data Management.
  6. Een prettige functie van het bijwerken van metadata via Data Management is de optie om na elke geslaagde load de database te vernieuwen.

  7. Als de metadata-load met succes is uitgevoerd en de database is vernieuwd, voert het script de initiële data load rule – die hiervoor niet werkte – opnieuw uit:

  8. Nadat de transactiegegevens succesvol zijn geladen, wordt een geautomatiseerde e-mail verzonden naar degenen die verantwoordelijk zijn voor de geladen locatie. Deze e-mail bevat alle details van deze geautomatiseerde run, inclusief de nieuw gemaakte members:

Tijd besparen en downtime verminderen

Het automatiseren van datamanagement loads en het direct creëren van metadata heeft een paar voordelen. In de praktijk zien we dat het veel tijd bespaart. Daarnaast kan het proces worden ingepland buiten werkuren. Dit vermindert de downtime voor de eindgebruikers, omdat de database moet worden vernieuwd nadat nieuwe members zijn gemaakt.

Inzetten binnen jouw organisatie

Wil jij dit proces binnen jouw organisatie ook automatiseren? Neem dan contact met me op, ik laat je graag zien hoe het werkt op één van onze testomgevingen. Dat kan overigens ook remote.

Tekst: Reinder Riemersma