FAQ Dataplatform

Vind hier de meest gestelde vragen en antwoorden over het ANVA Dataplatform

Ik maak nu gebruik van trigger bestanden, hoe kan ik nu met delta’s omgaan?

In Snowflake komt de data beschikbaar in views, deze views zijn voorzien van de upload datum/tijd van elk record. Daarmee kun je delta’s selecteren.

Kunnen kantoren ook zelf views aanmaken?

Het dataplatform wordt beschikbaar gesteld door ANVA. Daarom is het niet mogelijk om zelf views te maken.

Hoe ziet het bestand eruit?

We hebben een voorbeeld van een bestand in Excel.

Kan ik meerdere queries tegelijk laten draaien?

Het is mogelijk om meerdere queries tegelijk te laten draaien. Als gebruik wordt gemaakt van sql-api kan een request standaard maar 1 sql statement bevatten, als er meer statements in een request worden gebruikt moet dat expliciet in de API call aangegeven worden.

Hoe kan ik de beste performance houden bij het draaien van queries op het dataplatform?

Wij raden af om bij selecties te werken met “select * ”. En wel om twee redenen. Ten eerste is dit nadelig voor de performance. En ten tweede zal deze constructie betekenen dat als wij een aanpassing in de tabel doen de verwerking van de query fouten gaat opleveren. En select met specifieke kolommen, alleen de kolommen die nodig zijn, zal blijven werken en sneller zijn.

Hoe kan ik queries maken en uitvoeren op Snowflake?

Snowflake gebruikt standaard SQL aangevuld met snowflake eigen functies. Snowflake werkt bij voorkeur met hoofdletters, dus tabel namen, kolomnamen die niet die niet in hoofdletters staan moeten worden voorzien van dubbele quotes.

Sommige queries (nog te definieren) kunnen langer duren

De performance wordt sterk beïnvloed door de data die opgevraagd wordt. Wij adviseren om enkel de data (kolommen) op te vragen die daadwerkelijk nodig zijn in de verdere verwerking. Alle data die extra mee komt is nadelig voor de performance.

Ik maak gebruik van grote queries

Snowflake is in staat om grote queries snel te verwerken, de data wordt vervolgens gepersisteerd zodat de vragende applicatie (bijv. SQL-SERVER) deze data kan inlezen. Echter deze data blijft uit security overweging een beperkte tijd beschikbaar. Deze tijd is door Snowflake ingesteld op 6 uur en is niet aan te passen.

De data van de query moet binnen 6 uur ingelezen worden, na deze 6 uur zal een authenticatie error optreden.

Je moet iets in je registry aanpassen, hoe, wat?

Na installatie van de ODBC-connector dienen de credentials in het register te worden toegevoegd. De interface voor het configureren van de ODBC-connector voorziet niet in het toevoegen van de keypair gegevens.

Ik maak nu gebruik van de 32-bits versie van de ODBC-connector

Voor de 32-bits Veryant ODBC-koppeling zijn in het verleden aparte EFDs aangemaakt voor enkele tabellen waar de recordlengte groter was dan de ondersteunde lengte.

Het gaat om de tabellen NAWBES, NAWHIS, POLBES en POLHIS. Hiervoor zijn per tabel vier aparte EFDs gemaakt (bijv. NAWBES_DEEL1 t/m NAWBES_DEEL4),

In Snowflake zijn deze tabellen in de volledige lengte te gebruiken. De DEEL tabellen vind je dus niet terug in Snowflake.

Wat betekent het dat het variabele deel is uitgesplitst?

Uit ANVA komen alle labels in 1 lange string. We hebben de variabele delen uitgesplitst en beschikbaar gemaakt in aparte views. Hierdoor is het makkelijker in jouw systemen in te lezen.

In deze views worden de labels uit de vardeel-kolom op een bruikbare manier getoond. Deze views hebben de naam van de tabel met als toevoeging VARDEEL, dus NAWBESVARDEEL of POLBESVARDEEL.

Het is echter niet aan te bevelen met 1 query de labels van alle relaties of polissen op te halen aangezien deze views wat meer complexiteit bevatten en dus ook meer tijd nodig hebben om de data te verzamelen. Met name de historische tabellen zullen groot zijn waardoor het opvragen van alle vardeel labels lang kan duren.

Om tegemoet te komen aan dit performance probleem hebben we een extra set views ontwikkeld voor de variabele delen. Deze views voeren geen joins uit met andere tabellen; de data wordt ongefilterd en ongeformatteerd getoond. Dit resulteert in een aanzienlijke verbetering van de performance.

Een nadeel is dat bij sommige labels met een complexere notatie de waarde minder fraai wordt getoond. Deze views hebben de naam van de vardeel views met de toevoeging _COMPACT, zoals bijvoorbeeld NAWBESVARDEEL_COMPACT of POLBESVARDEEL_COMPACT.

Tijdens het extracten voor het dataplatform wordt in de variabele velden, bij bijvoorbeeld NAWBES of POLBES, de fieldseperator die de scheiding vormt voor de labels ingevuld met een |-teken.Dat betekent dat het niet verstandig is om dat |-teken te gebruiken in waarden die in labels worden ingevuld.In de VARDEEL views splitsen we de labels middels het |-teken en wij zoeken dan naar een |-teken met daar achter 7 getallen(labels en lengte van de waarde). Als er toch een |-teken in een label waarde staat wordt de tekst na het |-teken niet getoond in de VARDEEL views.

Wat betekenen datumveld aanpassingen?

De ruwe data uit ANVA bevat een aantal onjuistheden. Zo bevat het soms onjuiste data-eenheden, zoals 31 Februari. Dit hebben we aangepast naar juiste data. Ook hebben we bijvoorbeeld datumvelden echt datumvelden gemaakt.

Wat betekenen prefixes?

Een prefix is toegevoegd aan de kolomnamen om snel te zien uit welke tabel deze komt. Bijvoorbeeld, het prefix “AGB_” is toegevoegd aan de kolommen uit de tabel AGBES. Dan krijg je bijvoorbeeld AGB_AGENTNR in plaats van AGENTNR.

Hoe komt mijn data in het dataplatform?

Om de ANVA-data uit jouw systeem naar het dataplatform te brengen gebruiken wij de tool ANVA-extract. Met ANVA extract wordt de data gedumpt in CSV-bestanden die vervolgens via een veilige verbinding worden overgezet naar onze AWS-omgeving. De CSV-bestanden worden na het overzetten weer verwijderd van jouw systeem zodat de ruimte weer vrij komt.

Hoe kan ik zien welke data erbij is gekomen in het dataplatform?

Alle data is voorzien van timestamps, hierdoor kun je zien wanneer de data aan het dataplatform is toegevoegd. Deze zijn te vinden in de tabel meta_load_times.

Is het var deel gelabeld?

Vaste velden zijn wel gelabeld. Dus nummers zijn nummers, bedragen zijn bedragen etc.

Waar kan ik mij inschrijven als er updates gedaan moeten worden door Snowflake ODBC-connector?

Je kunt je inschrijven bij Snowflake om op de hoogte te blijven omtrent updates van jouw Snowflake ODBC-connector. Ga hiervoor naar: https://docs.snowflake.com/en/release-notes.html

Timestamp voor wijzigingen/delta’s inzichtelijk te maken. Hoe kun je hier een view op maken?

De beschikbare views hebben de actuele stand van de data. Er is een timestamp aanwezig in de ODBC-views om wijzigingen of nieuwe records te identificeren. De timestamp representeert de datumtijd dat de data in het dataplatform is geladen en niet wanneer de mutatie in ANVA is gedaan.

Kan ik in de variabele tabellen naast de omschrijving van de tabellen ook de code zien?

In het ODBC schema in het dataplatform hebben we een uitbreiding gedaan in de variabele tabellen. In deze tabellen is tevens LABEL_DISPLAY_WIJZE_CODE aanwezig naast de omschrijving. Dit scheelt enorm in de opslag en je kunt op basis van de code je eigen vertaling in je omgeving maken.

Hoe kan ik zien of het extract succesvol is ingeladen?

Als een extract wordt ingeladen, wordt data over dit extract vastgelegd in een tabel. De data uit deze tabel is ook beschikbaar gemaakt middels een view met de naam META_LOAD_TIMES, zowel in het ODS als in het ODBC schema.

In deze view zie je het LOAD_TYPE wat aangeeft welk type extract is uitgevoerd. De LOAD_TIME geeft het moment aan wanneer het extract is ingeladen in Snowflake. Elke tabel komt twee keer voor aangezien data eerst in een STAGING schema komt en daarna wordt doorgezet in het ODS schema. De data voor het ODS schema (SCHEMA_NAAM = ‘ODS’) zal het meest relevant zijn aangezien die de LOAD_TIME aangeeft wanneer de data ook echt beschikbaar is gekomen. De kolom AANTAL_RECORDS geeft het aantal records in de tabel na verwerking, de kolom VERSCHIL geeft aan hoe het aantal records is gegroeid of afgenomen sinds de vorige verwerking.

Wat kost het gebruik van het ANVA Dataplatform?

Elke klant krijgt een vrij te besteden aantal dataplatform credits. Dat aantal is afhankelijk van het aantal polissen en contracten dat je met ANVA beheert. Verbruik je meer credits, dan wordt het aantal extra gebruikte credits bij je in rekening gebracht. Heb je vragen over het gebruik en de kosten van het dataplatform? Neem dan contact op met je accountmanager.