Blog
Jouw applicaties, de systemen waar deze op draaien en allerlei andere toepassingen waar je gebruik van maakt, verzamelen logs en andere data. Waarschijnlijk doe je maar weinig met al deze data, terwijl ze een schat aan informatie kunnen bevatten om jouw dienstverlening te analyseren en te verbeteren. Weet je eigenlijk wel welke data je allemaal aan het verzamelen bent? En weet je waar deze data wordt opgeslagen? Door je data centraal te verzamelen in een Data Lake hou je niet alleen grip op al deze bedrijfsdata, maar creëer je ook de mogelijkheid om voordelen te halen uit de informatie die deze bevat. In dit artikel gaan we in op het concept van Data Lakes, de mogelijkheden ervan en waarom jij ook zou moeten nadenken over de aanleg ervan.
Een Data Lake is een omgeving die is ontworpen voor het opslaan van grote hoeveelheden data, welke vorm die data ook mag hebben. De data kan variëren van klantinteracties, verkooptransacties, websitebezoeken, social media gegevens, performance statistieken, tot gegevens van IoT devices, en nog veel meer. Het is belangrijk om je bewust te zijn van deze gegevensstromen en waar deze gegevens terechtkomen. Het kan zelfs zijn dat je in overtreding bent waar het opslag van mogelijk gevoelige (persoons)gegevens betreft.
In een Data Lake wordt data centraal opgeslagen in het rauwe, oorspronkelijke formaat. Data Lakes zijn ingericht om horizontaal te schalen, zodat naarmate jouw bedrijf en de hoeveelheid data groeit, je kan opschalen om nieuwe gegevensbronnen, -typen en -volumes op te nemen. Het opslaan van jouw data in een Data Lake maakt het makkelijker om deze te analyseren en er inzichten uit af te leiden.
Met behulp van specifieke tools kan je uit jouw data trends, patronen en correlaties identificeren die je helpen bij het nemen van bedrijfsbeslissingen en het verbeteren van jouw dienstverlening. Zo kan je bijvoorbeeld klantgedrag analyseren, zoals de producten die zij bekijken, toevoegen aan hun winkelwagen en kopen, om populaire producten te identificeren en jouw marketing- en verkoopstrategieën doorlopend aan te passen.
Waarom (en wanneer) zou je beginnen aan het aanleggen van je eigen Data Lake? En hoe pak je dat aan? Voor een kleine organisatie lijkt het wellicht wat overdreven om hier direct mee aan de slag te gaan. De tools voor analyse zijn niet voor beginners en de toegevoegde waarde weegt mogelijk daarom nog niet op tegen de vereiste tijd en energie die het kost. Maar aan de andere kant: ook al staat de analyse van de data nog niet bij je op de agenda, beginnen met het centraal verzamelen van je bedrijfsdata is misschien juist al wel een goed idee.
Over het algemeen zijn developers zeer actief bezig met de functionaliteit, performance en veiligheid van hun applicatie, maar zijn ze zich minder bewust van het vraagstuk van logs, metrics en de langetermijnvisie hierop. Als je in een vroeg stadium al wel nadenkt over deze zaken, voorkom je dat de hoeveel tijd en energie die je er later in moet steken als jouw platform is gegroeid exponentieel groter is. Het ombuigen van jouw model om te kunnen voldoen aan compliancy eisen en eigen wensen kost, hoe langer je wacht, steeds meer tijd en energie.
Als je op een later moment namelijk alsnog besluit hiermee aan de slag te willen, is de basis daar al voor ingericht. Het zorgt daarnaast voor bewustzijn met betrekking tot het verzamelen van data. Welke systemen gebruik je allemaal? Wat voor soort data wordt daar verzameld? En hoe (en waar) wordt die opgeslagen? Dit is belangrijke kennis om te bezitten.
Wij kunnen jou helpen om hier mee aan de slag te gaan. Wij assisteren jou met het in kaart brengen van jouw datastromen, het inrichten van infrastructuur en tooling en het opstellen van policies om je data daarop samen te brengen, te kunnen inzien en analyseren.
Als je besluit tot het aanleggen van een Data Lake is het belangrijk om te zorgen voor security, privacy en compliancy. Wetgeving wordt steeds strenger op dit gebied, dus het is verstandig om de grote Amerikaanse cloud partijen te vermijden voor de opslag van jouw data. Maak gebruik van een Europese cloudprovider om de data op te slaan. Je voldoet daarmee aan de AVG, behoudt meer controle en eigenaarschap over je data en bent beter beschermd door Europese wet- en regelgeving.
Aarzel vooral niet om hulp in te schakelen bij het technisch inrichten van jouw Data Lake. Aangezien jouw data in rauwe, onbewerkte vorm wordt bewaard, is de wijze van opslag en het categoriseren ervan niet geheel onbelangrijk. Als structuur ontbreekt, wordt de data te ongestructureerd om er nog zinvolle analyse over te kunnen doen. Daarnaast is de veiligheid ervan natuurlijk belangrijk, zeker als je met zeer gevoelige data werkt waar strenge voorwaarden voor gelden. Een Data Lake is daarom niet alleen opslag, maar een compleet platform inclusief maatregelen voor toegang, encryptie en monitoring.
Als jouw Data Lake eenmaal operationeel is, wordt het tijd om er dingen mee te gaan doen. Maar wat dan? Dat staat je helemaal vrij en is natuurlijk afhankelijk van de data die je verzamelt. Op systeem- of platform niveau kan je bijvoorbeeld kijken naar het tonen en analyseren van een breed scala aan gegevens op performance gebied. Voor applicaties zou je ook kunnen denken aan het gedetailleerd bekijken van je Kubernetes platform en containers om inzicht te krijgen in zowel gebruik als performance. Kies een beginpunt en kijk daarna waar je verder nog mee aan de slag wil. De data wacht geduldig op je tot jij er iets mee gaat doen.
Voor het analyseren en verbeteren van jouw online business kunnen Data Lakes van onschatbare waarde zijn. Zorg er dus voor dat je weet welke data je verzamelt en ga vandaag al nadenken over het centraal verzamelen ervan. Het levert natuurlijk werk op, maar de toegevoegde waarde ervan voor de toekomst is iets dat je niet moet onderschatten.Wij hebben zelf ook een platform ingericht op de infrastructuur van onze zusteronderneming Fuga Cloud om onze platformen en systemen te analyseren, te monitoren en te verbeteren. Wij delen onze ervaringen graag en kunnen jou een demo geven om je de mogelijkheden te laten zien. Neem gerust contact met ons op.
