Wanneer gebruikt u Azure Data Explorer?
Hier bespreken we hoe u kunt bepalen of Azure Data Explorer de juiste keuze is voor uw big data-analysebehoeften. Door de volgende criteria te beoordelen, kunt u bepalen of Azure Data Explorer voldoet aan uw prestatie- en functionele doelstellingen.
- Interactieve analyse
- Gegevensvariant
- Snelheid van gegevens
- Gegevensvolume
- Gegevensorganisatie
- Gelijktijdigheid van query's
- Bouwen versus kopen
Beslissingscriteria
Azure Data Explorer is een interactief analyseplatform voor big data waarmee mensen gegevensgestuurde beslissingen kunnen nemen in een zeer flexibele omgeving. De factoren die hier worden vermeld, kunnen u helpen om te beoordelen of Azure Data Explorer geschikt is voor de workload die u bij de hand hebt. Stel uzelf de volgende belangrijke vragen:
Interactieve analyse
Moet ik gegevens interactief analyseren?
Gegevensanalyse omvat technieken zoals aggregatie, bereik, evaluatie, correlatie, anomaliedetectie, prognoses en algemene modelevaluatie waarmee grote hoeveelheden gegevens in bruikbare conclusies kunnen worden verminderd. Het interactief uitvoeren van dergelijke activiteiten is waar Azure Data Explorer over gaat. Deze activiteiten kunnen plaatsvinden in interactieve dashboards, analytische aangepaste toepassingen of via directe interactie met gegevens via gebruiksvriendelijke query's en visualisaties. Azure Data Explorer is mogelijk niet de juiste technologie voor het uitvoeren van langlopende batchtaken via gegevens. Overweeg technologieën zoals Microsoft Spark te gebruiken die goed werken met Azure Data Explorer voor langlopende taken.
Gegevensvariant
Hoe gevarieerd is mijn gegevensstructuur?
Azure Data Explorer biedt schaalbare volledige-tekstindex en dynamische schemaondersteuning voor hoge prestaties. Als u gestructureerde, semi-gestructureerde (json/xml) en texturale gegevens wilt analyseren en verwerken, is het een goede indicatie dat Azure Data Explorer relevant is voor uw workload.
Snelheid van gegevens
Is realtime gegevensanalyse een kritieke factor?
Azure Data Explorer kan snel en in lage latentie enorme hoeveelheden gegevens opnemen. Typische gegevenssets zijn traceringen, transactielogboeken, tijdreeksen, metrische gegevens en in het algemeen activiteitsrecordstromen. Bijna realtime analyse van nieuwe gegevens is een veelvoorkomende use-case. Azure Data Explorer maakt verbinding met streamingtechnologieën zoals Azure Event Hubs, IoT-hubs, Kafka om dergelijke workloads mogelijk te maken. Als er echter realtime analyses nodig zijn, is Azure Data Explorer mogelijk niet de beste optie.
Gegevensvolume
Hoeveel gegevens moet ik opnemen?
Azure Data Explorer is gebouwd om dynamische padanalyses te bieden, interactief en via API, via enorme gegevensworkloads. Voor scenario's waarbij de totale totale gegevensgrootte een paar gigabytes is, zijn er mogelijk andere kostenefficiëntere oplossingen.
Gegevensorganisatie
Hoe consistent zijn mijn gegevens georganiseerd?
Azure Data Explorer is gebouwd om schema-on-read toe te passen op onbewerkte gegevens. Deze aanpak creëert flexibiliteit om gegevens op verschillende manieren en vanuit verschillende standpunten te onderzoeken op basis van de huidige behoeften. Deze mogelijkheid is waardevol voor het omgaan met onverwachte uitdagingen in beveiligings-, operationele en concurrerende omgevingen onder andere. Azure Data Explorer biedt extreme snelheid, schaalbaarheid en kostenefficiëntie voor het analyseren van onbewerkte gegevens. Vaak genereert een ETL-proces (extract, transform, load) regelmatig een goed samengestelde, zeer consistente en goed gedocumenteerde set entiteiten en kenmerken. Analyse van deze complexe sterschema's omvat meestal grote fact-to-fact-joins waarvoor Azure Data Explorer niet is geoptimaliseerd.
Gelijktijdigheid van query's
Hoeveel gebruikers moeten tegelijkertijd gegevens opvragen/opnemen/verwerken?
Azure Data Explorer wordt breed gebruikt voor het implementeren van SaaS-aanbiedingen voor analyses. Als er ondersteuning moet worden geboden voor verschillende en unieke analysebehoeften van een groot aantal aanvragen parallel, moet Azure Data Explorer een goede oplossing bieden.
Bouwen versus kopen
Hoeveel wil ik mijn gegevensplatform aanpassen?
Azure Data Explorer is een volledig beheerd platform als een service. Het biedt echter geen kant-en-klare oplossing. Hiervoor is wel het aanpassen, configureren, verbinden en maken van ervaringen nodig om een oplossing (build) te leveren. Er zijn verschillende oplossingen, van Microsoft en derden die Gebruikmaken van Azure Data Explorer om dergelijke kant-en-klare oplossingen in verschillende domeinen en verticalen te leveren. Bijvoorbeeld Azure Monitor voor IT-bewerkingen. Microsoft Advanced Threat Protection en Microsoft Sentinel in het beveiligingsdomein, Azure Time Series Insights en Azure IoT Central in de IoT-domeinen.
De criteria toepassen
Azure Data Explorer werkt het beste voor het inschakelen van interactieve analysemogelijkheden voor kenniswerkers met een hoge snelheid, diverse onbewerkte gegevens. Laten we eens nadenken over het toepassen van de criteria die we eerder hebben vermeld op onze voorbeeldprocessen in het scenario van het kledingbedrijf.
Moet Azure Data Explorer worden gebruikt voor productiegegevens?
De productieafdeling van ons voorbeeldkledingbedrijf moet beslissingen nemen over het beheren van voorraad- en productievolumes. Ze hebben binnenkomende logboeken met gegevens voor inventaris. Ze willen ook georuimtelijke gegevens van marketing gebruiken om te anticiperen op productbehoeften per regio. Deze gegevens hebben een hoge mate van verscheidenheid, snelheid en volume. Het is niet consistent georganiseerd en veel belanghebbenden moeten deze gegevens gelijktijdig opvragen. Van opname tot query vereisen ze lage latentie. Ze hebben reactietijden van query's nodig van minder dan een seconde en hoger. Op basis van de beslissingscriteria is Azure Data Explorer geschikt voor de productieafdeling van het kledingbedrijf.
Moet Azure Data Explorer worden gebruikt voor marketinggegevens?
De marketingafdeling van het kledingbedrijf wil de effectiviteit van hun campagne evalueren. Ze hebben clickstreamgegevens van hun website en advertentiecampagnes. Ze hebben ook vrije tekstgegevens (ongestructureerde) gegevens van sociale media. Deze gegevens zijn zeer gevarieerd en ongeordend. De afdeling wil verkennende interactieve analyses uitvoeren. Op basis van de beslissingscriteria is Azure Data Explorer geschikt voor de marketingafdeling van het kledingbedrijf.
Samenvatting van de richtlijnen
In de volgende tabel ziet u hoe u nieuwe use cases evalueert. Hoewel hier geen gebruiksscenario's worden behandeld, kunnen we u hierbij helpen bepalen of Azure Data Explorer de juiste oplossing voor u is.
| Gebruiksscenario | Interactieve analyse | Big data (Variety, Velocity, Volume) | Gegevensorganisatie | Gelijktijdigheid | Bouwen versus kopen | Moet ik Azure Data Explorer gebruiken? |
|---|---|---|---|---|---|---|
| Een Security Analytics SaaS implementeren | Intensief gebruik van interactieve, bijna realtime analyse. | Beveiligingsgegevens zijn divers, hoog volume en hoge snelheid. | Varieert | Het systeem wordt vaak gebruikt door meerdere analisten van meerdere tenants. | Het implementeren van een SaaS-aanbieding is een buildscenario . | Ja |
| CDN Log Analytics | Interactief voor probleemoplossing, QoS-bewaking. | CDN-logboeken zijn divers, hoog volume en hoge snelheid. | Afzonderlijke logboekrecords. | Een kleine groep gegevenswetenschappers kunnen deze analyses gebruiken, maar het kan ook veel dashboards aandrijven. | De waarde die is geëxtraheerd uit CDN-analyse is scenariospecifiek en vereist aangepaste analyses. | Ja |
| Tijdreeksdatabase voor IoT-telemetrie | Interactief voor het oplossen van problemen, het analyseren van trends, het gebruik en het detecteren van afwijkingen. | IoT-telemetrie is snel, maar kan alleen of gemiddeld zijn gestructureerd. | Gerelateerde recordsets. | Een kleine groep gegevenswetenschappers kunnen deze analyses gebruiken, maar het kan ook veel dashboards aandrijven. | De context wordt doorgaans gebouwd bij het zoeken naar een database. | Ja |
De volgende tabel met stroomdiagrammen bevat een overzicht van de belangrijkste vragen die u moet stellen wanneer u Azure Data Explorer gebruikt.
