Premium blok-blob-opslagaccounts
Premium blok-blobopslagaccounts maken gegevens beschikbaar via krachtige hardware. Gegevens worden opgeslagen op SSD's (Solid State Drives), die zijn geoptimaliseerd voor lage latentie. SSD's bieden een hogere doorvoer in vergelijking met traditionele harde schijven. Bestandsoverdracht is veel sneller omdat gegevens worden opgeslagen op direct toegankelijke geheugenchips. Alle delen van een station in één keer toegankelijk. De prestaties van een harde schijf (HDD) zijn daarentegen afhankelijk van de nabijheid van gegevens aan de lees-/schrijfkoppen.
Workloads met hoge prestaties
Premium-accounts voor blok-blobopslag zijn ideaal voor workloads die snelle en consistente reactietijden vereisen en/of een groot aantal invoeruitvoerbewerkingen per seconde (IOP) hebben. Voorbeelden van workloads zijn:
Interactieve workloads. Zeer interactieve en realtime toepassingen moeten snel gegevens schrijven. E-commerce en toewijzingstoepassingen vereisen vaak directe updates en feedback van gebruikers. In een e-commercetoepassing worden bijvoorbeeld minder vaak bekeken items waarschijnlijk niet in de cache opgeslagen. Ze moeten echter direct worden weergegeven aan de klant op aanvraag. Interactieve bewerkings- of online gamingtoepassingen met meerdere spelers onderhouden een kwaliteitservaring door realtime updates te bieden.
IoT/streaminganalyse. In een IoT-scenario kunnen elke seconde veel kleinere schrijfbewerkingen naar de cloud worden gepusht. Grote hoeveelheden gegevens kunnen worden genomen, geaggregeerd voor analysedoeleinden en vervolgens bijna onmiddellijk worden verwijderd. De hoge opnamemogelijkheden van premium blok-blobopslag maken het efficiënt voor dit type workload.
Kunstmatige intelligentie/machine learning (AI/ML). AI/ML behandelt het verbruik en de verwerking van verschillende gegevenstypen, zoals visuals, spraak en tekst. Dit high-performance computingtype van de werkbelasting heeft betrekking op grote hoeveelheden gegevens waarvoor snelle reactie en efficiënte opnametijden nodig zijn voor gegevensanalyse.
Kosteneffectiviteit
Premium blok-blob-opslagaccounts hebben een hogere opslagkosten, maar lagere transactiekosten in vergelijking met standaard v2-accounts voor algemeen gebruik. Als uw toepassingen en workloads een groot aantal transacties uitvoeren, kan premium blok-blobopslag rendabel zijn, met name als de workload veel schrijfintensief is.
In de meeste gevallen zijn workloads die meer dan 35 tot 40 transacties per seconde per terabyte (TPS/TB) uitvoeren goede kandidaten voor dit type account. Als uw workload bijvoorbeeld 500 miljoen leesbewerkingen en 100 miljoen schrijfbewerkingen per maand uitvoert, kunt u de TPS/TB als volgt berekenen:
Schrijftransacties per seconde = 100.000.000 / (30 x 24 x 60 x 60) = 39 (afgerond op het dichtstbijzijnde gehele getal)
Leestransacties per seconde = 500.000.000 / (30 x 24 x 60 x 60) = 193 (afgerond op het dichtstbijzijnde gehele getal)
Totaal aantal transacties per seconde = 193 + 39 = 232
Ervan uitgaande dat uw account gemiddeld 5 TB gegevens had, zou TPS/TB 230 / 5 = 46 zijn.
Notitie
Prijzen verschillen per bewerking en per regio. Gebruik de Azure-prijscalculator om prijzen te vergelijken tussen de prijscategorieën Standard en Premium.
In de volgende tabel ziet u de kosteneffectiviteit van premium blok-blobopslagaccounts. De getallen in deze tabel zijn gebaseerd op een Premium Blok Blob Storage-account met Azure Data Lake Storage (ook wel de Premium-laag voor Azure Data Lake Storage genoemd). Elke kolom vertegenwoordigt het aantal transacties in een maand. Elke rij vertegenwoordigt het percentage transacties dat leestransacties zijn. Elke cel in de tabel toont het percentage kostenreductie dat is gekoppeld aan een leestransactiepercentage en het aantal uitgevoerde transacties.
Als uw account zich bijvoorbeeld in de regio VS - oost 2 bevindt, is het aantal transacties met uw account groter dan 90 miljoen en is 70% van deze transacties leestransacties, premium blok-blob-opslagaccounts rendabeler.
Notitie
Als u de kosteneffectiviteit liever evalueert op basis van het aantal transacties per seconde voor elke TB aan gegevens, kunt u de kolomkoppen gebruiken die onder aan de tabel worden weergegeven.
Premium-scenario's
Deze sectie bevat praktijkvoorbeelden van hoe sommige van onze Azure Storage-partners premium blok-blobopslag gebruiken. Sommige hiervan maken ook Azure Data Lake Storage mogelijk, waarin een hiërarchische bestandsstructuur wordt geïntroduceerd waarmee de transactieprestaties in bepaalde scenario's verder kunnen worden verbeterd.
Tip
Als u een gebruiksscenario voor analyses hebt, raden we u ten zeerste aan Azure Data Lake Storage samen met een premium blok-blobopslagaccount te gebruiken.
Deze sectie bevat de volgende voorbeelden:
- Premium blok-blob-opslagaccounts
Snelle gegevenshydratatie
Premium blok-blobopslag kan u helpen uw omgeving snel te hydrateren of op te halen. In sectoren zoals het bankwezen kunnen bepaalde wettelijke vereisten vereisen dat bedrijven hun omgevingen regelmatig afbreken en ze vervolgens weer helemaal opnieuw opstarten. De gegevens die worden gebruikt om hun omgeving te hydrateren, moeten snel worden geladen.
Sommige van onze partners slaan elke week een kopie van hun MongoDB-exemplaar op in een premium blok-blobopslagaccount. Het systeem wordt vervolgens afgebroken. Om het systeem weer snel online te krijgen, wordt de meest recente kopie van het MongoDB-exemplaar gelezen en geladen. Voor controledoeleinden worden eerdere kopieën gedurende een bepaalde periode bewaard in cloudopslag.
Interactieve bewerkingstoepassingen
In toepassingen waarbij meerdere gebruikers dezelfde inhoud bewerken, wordt de snelheid van updates essentieel voor een soepele gebruikerservaring.
Sommige van onze partners ontwikkelen videobewerkingssoftware. Elke update die een gebruiker aan een video maakt, is direct zichtbaar voor andere gebruikers. Gebruikers kunnen zich richten op hun taken in plaats van te wachten tot inhoudsupdates worden weergegeven. De lage latenties die zijn gekoppeld aan premium blok-blobopslag, helpen deze naadloze en gezamenlijke ervaring te creëren.
Software voor gegevensvisualisatie
Gebruikers kunnen veel productiever zijn met software voor gegevensvisualisatie als de renderingtijd snel is.
We hebben gezien dat bedrijven in de toewijzingsindustrie toewijzingseditors gebruiken om problemen met kaarten te detecteren. Deze editors gebruiken gegevens die worden gegenereerd op basis van gps-gegevens (Global Positioning System) van de klant. Als u overlappende kaarten wilt maken, worden in de bewerkingssoftware kleine secties van een kaart weergegeven door snel sleutelzoekacties uit te voeren.
In één geval gebruikt een partner HBase-clusters die worden ondersteund door standaard v2-opslag voor algemeen gebruik, voordat u premium blok-blobopslag gebruikt. Het werd echter duur om grote clusters altijd actief te houden. Deze partner heeft besloten om weg te gaan van deze architectuur en in plaats daarvan premium blok-blobopslag gebruikt voor snelle sleutelzoekacties. Om overlappingen te maken, gebruikten ze REST API's om tegels weer te geven die overeenkomen met GPS-coördinaten. Het Premium-account voor blok-blobopslag bood ze een rendabele oplossing en latenties waren veel voorspelbaarder.
E-commerce bedrijven
Naast het ondersteunen van hun klantgerichte winkels, kunnen e-commercebedrijven ook datawarehousing- en analyseoplossingen bieden aan interne teams. We hebben gezien dat partners premium blok-blob-opslagaccounts gebruiken ter ondersteuning van de lage latentievereisten door deze oplossingen voor datawarehousing en analyse. In één geval onderhoudt een catalogusteam een datawarehousingtoepassing voor gegevens die betrekking hebben op aanbiedingen, prijzen, verzendmethoden, leveranciers, inventaris en logistiek. Informatie wordt opgevraagd, gescand, geëxtraheerd en gemined voor meerdere gebruiksscenario's. Het team voert analyses uit op deze gegevens om verschillende merchandisingteams relevante inzichten en informatie te bieden.
Interactieve analyse
In bijna elke branche is het nodig dat ondernemingen hun gegevens interactief kunnen doorzoeken en analyseren.
Gegevenswetenschappers, analisten en ontwikkelaars kunnen sneller tijdgevoelige inzichten afleiden door query's uit te voeren op gegevens die zijn opgeslagen in een premium blok-blobopslagaccount. Leidinggevenden kunnen hun dashboards veel sneller laden wanneer de gegevens die in deze dashboards worden weergegeven, afkomstig zijn van een premium blok-blob-opslagaccount in plaats van een standaard v2-account voor algemeen gebruik.
In één scenario moesten analisten telemetriegegevens van miljoenen apparaten snel analyseren om beter te begrijpen hoe hun producten worden gebruikt en om beslissingen over productrelease te nemen. Het opslaan van gegevens in SQL-databases is duur. Om de kosten te verlagen en om het bevraagbare oppervlakgebied te vergroten, hebben ze een Premium Blok Blob Storage-account gebruikt en berekeningen uitgevoerd in Presto en Spark om inzichten te verkrijgen uit hive-tabellen. Op deze manier hebben zelfs zelden toegang tot gegevens dezelfde rekenkracht als vaak gebruikte gegevens.
Om de kloof tussen de prestaties van de subseconde van SQL en de invoeruitvoerbewerkingen van Presto per seconde (IOPS) te sluiten voor externe opslag, zijn consistentie en snelheid essentieel, met name wanneer u te maken hebt met kleine, geoptimaliseerde ORC-bestanden (Row Columnar). Een premium blok-blob-opslagaccount bij gebruik met Data Lake Storage heeft herhaaldelijk een prestatieverbetering van 3X aangetoond ten opzichte van een standaard v2-account voor algemeen gebruik in dit scenario. Query's zijn snel genoeg uitgevoerd om zich lokaal op de rekenmachine te voelen.
In een ander geval slaat een partner logboeken op die worden gegenereerd op basis van hun beveiligingsoplossing en voert deze query's uit. De logboeken worden gegenereerd met behulp van Databricks en vervolgens opgeslagen in een Premium Blok Blob Storage-account met Data Lake Storage. Eindgebruikers zoeken deze gegevens op met behulp van Azure Data Explorer. Ze hebben dit type account gekozen om de stabiliteit te vergroten en de prestaties van interactieve query's te verbeteren. Ze stellen ook het levenscyclusbeheerbeleid Delete Action in op een paar dagen, wat helpt om de kosten te verlagen. Dit beleid voorkomt dat ze de gegevens voor altijd bewaren. In plaats daarvan worden gegevens verwijderd zodra deze niet meer nodig zijn.
Pijplijnen voor gegevensverwerking
In bijna elke branche is er behoefte aan ondernemingen om gegevens te verwerken. Onbewerkte gegevens uit meerdere bronnen moeten worden opgeschoond en verwerkt, zodat het nuttig wordt voor downstreamverbruik in hulpprogramma's zoals gegevensdashboards die gebruikers helpen beslissingen te nemen.
Hoewel de snelheid van de verwerking niet altijd de grootste zorg is bij het verwerken van gegevens, vereisen sommige branches dit. Bedrijven in de financiële dienstverlening moeten bijvoorbeeld vaak betrouwbaar en op de snelste manier gegevens verwerken. Om fraude te detecteren, moeten deze bedrijven invoer uit verschillende bronnen verwerken, risico's voor hun klanten identificeren en snel actie ondernemen.
In sommige gevallen hebben we gezien dat partners meerdere standaardopslagaccounts gebruiken om gegevens uit verschillende bronnen op te slaan. Sommige van deze gegevens worden vervolgens verplaatst naar een Premium Blob Storage-account met Premium Blok-blobopslag waarvoor een gegevensverwerkingstoepassing regelmatig nieuwe binnenkomende gegevens leest. Adreslijstoproepen in dit account waren veel sneller en werden veel consistenter uitgevoerd dan anders zou worden uitgevoerd in een standaard v2-account voor algemeen gebruik. De snelheid en consistentie die door het account worden geboden, zorgt ervoor dat nieuwe gegevens altijd zo snel mogelijk beschikbaar zijn gesteld aan downstreamverwerkingssystemen. Dit heeft hen geholpen om potentiële beveiligingsrisico's snel te ondervangen en erop te reageren.
Internet der dingen (IoT)
IoT is een belangrijk onderdeel van ons dagelijks leven geworden. IoT wordt gebruikt voor het bijhouden van autobewegingen, besturingslichten en het bewaken van onze gezondheid. Het heeft ook industriële toepassingen. Bedrijven gebruiken bijvoorbeeld IoT om hun smart factory-projecten mogelijk te maken, de landbouwuitvoer te verbeteren en op olieplatforms voor voorspellend onderhoud. Premium blok-blob-opslagaccounts voegen aanzienlijke waarde toe aan deze scenario's.
We hebben partners in de mijnbouwindustrie. Ze gebruiken een Data Lake Storage-account voor premium blok-blobopslag, samen met HDInsight (Hbase) om tijdreekssensorgegevens op te nemen uit meerdere typen mijnbouwapparatuur, met een zeer belaster belastingsprofiel. Premium blok-blob-opslag heeft geholpen om te voldoen aan hun behoefte aan een hoge samplefrequentieopname. Het is ook rendabel, omdat premium blok-blobopslag is geoptimaliseerd voor workloads die een groot aantal schrijftransacties uitvoeren en deze workload genereert een groot aantal kleine schrijftransacties (in de tienduizenden per seconde).
Machine Learning
In veel gevallen moeten veel gegevens worden verwerkt om een machine learning-model te trainen. Om deze verwerking te voltooien, moeten rekenmachines lange tijd worden uitgevoerd. In vergelijking met de opslagkosten zijn rekenkosten meestal een veel groter percentage van uw factuur, waardoor het verminderen van de hoeveelheid tijd die uw rekenmachines uitvoeren, tot aanzienlijke besparingen kan leiden. De lage latentie die u krijgt door premium blok-blobopslag te gebruiken, kan deze tijd en uw factuur aanzienlijk verminderen.
We hebben partners die pijplijnen voor gegevensverwerking implementeren in Spark-clusters waar ze machine learning-training en -deductie uitvoeren. Ze slaan Spark-tabellen (Parquet-bestanden) en controlepunten op in een Premium-account voor blok-blobopslag. Spark-controlepunten kunnen een groot aantal geneste bestanden en mappen maken. De bewerkingen voor het weergeven van mappen zijn snel omdat ze de lage latentie van een premium blok-blob-opslagaccount hebben gecombineerd met de hiërarchische gegevensstructuur die beschikbaar is gemaakt met Data Lake Storage.
We hebben ook partners in de halfgeleiderindustrie met gebruiksvoorbeelden die IoT en machine learning snijden. IoT-apparaten die zijn gekoppeld aan machines in de productie-installatie nemen afbeeldingen van halfgeleiderwafers en sturen deze naar hun account. Met deep learning-deductie kan het systeem de on-premises machines informeren als er een probleem is met de productie en of er actie moet worden ondernomen. Ze kunnen afbeeldingen snel en betrouwbaar laden en verwerken. Het gebruik van een Premium Blok Blob Storage-account voor Data Lake Storage helpt dit mogelijk te maken.
Realtime streaminganalyse
Om interactieve analyses in bijna realtime te ondersteunen, moet een systeem grote hoeveelheden gegevens opnemen en verwerken en die gegevens vervolgens beschikbaar maken voor downstreamsystemen. Het gebruik van een premium blok-blob-opslagaccount met Data Lake Storage is perfect voor dit soort scenario's.
Bedrijven in de media- en entertainmentindustrie kunnen in korte tijd een groot aantal logboeken en telemetriegegevens genereren wanneer ze een gebeurtenis uitzenden. Sommige van onze partners zijn afhankelijk van meerdere CDN-partners (Content Delivery Network) voor streaming. Ze moeten vrijwel realtime beslissingen nemen over aan welke CDN-partners verkeer moeten worden toegewezen. Daarom moeten gegevens beschikbaar zijn voor het uitvoeren van query's op een paar seconden nadat deze zijn opgenomen. Om deze snelle besluitvorming te vergemakkelijken, gebruiken ze gegevens die zijn opgeslagen in premium blok-blobopslag en verwerken ze die gegevens in Azure Data Explorer (ADX). Alle telemetriegegevens die naar de opslag worden geüpload, worden getransformeerd in ADX, waar deze kunnen worden opgeslagen in een vertrouwde indeling die operators en leidinggevenden snel en betrouwbaar kunnen opvragen.
Gegevens worden geüpload naar meerdere Blob Storage-accounts voor Premium-prestaties. Elk account is verbonden met een Event Grid- en Event Hub-resource. ADX haalt de gegevens op uit Blob Storage, voert alle vereiste transformaties uit om de gegevens te normaliseren (bijvoorbeeld: zip-bestanden decomprimeren of converteren van JSON naar CSV). Vervolgens worden de gegevens beschikbaar gesteld voor query's via ADX en dashboards die worden weergegeven in Grafana. Grafana-dashboards worden gebruikt door operators, leidinggevenden en andere gebruikers. De klant behoudt de oorspronkelijke logboeken in Premium Performance Storage of kopieert deze naar een v2-opslagaccount voor algemeen gebruik, waar ze kunnen worden opgeslagen in de dynamische of statische toegangslaag voor langetermijnretentie en toekomstige analyse.
Aan de slag met Premium
Controleer eerst of uw favoriete Blob Storage-functies compatibel zijn met premium blok-blobopslagaccounts en maak vervolgens het account.
Notitie
U kunt een bestaand standaard v2-opslagaccount voor algemeen gebruik niet converteren naar een premium blok-blobopslagaccount. Als u wilt migreren naar een premium blok-blob-opslagaccount, moet u een Premium-account voor blok-blobopslag maken en de gegevens migreren naar het nieuwe account.
Controleren op compatibiliteit van Blob Storage-functies
Sommige Blob Storage-functies worden nog niet ondersteund of hebben gedeeltelijke ondersteuning in premium blok-blobopslagaccounts. Voordat u Premium kiest, raadpleegt u het artikel over de Blob Storage-functie in Azure Storage-accounts om te bepalen of de functies die u wilt gebruiken, volledig worden ondersteund in uw account. Functieondersteuning wordt altijd uitgebreid, dus zorg ervoor dat u dit artikel regelmatig bekijkt voor updates.
Een nieuw opslagaccount maken
Als u een premium blok-blob-opslagaccount wilt maken, kiest u de premium-prestatieoptie en het accounttype Blok-blobs terwijl u het account maakt.
Notitie
Sommige Blob Storage-functies worden nog niet ondersteund of hebben gedeeltelijke ondersteuning in premium blok-blobopslagaccounts. Voordat u Premium kiest, raadpleegt u het artikel over de Blob Storage-functie in Azure Storage-accounts om te bepalen of de functies die u wilt gebruiken, volledig worden ondersteund in uw account. Functieondersteuning wordt altijd uitgebreid, dus zorg ervoor dat u dit artikel regelmatig bekijkt voor updates.
Als uw opslagaccount wordt gebruikt voor analyse, raden we u ten zeerste aan Azure Data Lake Storage te gebruiken samen met een premium blok-blob-opslagaccount. Als u de mogelijkheden van Azure Data Lake Storage wilt ontgrendelen, schakelt u de instelling Hiërarchische naamruimte in op het tabblad Geavanceerd van de pagina Opslagaccount maken.
In de volgende afbeelding ziet u deze instelling op de pagina Opslagaccount maken.
Zie Een opslagaccount maken voor volledige richtlijnen.