Personalizer automatisch optimaliseren (preview)
Belangrijk
Vanaf 20 september 2023 kunt u geen nieuwe Personalizer-resources maken. De Personalizer-service wordt op 1 oktober 2026 buiten gebruik gesteld.
Inleiding
Met automatische optimalisatie van Personalizer bespaart u handmatige inspanningen om een Personalizer-lus te houden aan de beste machine learning-prestaties, door automatisch te zoeken naar verbeterde learning-instellingen die worden gebruikt om uw modellen te trainen en toe te passen. Personalizer heeft strikte criteria om nieuwe leerinstellingen toe te passen om te verzekeren dat verbeteringen waarschijnlijk geen verlies in beloningen veroorzaken.
Personalizer Auto-Optimize bevindt zich in openbare preview en functies, benaderingen en processen veranderen op basis van gebruikersfeedback.
Wanneer gebruikt u Automatisch optimaliseren?
In de meeste gevallen is de beste optie om Automatisch optimaliseren in te schakelen. Automatisch optimaliseren is standaard ingeschakeld voor nieuwe Personalizer-lussen.
Automatisch optimaliseren kan in de volgende situaties helpen:
- U bouwt toepassingen die door veel tenants worden gebruikt en elk krijgt een eigen Personalizer-lus(en); Als u bijvoorbeeld meerdere e-commercesites host. Met automatisch optimaliseren kunt u de handmatige inspanning vermijden die u nodig hebt om leerinstellingen voor grote aantallen Personalizer-lussen af te stemmen.
- U hebt Personalizer geïmplementeerd en gevalideerd dat het goed werkt, goede beloningen krijgt en u ervoor hebt gezorgd dat er geen fouten of problemen zijn in uw functies.
Notitie
Automatisch optimaliseren overschrijft periodiek Personalizer Learning-instellingen. Als uw use-case of branche controle en archief van modellen en instellingen vereist, of als u back-ups van eerdere instellingen nodig hebt, kunt u de Personalizer-API gebruiken om Learning-instellingen op te halen of te downloaden via Azure Portal.
Automatisch optimaliseren in- en uitschakelen
Als u Automatisch optimaliseren wilt inschakelen, gebruikt u de wisselknop op de blade Model- en leerinstellingen in Azure Portal.
U kunt ook Automatisch optimaliseren activeren met behulp van de Personalizer-API /configurations/service .
Als u Automatisch optimaliseren wilt uitschakelen, schakelt u de wisselknop uit.
Rapporten automatisch optimaliseren
Op de blade Model- en leerinstellingen ziet u de geschiedenis van uitvoeringen voor automatisch optimaliseren en de actie die op elke uitvoering is uitgevoerd.
In de tabel ziet u:
- Wanneer een uitvoering voor automatisch optimaliseren is uitgevoerd,
- Welk gegevensvenster is opgenomen,
- Wat was de beloningsprestaties van online, basislijn en best gevonden Leerinstellingen,
- Uitgevoerde acties: als leerinstellingen zijn bijgewerkt of niet.
Beloningsprestaties van verschillende leerinstellingen in elke rij met geschiedenis voor automatische optimalisatie worden weergegeven in absolute getallen en als percentages ten opzichte van de basislijnprestaties.
Voorbeeld: Als uw gemiddelde beloning volgens de basislijn naar schatting 0,20 is en het online Personalizer-gedrag 0,30 bereikt, worden deze respectievelijk weergegeven als 100% en 150%. Als de automatische optimalisatie leerinstellingen heeft gevonden om een gemiddelde beloning van 0,40 te bereiken, wordt deze weergegeven als 200% (0,40 is 200% van 0,20). Ervan uitgaande dat de betrouwbaarheidsmarges hiervoor zijn toegestaan, worden de nieuwe instellingen toegepast en worden deze personalizer als de online-instellingen aangedreven tot de volgende uitvoering.
Er wordt een geschiedenis bewaard van maximaal 24 eerdere automatische optimalisatieuitvoeringen voor uw analyse. U kunt meer informatie over die offlineevaluaties en rapporten voor elk van deze evaluaties bekijken. De rapporten bevatten ook alle learning-instellingen die zich in deze geschiedenis bevinden, die u kunt vinden en downloaden of toepassen.
Hoe het werkt
Personalizer traint voortdurend de AI-modellen die worden gebruikt op basis van beloningen. Deze training wordt uitgevoerd volgens enkele leerinstellingen, die hyperparameters en andere waarden bevatten die in het trainingsproces worden gebruikt. Deze leerinstellingen kunnen worden 'afgestemd' op uw specifieke Personalizer-exemplaar.
Personalizer heeft ook de mogelijkheid om offline evaluaties uit te voeren. Offlineevaluaties kijken naar eerdere gegevens en kunnen een statistische schatting maken van de gemiddelde beloning die Personalizer verschillende algoritmen en modellen had kunnen bereiken. Tijdens dit proces zoekt Personalizer ook naar betere leerinstellingen, waarbij de prestaties worden geschat (hoeveel beloningen ze zouden hebben gekregen) in de afgelopen periode.
Frequentie automatisch optimaliseren
Automatisch optimaliseren wordt periodiek uitgevoerd en voert automatisch optimaliseren uit op basis van eerdere gegevens
- Als uw toepassing in de afgelopen twee weken meer dan ongeveer 20 Mb aan gegevens naar Personalizer verzendt, worden de laatste twee weken aan gegevens gebruikt.
- Als uw toepassing minder dan deze hoeveelheid verzendt, voegt Personalizer gegevens van vorige dagen toe totdat er voldoende gegevens zijn om te optimaliseren, of worden de vroegste gegevens bereikt die zijn opgeslagen (tot het aantal dagen dat gegevens worden bewaard).
De exacte tijden en dagen waarop automatisch optimaliseren wordt uitgevoerd, wordt bepaald door de Personalizer-service en fluctueert in de loop van de tijd.
Criteria voor het bijwerken van leerinstellingen
Personalizer gebruikt deze beloningsramingen om te bepalen of de huidige leerinstellingen voor anderen moeten worden gewijzigd. Elke schatting is een verdelingscurve, met hogere en lagere betrouwbaarheidsgrenzen van 95%. Personalizer past alleen nieuwe leerinstellingen toe als:
- Ze toonden hogere gemiddelde beloningen in de evaluatieperiode, EN
- Ze hebben een ondergrens van het betrouwbaarheidsinterval van 95%, dat hoger is dan de ondergrens van het betrouwbaarheidsinterval van 95% van de online learning-instellingen. Deze criteria om de beloningsverbetering te maximaliseren, terwijl wordt geprobeerd de kans op verloren toekomstige beloningen te elimineren, wordt beheerd door Personalizer en wordt afgeleid van onderzoek in Seldoniaanse algoritmen en AI-veiligheid.
Beperkingen van automatisch optimaliseren
Personalizer Auto-Optimize is afhankelijk van een evaluatie van een eerdere periode om de prestaties in de toekomst te schatten. Het is mogelijk dat vanwege externe factoren in de wereld, uw toepassing en uw gebruikers, deze schattingen en voorspellingen over de modellen van Personalizer die voor de afgelopen periode zijn uitgevoerd, niet representatief zijn voor de toekomst.
Automatische optimalisatievoorbeeld is niet beschikbaar voor Personalizer-lussen waarvoor de functionaliteit voor personalisatie-API preview met meerdere sleufs is ingeschakeld.