Overwegingen voor on-premises gegevensgateway voor gegevensbestemmingen in Dataflow Gen2
In dit artikel worden de beperkingen en overwegingen beschreven bij het gebruik van de gegevensgateway met scenario's voor gegevensbestemmingen in Dataflow Gen2.
Time-outs voor evaluatie
Gegevensstromen die gebruikmaken van een gateway en de functie voor gegevensbestemming, zijn beperkt tot een evaluatie- of vernieuwingstijd van één uur.
Meer informatie over deze beperking vindt u in het artikel over het artikel Problemen met de on-premises gegevensgateway oplossen.
Netwerkproblemen met poort 1433
Wanneer u Microsoft Fabric Dataflow Gen2 gebruikt met een on-premises gegevensgateway, kunnen er problemen optreden met het vernieuwingsproces van de gegevensstroom. Het onderliggende probleem treedt op wanneer de gateway geen verbinding kan maken met de gegevensstroom staging Lakehouse om de gegevens te lezen voordat deze naar de gewenste gegevensbestemming worden gekopieerd. Dit probleem kan zich voordoen, ongeacht het type gegevensbestemming dat wordt gebruikt.
Tijdens het vernieuwen van de algemene gegevensstroom kunnen de tabellen worden vernieuwd als Geslaagd, maar de sectie Activiteiten wordt weergegeven als 'Mislukt'. De foutdetails voor de activiteit WriteToDatabaseTableFrom_... geven de volgende fout aan:
Mashup Exception Error: Couldn't refresh the entity because of an issue with the mashup document MashupException.Error: Microsoft SQL: A network-related or instance-specific error occurred while establishing a connection to SQL Server. The server was not found or was not accessible. Verify that the instance name is correct and that SQL Server is configured to allow remote connections. (provider: TCP Provider, error: 0 - An attempt was made to access a socket in a way forbidden by its access permissions.) Details: DataSourceKind = Lakehouse;DataSourcePath = Lakehouse;Message = A network-related or instance-specific error occurred while establishing a connection to SQL Server. The server was not found or was not accessible. Verify that the instance name is correct and that SQL Server is configured to allow remote connections. (provider: TCP Provider, error: 0 - An attempt was made to access a socket in a way forbidden by its access permissions.);ErrorCode = -2146232060;Number = 10013
Notitie
Vanuit architectuurperspectief maakt de gegevensstroomengine gebruik van een uitgaand HTTPS-eindpunt (poort 443) om gegevens naar een Lakehouse te schrijven. Het lezen van gegevens uit Lakehouse vereist echter het gebruik van het TDS-protocol (TCP via poort 1433). Dit protocol wordt gebruikt om de gegevens van het staging lakehouse naar de gegevensbestemming te kopiëren. Dit verklaart waarom de stap Tabellen laden slaagt terwijl de activiteit van de gegevensbestemming mislukt, zelfs wanneer beide lakehouses zich in hetzelfde OneLake-exemplaar bevinden.
Probleemoplossing
Volg deze stappen voor het oplossen van het probleem:
Controleer of de gegevensstroom is geconfigureerd met een gegevensbestemming.
Controleer of het vernieuwen van de gegevensstroom mislukt, waarbij het vernieuwen van tabellen wordt weergegeven als Geslaagd en activiteiten die worden weergegeven als Mislukt.
Bekijk de foutdetails voor de activiteit
WriteToDatabaseTableFrom_..., die informatie bevat over de aangetroffen fout.
Oplossing: nieuwe firewallregels instellen op de server waarop de gateway wordt uitgevoerd
De firewallregels op de gatewayserver en/of proxyservers van de klant moeten worden bijgewerkt om uitgaand verkeer van de gatewayserver naar de onderstaande eindpunten toe te staan. Als uw firewall geen jokertekens ondersteunt, gebruikt u de IP-adressen van Azure IP-bereiken en servicetags. Houd er rekening mee dat ze elke maand gesynchroniseerd moeten worden gehouden.
- Protocol: TCP
- Eindpunten: *.datawarehouse.pbidedicated.windows.net, *.datawarehouse.fabric.microsoft.com, *.dfs.fabric.microsoft.com
- Poort: 1433
Notitie
In bepaalde scenario's, met name wanneer de capaciteit zich in een regio bevindt die niet het dichtst bij de gateway ligt, kan het nodig zijn om de firewall te configureren om toegang tot meerdere eindpunten toe te staan(*cloudapp.azure.com). Deze aanpassing is vereist voor omleidingen die onder deze omstandigheden kunnen optreden. Als het verkeer dat is bestemd voor *.cloudapp.azure.com niet door de regel wordt onderschept, kunt u ook de IP-adressen voor uw gegevensregio in uw firewall toestaan.
Als u het bereik van het eindpunt wilt beperken tot het werkelijke OneLake-exemplaar in een werkruimte (in plaats van het jokerteken *.datawarehouse.pbidedicated.windows.net), kunt u die URL vinden door naar de infrastructuurwerkruimte te navigeren, te DataflowsStagingLakehousezoeken en Details weergeven te selecteren. Kopieer en plak vervolgens de SQL-verbindingsreeks.
De volledige naam van het eindpunt ziet er ongeveer als volgt uit:
x6eps4xrq2xudenlfv6naeo3i4-l27nd6wdk4oephe4gz4j7mdzka.datawarehouse.pbidedicated.windows.net
Tijdelijke oplossing: Gegevensstroom splitsen in een afzonderlijke opname en gegevensstroom laden
Als u de firewallregels niet kunt bijwerken, kunt u de gegevensstroom splitsen in twee afzonderlijke gegevensstromen. De eerste gegevensstroom is verantwoordelijk voor het opnemen van de gegevens in de faserings lakehouse. De tweede gegevensstroom is verantwoordelijk voor het laden van de gegevens uit de staging lakehouse naar de gegevensbestemming. Deze tijdelijke oplossing is niet ideaal, omdat hiervoor twee afzonderlijke gegevensstromen nodig zijn, maar deze kan worden gebruikt als tijdelijke oplossing totdat de firewallregels kunnen worden bijgewerkt.
Voer de volgende stappen uit om deze tijdelijke oplossing te implementeren:
Verwijder de gegevensbestemming uit uw huidige gegevensstroom die gegevens opneemt via uw gateway.
Maak een nieuwe gegevensstroom die gebruikmaakt van de gegevensstroomconnector om verbinding te maken met de opnamegegevensstroom. Deze gegevensstroom is verantwoordelijk voor het opnemen van de gegevens uit fasering naar de gegevensbestemming.
Stel de gegevensbestemming in op de gegevensbestemming van uw keuze voor deze nieuwe gegevensstroom.
Desgewenst kunt u fasering uitschakelen voor deze nieuwe gegevensstroom. Met deze wijziging voorkomt u dat de gegevens opnieuw naar het staging lakehouse worden gekopieerd en worden de gegevens in plaats daarvan rechtstreeks van de opnamegegevensstroom naar de gegevensbestemming gekopieerd.
