Zagadnienia dotyczące lokalnej bramy danych dla miejsc docelowych danych w Dataflow Gen2

W tym artykule wymieniono ograniczenia i zagadnienia dotyczące korzystania z bramy danych ze scenariuszami miejsc docelowych danych w przepływie danych Gen2.

Problemy z siecią z portem 1433

W przypadku korzystania z usługi Microsoft Fabric Dataflow Gen2 z lokalną bramą danych mogą wystąpić problemy z procesem odświeżania przepływu danych. Podstawowy problem występuje, gdy brama nie może nawiązać połączenia z przejściowym magazynem przepływu danych w celu odczytania danych przed skopiowaniem ich do żądanego miejsca docelowego danych. Ten problem może wystąpić niezależnie od typu używanego miejsca docelowego danych.

Podczas ogólnego odświeżania przepływu danych odświeżanie tabel może być oznaczone jako "Powodzenie", ale sekcja czynności jest oznaczona jako "Niepowodzenie". Szczegóły błędu dla działania WriteToDatabaseTableFrom_... wskazują następujący błąd:

Mashup Exception Error: Couldn't refresh the entity because of an issue with the mashup document MashupException.Error: Microsoft SQL: A network-related or instance-specific error occurred while establishing a connection to SQL Server. The server was not found or was not accessible. Verify that the instance name is correct and that SQL Server is configured to allow remote connections. (provider: TCP Provider, error: 0 - An attempt was made to access a socket in a way forbidden by its access permissions.) Details: DataSourceKind = Lakehouse;DataSourcePath = Lakehouse;Message = A network-related or instance-specific error occurred while establishing a connection to SQL Server. The server was not found or was not accessible. Verify that the instance name is correct and that SQL Server is configured to allow remote connections. (provider: TCP Provider, error: 0 - An attempt was made to access a socket in a way forbidden by its access permissions.);ErrorCode = -2146232060;Number = 10013

Uwaga

Z punktu widzenia architektury silnik przepływu danych używa wychodzącego punktu końcowego HTTPS (port 443) do zapisywania danych w Lakehouse. Jednak odczytywanie danych z usługi Lakehouse wymaga użycia protokołu TDS (TCP przez port 1433). Ten protokół jest używany do kopiowania danych z tymczasowego magazynu Lakehouse do docelowej lokalizacji danych. To wyjaśnia, dlaczego krok Ładowanie tabel kończy się pomyślnie, podczas gdy działanie miejsca docelowego danych kończy się niepowodzeniem, nawet gdy oba lakehouse'y znajdują się w tym samym wystąpieniu usługi OneLake.

Rozwiązywanie problemów

Aby rozwiązać problem, wykonaj następujące kroki:

1. Upewnij się, że przepływ danych jest skonfigurowany z miejscem docelowym danych.

   

2. Sprawdź, czy odświeżanie przepływu danych kończy się niepowodzeniem, a odświeżanie tabel jest wyświetlane jako "Powodzenie" i działania wyświetlane jako "Niepowodzenie".

   

3. Przejrzyj szczegóły błędu działania WriteToDatabaseTableFrom_..., który zawiera informacje o napotkanym błędzie.

   

Rozwiązanie: Ustaw nowe reguły zapory na serwerze, na którym działa brama

Reguły zapory na serwerze bramy i/lub serwerach proxy klienta muszą zostać zaktualizowane, aby zezwolić na ruch wychodzący z serwera bramy do poniższych punktów końcowych. Jeśli zapora nie obsługuje symboli wieloznacznych, użyj adresów IP z zakresów adresów IP platformy Azure i tagów usługi. Muszą być synchronizowane co miesiąc.

• Protokół: TCP
• Punkty końcowe: *.datawarehouse.pbidedicated.windows.net, *.datawarehouse.fabric.microsoft.com, *.dfs.fabric.microsoft.com
• Port: 1433

Uwaga

W niektórych scenariuszach, zwłaszcza gdy pojemność znajduje się w regionie, który nie znajduje się najbliżej bramy, może być konieczne skonfigurowanie zapory w celu umożliwienia dostępu do wielu punktów końcowych (*cloudapp.azure.com). Ta korekta jest wymagana do obsługi przekierowań, które mogą wystąpić w tych warunkach. Jeśli ruch kierowany do *.cloudapp.azure.com nie zostanie przechwycony przez regułę, możesz również zezwolić na adresy IP przypisane do twojego regionu danych w zaporze.

Jeśli chcesz zawęzić zakres punktu końcowego do rzeczywistego wystąpienia usługi OneLake w obszarze roboczym (zamiast symbolu wieloznacznego *.datawarehouse.pbidedicated.windows.net), ten adres URL można znaleźć, przechodząc do obszaru roboczego Fabric, lokalizując DataflowsStagingLakehouse, i wybierając pozycję Wyświetl szczegóły. Następnie skopiuj i wklej parametry połączenia SQL.

Cała nazwa punktu końcowego wygląda podobnie do następującego przykładu:

x6eps4xrq2xudenlfv6naeo3i4-l27nd6wdk4oephe4gz4j7mdzka.datawarehouse.pbidedicated.windows.net

Obejście: Podziel przepływ danych na osobne przepływy: do pozyskiwania i do ładowania danych.

Jeśli nie możesz zaktualizować reguł zapory, możesz podzielić przepływ danych na dwa oddzielne przepływy danych. Pierwszy przepływ danych jest odpowiedzialny za wprowadzanie danych do przejściowego obszaru lakehouse. Drugi przepływ danych jest odpowiedzialny za ładowanie danych z lakehouse do docelowego miejsca przechowywania danych. To obejście nie jest idealne, ponieważ wymaga użycia dwóch oddzielnych przepływów danych, ale może być używane jako rozwiązanie tymczasowe, dopóki reguły zapory nie zostaną zaktualizowane.

Aby zaimplementować to obejście, wykonaj następujące kroki:

1. Usuń miejsce docelowe danych z bieżącego przepływu danych, który pobiera dane za pośrednictwem bramy.

   

2. Utwórz nowy przepływ danych, który używa łącznika przepływu danych do nawiązywania połączenia z pozyskanym przepływem danych. Ten przepływ danych jest odpowiedzialny za przenoszenie danych ze strefy przejściowej do miejsca docelowego danych.

   

   

3. Ustaw docelowe miejsce dla danych według własnego wyboru dla tego nowego przepływu danych.

   

4. Opcjonalnie możesz wyłączyć przemieszczanie dla tego nowego przepływu danych. Ta zmiana uniemożliwia ponowne skopiowanie danych do tymczasowego magazynu lakehouse, a zamiast tego kopiuje dane bezpośrednio z zarejestrowanego przepływu danych do miejsca docelowego danych.