Zagadnienia dotyczące lokalnej bramy danych dla miejsc docelowych danych w przepływie danych Gen2
Ten artykuł próbuje wyświetlić listę ograniczeń i zagadnień dotyczących korzystania z bramy danych ze scenariuszami miejsc docelowych danych w usłudze Dataflow Gen2.
Limity czasu oceny
Przepływy danych korzystające z bramy i funkcji miejsca docelowego danych są ograniczone do czasu oceny lub odświeżania o jednej godzinie.
Dowiedz się więcej o tym ograniczeniu z artykułu Rozwiązywanie problemów z lokalną bramą danych.
Problemy z siecią z portem 1433
W przypadku korzystania z usługi Microsoft Fabric Dataflow Gen2 z lokalną bramą danych mogą wystąpić problemy z procesem odświeżania przepływu danych. Podstawowy problem występuje, gdy brama nie może nawiązać połączenia z przejściowym magazynem przepływu danych w celu odczytania danych przed skopiowaniem ich do żądanego miejsca docelowego danych. Ten problem może wystąpić niezależnie od typu używanego miejsca docelowego danych.
Podczas ogólnego odświeżania przepływu danych odświeżanie tabel może być wyświetlane jako "Powodzenie", ale sekcja działania jest wyświetlana jako "Niepowodzenie". Szczegóły błędu dla działania WriteToDatabaseTableFrom_... wskazują następujący błąd:
Mashup Exception Error: Couldn't refresh the entity because of an issue with the mashup document MashupException.Error: Microsoft SQL: A network-related or instance-specific error occurred while establishing a connection to SQL Server. The server was not found or was not accessible. Verify that the instance name is correct and that SQL Server is configured to allow remote connections. (provider: TCP Provider, error: 0 - An attempt was made to access a socket in a way forbidden by its access permissions.) Details: DataSourceKind = Lakehouse;DataSourcePath = Lakehouse;Message = A network-related or instance-specific error occurred while establishing a connection to SQL Server. The server was not found or was not accessible. Verify that the instance name is correct and that SQL Server is configured to allow remote connections. (provider: TCP Provider, error: 0 - An attempt was made to access a socket in a way forbidden by its access permissions.);ErrorCode = -2146232060;Number = 10013
Uwaga
Z perspektywy architektury aparat przepływu danych używa wychodzącego punktu końcowego HTTPS (port 443) do zapisywania danych w usłudze Lakehouse. Jednak odczytywanie danych z usługi Lakehouse wymaga użycia protokołu TDS (TCP przez port 1433). Ten protokół jest używany do kopiowania danych z przejściowego magazynu lakehouse do miejsca docelowego danych. W tym artykule wyjaśniono, dlaczego krok Ładowanie tabel kończy się pomyślnie, gdy działanie miejsca docelowego danych kończy się niepowodzeniem, nawet jeśli oba magazyny lakehouse znajdują się w tym samym wystąpieniu usługi OneLake.
Rozwiązywanie problemów
Aby rozwiązać problem, wykonaj następujące kroki:
Upewnij się, że przepływ danych jest skonfigurowany z miejscem docelowym danych.
Sprawdź, czy odświeżanie przepływu danych kończy się niepowodzeniem, a odświeżanie tabel jest wyświetlane jako "Powodzenie" i działania wyświetlane jako "Niepowodzenie".
Przejrzyj szczegóły błędu działania
WriteToDatabaseTableFrom_..., który zawiera informacje o napotkanym błędzie.
Rozwiązanie: Ustawianie nowych reguł zapory na serwerze z uruchomioną bramą
Reguły zapory na serwerze bramy i/lub serwerach proxy klienta muszą zostać zaktualizowane, aby zezwolić na ruch wychodzący z serwera bramy do poniższych punktów końcowych. Jeśli zapora nie obsługuje symboli wieloznacznych, użyj adresów IP z zakresów adresów IP platformy Azure i tagów usługi. Należy pamiętać, że będą one synchronizowane co miesiąc.
- Protokół: TCP
- Punkty końcowe: *.datawarehouse.pbidedicated.windows.net, *.datawarehouse.fabric.microsoft.com, *.dfs.fabric.microsoft.com
- Port: 1433
Uwaga
W niektórych scenariuszach, zwłaszcza gdy pojemność znajduje się w regionie, który nie znajduje się najbliżej bramy, może być konieczne skonfigurowanie zapory w celu umożliwienia dostępu do wielu punktów końcowych (*cloudapp.azure.com). Ta korekta jest wymagana do obsługi przekierowań, które mogą wystąpić w tych warunkach. Jeśli ruch kierowany do *.cloudapp.azure.com nie zostanie przechwycony przez regułę, możesz również zezwolić na adresy IP dla regionu danych w zaporze.
Jeśli chcesz zawęzić zakres punktu końcowego do rzeczywistego wystąpienia usługi OneLake w obszarze roboczym (zamiast symbolu wieloznacznego *.datawarehouse.pbidedicated.windows.net), ten adres URL można znaleźć, przechodząc do obszaru roboczego Sieć szkieletowa, lokalizując DataflowsStagingLakehousei wybierając pozycję Wyświetl szczegóły. Następnie skopiuj i wklej parametry połączenia SQL.
Cała nazwa punktu końcowego wygląda podobnie do następującego przykładu:
x6eps4xrq2xudenlfv6naeo3i4-l27nd6wdk4oephe4gz4j7mdzka.datawarehouse.pbidedicated.windows.net
Obejście: Podziel przepływ danych w osobnym pozyskiwaniu i ładowaniu przepływu danych
Jeśli nie możesz zaktualizować reguł zapory, możesz podzielić przepływ danych na dwa oddzielne przepływy danych. Pierwszy przepływ danych jest odpowiedzialny za pozyskiwanie danych do przejściowego magazynu lakehouse. Drugi przepływ danych jest odpowiedzialny za ładowanie danych z przejściowego magazynu lakehouse do miejsca docelowego danych. To obejście nie jest idealne, ponieważ wymaga użycia dwóch oddzielnych przepływów danych, ale może być używane jako rozwiązanie tymczasowe, dopóki reguły zapory nie zostaną zaktualizowane.
Aby zaimplementować to obejście, wykonaj następujące kroki:
Usuń miejsce docelowe danych z bieżącego przepływu danych, który pozysuje dane za pośrednictwem bramy.
Utwórz nowy przepływ danych, który używa łącznika przepływu danych do nawiązywania połączenia z przepływem danych pozyskiwania. Ten przepływ danych jest odpowiedzialny za pozyskiwanie danych z przemieszczania do miejsca docelowego danych.
Ustaw miejsce docelowe danych jako miejsce docelowe danych wybrane dla tego nowego przepływu danych.
Opcjonalnie możesz wyłączyć przemieszczanie dla tego nowego przepływu danych. Ta zmiana uniemożliwia ponowne skopiowanie danych do przejściowego magazynu lakehouse, a zamiast tego kopiuje dane bezpośrednio z przepływu danych pozyskiwania do miejsca docelowego danych.
