Dataflow Gen2의 데이터 목적지에 대한 온-프레미스 데이터 게이트웨이 고려 사항
이 문서에서는 Dataflow Gen2에서 데이터 목적지 시나리오와 함께 데이터 게이트웨이를 사용할 때의 제한 사항과 고려 사항을 설명합니다.
평가 시간 초과
게이트웨이와 데이터 목적지 기능을 사용하는 데이터 흐름은 평가 또는 새로 고침 시간이 1시간으로 제한됩니다.
이러한 제한 사항에 대한 자세한 내용은 온-프레미스 데이터 게이트웨이 문제 해결 문서에서 알아보세요.
포트 1433의 네트워크 문제
온-프레미스 데이터 게이트웨이를 통해 Microsoft Fabric Dataflow Gen2를 사용하는 경우 데이터 흐름 새로 고침 프로세스에서 문제가 발생할 수 있습니다. 기본 문제는 게이트웨이가 데이터를 원하는 데이터 목적지에 복사하기 전에 데이터를 읽기 위해 데이터 흐름 스테이징 Lakehouse에 연결할 수 없을 때 발생합니다. 이 문제는 사용 중인 데이터 목적지의 형식에 관계없이 발생할 수 있습니다.
전반적인 데이터 흐름 새로 고침 중에 테이블 새로 고침은 "성공"으로 표시될 수 있지만 작업 섹션은 "실패"로 표시됩니다. 작업 WriteToDatabaseTableFrom_...에 대한 오류 세부 정보에 다음 오류가 표시됩니다.
Mashup Exception Error: Couldn't refresh the entity because of an issue with the mashup document MashupException.Error: Microsoft SQL: A network-related or instance-specific error occurred while establishing a connection to SQL Server. The server was not found or was not accessible. Verify that the instance name is correct and that SQL Server is configured to allow remote connections. (provider: TCP Provider, error: 0 - An attempt was made to access a socket in a way forbidden by its access permissions.) Details: DataSourceKind = Lakehouse;DataSourcePath = Lakehouse;Message = A network-related or instance-specific error occurred while establishing a connection to SQL Server. The server was not found or was not accessible. Verify that the instance name is correct and that SQL Server is configured to allow remote connections. (provider: TCP Provider, error: 0 - An attempt was made to access a socket in a way forbidden by its access permissions.);ErrorCode = -2146232060;Number = 10013
참고 항목
아키텍처 관점에서 볼 때, 데이터 흐름 엔진은 아웃바운드 HTTPS(포트 443) 엔드포인트를 사용하여 데이터를 Lakehouse에 씁니다. 그러나 Lakehouse에서 데이터를 읽으려면 TDS 프로토콜(포트 1433을 통해 TCP)을 사용해야 합니다. 이 프로토콜은 스테이징 레이크하우스에서 데이터 목적지로 데이터를 복사하는 데 사용됩니다. 이는 두 레이크하우스가 동일한 OneLake 인스턴스에 있는 경우에도 테이블 로드 단계는 성공하지만 데이터 목적지 작업은 실패하는 이유를 설명합니다.
문제 해결
이 문제를 해결하려면 다음 단계를 수행합니다.
데이터 흐름이 데이터 목적지로 구성되어 있는지 확인합니다.
데이터 흐름 새로 고침이 실패하고, 테이블 새로 고침이 "성공"으로 표시되고 작업이 "실패"로 표시되는지 확인합니다.
발생한 오류에 대한 정보를 제공하는 작업
WriteToDatabaseTableFrom_...의 오류 세부 정보를 검토합니다.
해답: 게이트웨이를 실행하는 서버에서 새로운 방화벽 규칙 설정
게이트웨이 서버 및/또는 고객의 프록시 서버에 대한 방화벽 규칙을 업데이트하여 게이트웨이 서버에서 아래 엔드포인트로의 아웃바운드 트래픽을 허용해야 합니다. 방화벽이 와일드카드를 지원하지 않는 경우 Azure IP 범위 및 서비스 태그IP 주소를 사용합니다. 매달 동기화 상태를 유지해야 합니다.
- 프로토콜: TCP
- 엔드포인트: *.datawarehouse.pbidedicated.windows.net, *.datawarehouse.fabric.microsoft.com, *.dfs.fabric.microsoft.com
- 포트: 1433
참고 항목
특정 시나리오, 특히 용량이 게이트웨이에서 가장 가까운 지역이 아닌 지역에 있는 경우, 여러 엔드포인트(*cloudapp.azure.com)에 대한 액세스를 허용하도록 방화벽을 구성해야 할 수 있습니다. 이러한 조건에서 발생할 수 있는 리디렉션을 수용하기 위해 이 조정이 필요합니다. .cloudapp.azure.com으로 목적지가 지정된 트래픽이 규칙에 의해 인터셉트되지 않는 경우 방화벽에서 데이터 영역의 IP 주소를 허용할 수 있습니다.
엔드포인트의 범위를 작업 영역의 실제 OneLake 인스턴스로 좁히려는 경우(와일드카드 *.datawarehouse.pbidedicated.windows.net 대신), Fabric 작업 영역으로 이동하여 DataflowsStagingLakehouse를 찾은 다음 세부 정보 보기를 선택하면 해당 URL을 찾을 수 있습니다. 그런 다음, SQL 연결 문자열을 복사하여 붙여넣습니다.
전체 엔드포인트 이름은 다음 예제와 유사합니다.
x6eps4xrq2xudenlfv6naeo3i4-l27nd6wdk4oephe4gz4j7mdzka.datawarehouse.pbidedicated.windows.net
해결 방법: 별도의 수집 및 로드 데이터 흐름으로 데이터 흐름 분할
방화벽 규칙을 업데이트할 수 없는 경우 데이터 흐름을 두 개의 개별 데이터 흐름으로 분할할 수 있습니다. 첫 번째 데이터 흐름은 스테이징 레이크하우스로 데이터를 수집하는 역할을 담당합니다. 두 번째 데이터 흐름은 스테이징 레이크하우스에서 데이터 목적지로 데이터를 로드하는 역할을 담당합니다. 이 해결 방법은 두 개의 개별 데이터 흐름을 사용해야 하므로 이상적이지는 않지만 방화벽 규칙을 업데이트할 수 있을 때까지 임시 해결책으로 사용할 수 있습니다.
이 해결 방법을 구현하려면 다음 단계를 따르세요.
게이트웨이를 통해 데이터를 수집하는 현재 데이터 흐름에서 데이터 목적지를 제거하세요.
데이터 흐름 커넥터를 사용하여 수집된 데이터 흐름에 연결하는 새 데이터 흐름을 만듭니다. 이 데이터 흐름은 스테이징에서 데이터 목적지로 데이터를 수집하는 역할을 담당합니다.
이 새 데이터 흐름에 대해 데이터 목적지를 원하는 데이터 목적지로 설정합니다.
선택에 따라 이 새 데이터 흐름에 대해 스테이징을 사용 중지할 수 있습니다. 이렇게 변경하면 데이터가 스테이징 레이크하우스에 다시 복사되지 않고 수집된 데이터 흐름에서 데이터 대상으로 직접 데이터를 복사합니다.
