알려진 문제 - 스테이징을 사용하여 데이터 웨어하우스에 데이터를 복사할 때 파이프라인 실패
Azure Blob Storage에서 스테이징을 사용하도록 설정된 데이터 웨어하우스로 데이터를 복사할 때 데이터 파이프라인 복사 작업이 실패합니다. 스테이징이 활성화되었으므로 복사 작업은 parquet을 스테이징 형식으로 사용합니다. 그러나 parquet 문자열 형식은 데이터 웨어하우스의 10진수 형식으로 복사할 수 없습니다.
상태: 열기
제품 환경: Data Factory
증상
파이프라인 복사 작업이 실패하고 다음과 유사한 ErrorCode=DWCopyCommandOperationFailed,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message='DataWarehouse' Copy Command operation failed with error ''Column '' of type 'DECIMAL(32, 6)' is not compatible with external data type 'Parquet physical type: BYTE_ARRAY, logical type: UTF8', please try with 'VARCHAR(8000)'오류가 발생합니다.
솔루션 및 해결 방법
이 문제를 해결하려면 먼저 형식을 사용하여 레이크하우스 테이블에 decimal 데이터를 복사합니다. 그런 다음, Lakehouse 테이블에서 데이터 웨어하우스로 데이터를 복사합니다.