데이터 품질 문제 해결

모든 질문, 오류 증상은 아래의 가능한 해결과 함께 설명되어 있습니다.

검사 작업에서 잘못된 원본 오류가 표시되는 이유입니다.

• 이 오류가 표시되는 두 가지 이유가 있을 수 있습니다.
  • 델타 테이블이 위치에 없습니다.
  • 파일의 데이터가 유효한 델타 형식이 아닙니다.

패브릭 델타 테이블에 대한 데이터 품질 검사를 설정하고 있습니다. 데이터 품질 보기에 모든 데이터 자산이 표시되고, 하나의 자산을 선택하고 데이터 품질 검사에 규칙을 적용했지만 검사가 실패합니다.

• 데이터 품질 검사가 실패하는 데는 여러 가지 이유가 있을 수 있습니다.
  • 테이블의 데이터가 올바른 델타 형식이 아닙니다. 데이터가 델타 형식인지 확인합니다.
  • 데이터 맵 검사를 다시 실행하지 않으면 데이터 맵 검사가 성공적으로 실행되었는지 확인합니다.
  • 데이터 자산에 대한 이전 데이터 품질 실행을 삭제합니다.

이 오류 메시지가 표시되는 이유: 연결을 사용할 수 없습니다. 먼저 연결을 만들려고 합니까?

• 데이터를 프로파일링하거나 데이터 품질 검사를 실행하려면 먼저 데이터 원본 연결을 구성해야 합니다. 이 경고는 데이터 원본 연결을 만든 후에 사라집니다.

프로파일된 데이터의 총 수가 내 Azure Data Lake Storage Gen2 델타 테이블의 총 개수보다 적게 표시되는 이유는 무엇인가요?

• Microsoft Purview 데이터 품질 프로파일링에 1백만 개의 샘플 크기를 사용하고 있습니다. 이 샘플은 임의로 수행됩니다. 델타 테이블에 백만 개 이상의 레코드가 있는 경우 총 개수는 일치하지 않습니다.

데이터 제품에 대한 데이터 품질 점수에 대한 작업이 누락된 이유는 무엇인가요? 데이터 제품 보기를 검색할 때 데이터 제품의 점수가 표시됩니다.

• 작업을 만들 때 해당 데이터 제품에 대한 데이터 품질 점수가 없었습니다. 작업을 만든 후 데이터 품질 검사가 실행되었으며 데이터 제품에 대한 점수가 게시되었습니다. 혼동을 피하기 위해 수정이 완료되면 작업을 닫는 것이 좋습니다.

"규칙 제안"에서 데이터 품질 규칙을 만들면 제안된 30개 규칙을 모두 추가하려고 할 때 "날짜" 열에 대한 오류가 발생합니다.

• 이는 스키마 데이터 형식이 데이터 품질 스키마 뷰에서 지원되지 않는 상태이기 때문입니다. 스키마 관리 토글을 선택하고 저장하여 데이터 형식을 날짜로 변경할 수 있습니다. 데이터 형식을 변경한 후에는 규칙을 추가할 수 있습니다.

제안된 모든 규칙을 추가하려고 하면 "ObserverId가 이미 있음"에 대한 오류가 발생합니다.

• 대부분의 경우 동일한/동일한 규칙이 이미 열에 추가되었습니다. 열에 동일/동일한 규칙을 추가하려고 하면 애플리케이션에서 이 오류 메시지를 throw합니다.

예약된 작업을 실행하는 대신 건너뛰는 이유는 무엇인가요? 데이터 품질 검사 작업에 대한 건너뛰기 작업이 표시됩니다.

• DQ 작업에는 델타 기록을 검사 위해 수행되는 마지막 실행 이후 변경 내용이 있는 경우에만 DQ를 검사 실행할 수 있는 기능이 있습니다. 건너뛰는 것은 마지막 실행 이후 데이터가 변경되지 않았고 DQ에 대한 Spark 실행이 수행되지 않음을 의미합니다. 건너뛰기!= 실패

프로필 데이터 탭을 선택하면 미리 선택된 열 수가 표시됩니다. 선택한 열을 변경할 수 있나요?

• Microsoft Purview 데이터 품질 AI 지원 프로파일링 솔루션을 사용하고 있습니다. 미리 선택된 열은 Microsoft Purview 데이터 프로파일링 AI를 사용하여 선택됩니다. 미리 선택된 열의 선택을 취소하고 열의 중요도에 따라 다시 선택하고 저장 및 실행을 선택하여 프로파일링을 실행할 수 있습니다.

데이터 품질 자산 목록 페이지에서 프로파일 및 스캔까지 일부 데이터 자산을 선택할 수 없는 이유는 무엇인가요?

• 몇 가지 이유가 있을 수 있습니다.
  • 이러한 데이터 자산은 지원되지 않는 데이터 원본에서 게시됩니다.
  • 이러한 데이터 자산의 파일 형식은 지원되지 않습니다.

지원되는 데이터 원본에 대해 프로파일링 작업이 실패하는 이유는 무엇인가요?

• 스키마를 확인하여 공백이 있는 열 이름이 없는지 확인합니다. 현재 버전은 공백이 있는 열 이름을 지원하지 않습니다. 엔지니어들은 핫픽스를 릴리스하기 위해 노력하고 있습니다.

CSV, parquet 및 텍스트 파일에 대한 데이터 품질 검사 및 데이터 프로파일링을 실행할 수 없는 이유는 무엇인가요?

• Microsoft Purview 데이터 품질 현재 parquet의 델타 형식만 지원합니다. Purview 데이터 품질은 CSV, 텍스트 및 parquet(델타 없음)을 지원하지 않습니다.

규칙 목록에 데이터 품질 새로 고침 규칙이 표시되지 않는 이유는 무엇인가요?

• Azure SQL 테이블에는 데이터 품질 새로 고침이 지원되지 않습니다. 데이터 자산이 Azure SQL 테이블인 경우 새로 고침 규칙은 데이터 자산을 선택하고 적용하기 위해 나열되지 않습니다.

DQ 검사 작업이 실패했습니다. '내부 서비스 오류가 발생했습니다. 다시 시도하거나 Microsoft 지원에 문의하세요.' 오류 메시지가 표시됩니다. 문제를 해결하려면 어떻게 해야 하나요?

• 이 오류 메시지와 함께 검사에 실패하는 데는 여러 가지 이유가 있을 수 있습니다.
  • 사용자는 데이터 품질 검사에 액세스하려는 작업 영역에 대해 현재 작업을 수행할 권한이 없습니다.
  • 오류 코드 403은 데이터 원본에 대한 액세스가 일시적으로 금지되어 있다는 의미입니다.
  • MSI(관리 ID)에 대한 데이터 원본에 대한 액세스 권한이 만료되었습니다.
  • Purview MSI(관리 ID)는 Microsoft Fabric 작업 영역에 기여자 액세스해야 합니다. Microsoft Purview MSI에 대한 기여자 액세스가 Microsoft Fabric 작업 영역에 제공되지 않은 경우 데이터 품질 검사가 실패합니다.

델타 형식을 사용하는 경우에도 델타 형식 오류가 발생하는 이유는 무엇인가요?

• Spark 3.4 Delta 2.4를 지원합니다. 델타 레이크 버전 2.4를 사용하고 있는지 확인합니다.

테이블 조회 규칙을 구성하기 위해 참조 데이터 자산을 선택할 때 오류가 표시되는 이유

• 그 이유는 동일한 거버넌스 도메인에서 데이터 제품에 연결되거나 참조되지 않는 데이터 자산을 선택했기 때문입니다. 올바른 데이터 자산을 선택하려면 다음을 수행합니다.

  • 참조 테이블 선택을 클릭합니다(다음 스크린샷 참조).

    

  • 현재 선택 취소(아래 스크린샷 참조)

    

  • 현재 선택을 취소한 후 다른 자산을 선택합니다.

Microsoft Purview MSI에 대한 데이터 원본에 대한 액세스를 구성하려면 어떻게 해야 하나요?

• MSI 구성 가이드는 다음과 같습니다. 이 문서에서 세부 정보를 찾을 수 있습니다.

모든 데이터 원본이 프라이빗 엔드포인트(vNet)의 뒤에 있습니다. Purview가 데이터 품질 검사를 위해 vNet의 데이터에 액세스할 수 있나요?

• 예, Purview는 DQ 검사를 위해 관리되는 vNet을 지원합니다. 여기서 Purview 관리형 vNet 구성 문서를 찾을 수 있습니다.

사용자 지정 규칙을 만드는 식 함수에 대한 좋은 설명서는 어디에서 찾을 수 있나요?

• 데이터 품질 규칙 페이지에서 설명서 참조 및 예제를 찾을 수 있습니다.

Fabric Lakehouse 테이블에 대한 DQ 검사가 실패하는 이유는 무엇인가요?

• 패브릭 레이크하우스에 대한 Purview 데이터 맵 지원은 비공개 미리 보기로 제공됩니다. Purview DQ를 사용하여 Fabric Lakehouse 테이블 DQ 검사를 사용하도록 설정하려면 Purview 데이터 맵 및 패브릭 원 레이크에 purview 테넌트 목록을 허용해야 합니다. 패브릭 레이크하우스 지원을 위해 테넌트 목록을 허용하려면 Microsoft 계정 팀에 문의하세요.