Udostępnij za pośrednictwem


Pobieranie danych z usługi OneLake

Z tego artykułu dowiesz się, jak pobrać dane z usługi OneLake do nowej lub istniejącej tabeli.

Warunki wstępne

Kopiowanie ścieżki pliku z usługi Lakehouse

  1. W obszarze roboczym wybierz środowisko lakehouse zawierające źródło danych, którego chcesz użyć.

  2. Umieść kursor nad żądanym plikiem i wybierz menu Więcej (...), a następnie wybierz pozycję Właściwości.

    Ważny

    • Ścieżki folderów nie są obsługiwane.
    • Symbole wieloznaczne (*) nie są obsługiwane.

    Zrzut ekranu przedstawiający menu rozwijane pliku Lakehouse. Opcja o nazwie Właściwości jest wyróżniona.

  3. W obszarze adres URLwybierz ikonę Kopiuj do schowka i zapisz go gdzieś, aby pobrać go w późniejszym kroku.

    Zrzut ekranu przedstawiający okienko Właściwości pliku Lakehouse. Ikona kopiowania po prawej stronie adresu URL pliku jest wyróżniona.

  4. Wróć do obszaru roboczego i wybierz bazę danych KQL.

Źródło

  1. Na dolnej wstążce bazy danych KQL wybierz pozycję Pobierz dane.

    W oknie Pobierz dane wybrana jest karta Źródło.

  2. Wybierz źródło danych z listy dostępnych. W tym przykładzie pozyskujesz dane z OneLake.

    Zrzut ekranu okna 'pobierz dane' z wybraną zakładką 'Źródło'.

Konfiguruj

  1. Wybierz tabelę docelową. Jeśli chcesz pozyskać dane do nowej tabeli, wybierz pozycję +Nowa tabela i wprowadź nazwę tabeli.

    Notatka

    Nazwy tabel mogą zawierać maksymalnie 1024 znaki, w tym spacje, alfanumeryczne, łączniki i podkreślenia. Znaki specjalne nie są obsługiwane.

  2. W pliku OneLakewklej ścieżkę pliku Lakehouse, skopiowaną z Lakehouse w .

    Notatka

    Można dodać maksymalnie 10 elementów o nieskompresowanym rozmiarze do 1 GB.

    Zrzut ekranu przedstawiający kartę konfigurowania z wprowadzoną nową tabelą i dodaną ścieżką pliku OneLake.

  3. Wybierz pozycję Dalej.

Sprawdzić

Karta Inspekcja zostanie otwarta z podglądem danych.

Aby ukończyć proces pozyskiwania, wybierz opcję Zakończ.

zrzut ekranu przedstawiający zakładkę Inspekcja.

Opcjonalnie:

  • Wybierz Podgląd poleceń, aby wyświetlić i skopiować polecenia automatyczne wygenerowane na podstawie danych wejściowych.
  • Użyj listy rozwijanej , aby zmienić plik definicji schematu, z którego schemat jest wywnioskowany.
  • Zmień automatycznie wnioskowany format danych, wybierając żądany format z listy rozwijanej. Aby uzyskać więcej informacji, zobacz Formaty danych obsługiwane przez Real-Time Intelligence.
  • Edytuj kolumny.
  • Poznaj opcje zaawansowane oparte na typie danych.

Edytowanie kolumn

Notatka

  • W przypadku formatów tabelarycznych (CSV, TSV, PSV) nie można dwukrotnie mapować kolumny. Aby dopasować do istniejącej kolumny, najpierw usuń nową kolumnę.
  • Nie można zmienić istniejącego typu kolumny. Jeśli spróbujesz mapować kolumnę na inny format, może się okazać, że kolumny będą puste.

Zmiany, które można wprowadzić w tabeli, zależą od następujących parametrów:

  • Typ tabeli jest nowy lub istniejący
  • typ mapowania jest nowy lub istniejący
Typ tabeli Typ mapowania Dostępne korekty
Nowa tabela Nowe mapowanie Zmienianie nazwy kolumny, zmienianie typu danych, zmienianie źródła danych, przekształcanie mapowania, dodawanie kolumny, usuwanie kolumny
Istniejąca tabela Nowe mapowanie Dodaj kolumnę (na której można następnie zmienić typ danych, zmienić nazwę i zaktualizować)
Istniejąca tabela Istniejące mapowanie żaden

Zrzut ekranu przedstawiający otwarte kolumny do edycji.

Przekształcenia mapowania

Niektóre mapowania formatów danych (Parquet, JSON i Avro) obsługują przekształcenia podczas ładowania danych. Aby zastosować przekształcenia mapowania, utwórz kolumnę lub ją zaktualizuj w oknie Edytuj kolumny.

Przekształcenia mapowania można wykonać na kolumnie typu ciąg znaków lub data/godzina, gdy źródło ma typ danych int lub long. Obsługiwane przekształcenia mapowania to:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Opcje zaawansowane oparte na typie danych

tabelaryczne (CSV, TSV, PSV):

  • Jeśli pozyskujesz formaty tabelaryczne w istniejącej tabeli, możesz wybrać Zaawansowane>Zachowaj schemat tabeli. Dane tabelaryczne nie muszą zawierać nazw kolumn używanych do mapowania danych źródłowych na istniejące kolumny. Po zaznaczeniu tej opcji mapowanie odbywa się według kolejności, a schemat tabeli pozostaje taki sam. Jeśli ta opcja nie jest zaznaczona, nowe kolumny są tworzone dla danych przychodzących, niezależnie od struktury danych.

  • Aby użyć pierwszego wiersza jako nazw kolumn, wybierz pozycję Zaawansowane>Pierwszy wiersz to nagłówek kolumn.

    Zrzut ekranu przedstawiający zaawansowane opcje csv.

JSON:

  • Aby określić podział kolumn w danych JSON, wybierz zaawansowane poziomy zagnieżdżenia>w zakresie od 1 do 100.

  • Jeśli wybierzesz Zaawansowane>Pomiń wiersze JSON z błędami, dane są wczytywane w formacie JSON. Jeśli to pole wyboru nie zostanie zaznaczone, dane są przetwarzane w formacie multijson.

    Zrzut ekranu przedstawiający zaawansowane opcje JSON.

Streszczenie

W oknie przygotowywania danych , wszystkie trzy kroki są oznaczone zielonymi znacznikami wyboru po pomyślnym pozyskaniu danych. Możesz wybrać kartę, aby wykonać zapytanie, usunąć przetworzone dane lub wyświetlić pulpit z podsumowaniem przetworzenia danych.

Zrzut ekranu przedstawiający stronę podsumowania z pomyślnym zakończeniem przetwarzania.