Zadania przepływu danych
Zadanie przepływ danych hermetyzuje aparat przepływ danych przenosi dane między źródeł i miejsc docelowych i umożliwia użytkownikowi Przekształć, czyszczenia i modyfikować dane przy przenoszeniu.Dodanie przepływu danych zadania przepływ sterowania pakiet tworzy pakiet do wyodrębnić, transformacji i ładowania danych.
Przepływ danych składa się z co najmniej jedną składnik przepływu danych, ale zazwyczaj jest zestaw połączonych składnik przepływu danychs: źródła, które wyodrębnić danych; Transformacje, modyfikowanie, trasa lub podsumowywanie danych; i miejsc docelowych, które są ładowane dane.Składniki są połączone w przepływ danych przez ścieżki.Każda ścieżka Określa dwóch składników, które są na początku i na końcu ścieżki.Aby uzyskać więcej informacji, zobacz Elementy przepływu danych.
Przy uruchomieniu czas, zadanie przepływ danych tworzy plan wykonania z przepływ danych i aparat przepływ danych wykonuje planu.Można utworzyć zadania przepływ danych ma przepływu danych, ale zadanie wykonuje tylko, jeżeli zawiera ono przepływu danych co najmniej jeden.
Na poniższym diagramie przedstawiono zadania przepływ danych z jednego przepływ danych.
.gif "Przepływ danych")
Zadanie przepływu danych może zawierać wiele przepływów danych.Jeśli zadanie kopiuje kilku zestawów danych i kolejności, w której dane są kopiowane, nie ma znaczenia, może być wygodniejszy dołączyć wiele przepływów danych zadań przepływu danych.Na przykład można utworzyć pięć przepływów danych, każdy kopiowania danych z plik prosty do tabela inny wymiar w schemat gwiazdy magazyn danych.
Jednak aparat przepływ danych określa kolejność wykonywania, gdy wiele przepływów danych w jednej zadanie przepływ danych.Dlatego gdy ważna jest kolejność pakiet należy używać wielu zadań przepływu danych, każdego zadania zawierające jeden przepływ danych.Następnie można zastosować ograniczenia pierwszeństwo kontrolować kolejność wykonywania zadań.
Poniższy diagram przedstawia przepływ danych zadanie ma wiele przepływów danych.
.gif "Przepływy danych")
Pakiet może zawierać wiele zadań przepływu danych i często są złożone pakietów.Na przykład jeśli pakiet wymaga uruchomić przepływy danych w określonej kolejności, lub wykonać inne zadania między przepływów danych, należy użyć oddzielnych zadań przepływ danych dla każdego przepływ danych.
Zadanie przepływu danych zarządza także przepływów błąd.Przy uruchomieniu czas, błędów poziom wiersza może wystąpić, gdy dane przepływ danych konwertowanie składników, wyszukiwania lub ocenić wyrażeń.Na przykład kolumna danych wartości ciąg znaków nie można przekonwertować na całkowitą lub wyrażenie próbuje dzielenie przez zero.Obie operacje powodują błędy, a wiersze zawierające błędy mogą być przetwarzane osobno przy użyciu przepływu błąd.Aby uzyskać więcej informacji na temat używania przepływów błąd w pakiet przepływ danych, zobacz Obsługa błędów w przepływu danych.
Luzem Wstaw dane z plików tekstowych do SQL Server bazy danych, za pomocą zadań Wstaw luzem zamiast zadanie przepływ danych i przepływ danych.Jednak dane nie można przekształcić zadań Wstaw luzem.Aby uzyskać więcej informacji, zobacz Zadań Wstaw luzem.
Przy użyciu wyrażeń właściwości z elementami przepływu danych
Liczba przepływ danych składniki — źródeł, transformacje i miejsc docelowych — obsługuje korzystanie z wyrażeń właściwość w niektórych ich właściwość.Wyrażenie właściwość jest wyrażenie zastępuje wartość właściwości po załadowaniu pakiet.Przy uruchomieniu czas, pakiet używa wartości właściwość zaktualizowane.wyrażenie są zbudowane przy użyciu Integration Services składni wyrażenie i mogą zawierać Integration Services funkcji, operatorów, identyfikatorów i zmiennych.Aby uzyskać więcej informacji, zobacz Odwołanie do wyrażeń w usługach Integration Services, Używając wyrażeń w opakowaniach, i Za pomocą właściwości wyrażenia w opakowaniach.
Jeśli skonstruować pakiet w Business Intelligence Development Studio, właściwości składników z przepływ danych, które obsługują właściwość wyrażeń są narażone na zadanie przepływ danych, do której należą.Aby dodać zmienić i Usuń wyrażeń właściwości składników przepływ danych, zadania przepływ danych, a następnie użyj okna właściwości lub edytora dla zadania, aby dodać, zmienić lub usunąć właściwość wyrażeń.W oknie właściwości są zarządzane wyrażeń właściwości zadania przepływu danych sam.
Przepływ danych zawiera jakiekolwiek składniki, które używają wyrażeń, wyrażenia są również poddane ekspozycji w oknie właściwości.Aby wyświetlić wyrażeń, zaznacz zadanie przepływu danych, do którego należy komponent.Można wyświetlić właściwości, według kategorii lub w kolejności alfabetycznej.Jeśli używasz widoku skategoryzowane w oknie właściwość dowolnego wyrażenia, które nie są używane w określonej właściwość są wymienione w różne kategorii.Jeśli używasz widoku alfabetycznej wyrażeń są wymienione w kolejności nazwę składnik przepływ danych.
Wpisy dziennika
Integration Services provides a set of log events that are available to all tasks.Integration Services also provides custom log entries to many tasks.Aby uzyskać więcej informacji, zobacz Implementowanie rejestrowania w opakowaniach i Niestandardowe komunikaty do rejestrowania. Zadanie przepływu danych zawiera następujące wpisy dziennika niestandardowego:
Wpis dziennika |
Opis |
|---|---|
BufferSizeTuning |
Wskazuje, że zadanie przepływu danych zmieniony rozmiar buforu.Wpis dziennika opisano przyczyny zmiany rozmiaru i list tymczasowych nowy rozmiar buforu. |
OnPipelinePostEndOfRowset |
Oznacza, że składnik nadano jej sygnału zakończenia zestaw wierszy, jest ustawiany przez ostatnie wywołanie ProcessInput metoda.Jest wpis dla każdego składnika w przepływ danych, który przetwarza dane wejściowe.Wpis zawiera nazwę składnika. |
OnPipelinePostPrimeOutput |
Wskazuje, że składnik ukończył swoje ostatnie wywołanie PrimeOutput metoda.W zależności od przepływ danych można zapisać wiele wpisów dziennika.Jeżeli składnik jest źródło, ten wpis dziennika oznacza, że składnik zakończył przetwarzanie wierszy. |
OnPipelinePreEndOfRowset |
Wskazuje, że składnik jest zamiar odbioru sygnału jego zakończenia zestaw wierszy, która jest ustawiana przez ostatnie wywołanie ProcessInput metoda.Jest wpis dla każdego składnika w przepływ danych, który przetwarza dane wejściowe.Wpis zawiera nazwę składnika. |
OnPipelinePrePrimeOutput |
Wskazuje, że składnik jest zamiar jego telefonicznie z PrimeOutput metoda.W zależności od przepływ danych można zapisać wiele wpisów dziennika. |
OnPipelineRowsSent |
Raporty o liczbę wierszy, pod warunkiem że dane wejściowe składnika przez wywołanie do ProcessInput metoda.Wpis dziennika zawiera nazwę składnika. |
PipelineBufferLeak |
Zawiera informacje dotyczące każdego składnika, który będzie utrzymywane przy życiu buforów po menedżera buforów zniknie.Jeśli bufor jest nadal aktywna, bufory zasoby nie zostały wydane i może powodować przecieki pamięci.Wpis dziennika zawiera nazwę składnika i identyfikator buforu. |
PipelineComponentTime |
Czas (w milisekundach), składnik zużytą w każdym jego pięć kroków głównych przetwarzanie raportów — sprawdzanie poprawności, PreExecute, PostExecute, ProcessInput i ProcessOutput. |
PipelineExecutionPlan |
Raporty planu wykonania przepływ danych.Plan wykonania zawiera informacje o jak bufory zostaną wysłane do składników.Te informacje w połączeniu z wpisu dziennika PipelineExecutionTrees opisuje, co się dzieje w ramach zadania przepływu danych. |
PipelineExecutionTrees |
Raporty drzew wykonanie układu w przepływ danych.Harmonogram z aparat przepływ danych używa drzew do konstruowania plan wykonania przepływ danych. |
PipelineInitialization |
Zapewnia inicjowania informacje o zadaniu.Informacje te obejmują katalogów tymczasowych magazynu danych BLOB, domyślny rozmiar buforu i liczbę wierszy w buforze.W zależności od konfiguracja zadania przepływu danych można zapisać wiele wpisów dziennika. |
Te wpisy dziennika bogate informacje o wykonanie przepływu danych zadania każdego czas uruchomić pakiet.Jak pakiety są uruchomione wielokrotnie, można przechwycić informacje w tym czas zawiera ważne informacje historyczne dotyczące przetwarzania, który wykonuje zadania, problemy, które mogą wpłynąć na wydajność i wolumin danych, który obsługuje zadania.
Aby uzyskać więcej informacji dotyczących sposobu użycia tych wpisów dziennika do monitorowania i zwiększyć wydajność przepływ danych zobacz jeden z następujących tematów:
Zadanie przepływu próbki wiadomości od danych
W poniższej tabela przedstawiono komunikaty przykładowe wpisy dziennika dla bardzo prostych pakiet.OLE DB korzysta z pakietu źródło do wyodrębniania danych z tabela, transformacja sortowanie do sortowania danych i docelowy OLE DB do zapisuje dane do innej tabela.
Wpis dziennika |
Wiadomości |
|---|---|
BufferSizeTuning |
Rows in buffer type 0 would cause a buffer size greater than the configured maximum. There will be only 9637 rows in buffers of this type. Rows in buffer type 2 would cause a buffer size greater than the configured maximum. There will be only 9497 rows in buffers of this type. Rows in buffer type 3 would cause a buffer size greater than the configured maximum. There will be only 9497 rows in buffers of this type. |
OnPipelinePostEndOfRowset |
A component will be given the end of rowset signal. : 1180 : Sort : 1181 : Sort Input A component will be given the end of rowset signal. : 1291 : OLE DB Destination : 1304 : OLE DB Destination Input |
OnPipelinePostPrimeOutput |
A component has returned from its PrimeOutput call. : 1180 : Sort A component has returned from its PrimeOutput call. : 1 : OLE DB Source |
OnPipelinePreEndOfRowset |
A component has finished processing all of its rows. : 1180 : Sort : 1181 : Sort Input A component has finished processing all of its rows. : 1291 : OLE DB Destination : 1304 : OLE DB Destination Input |
OnPipelinePrePrimeOutput |
PrimeOutput will be called on a component. : 1180 : Sort PrimeOutput will be called on a component. : 1 : OLE DB Source |
OnPipelineRowsSent |
Rows were provided to a data flow component as input. : : 1185 : OLE DB Source Output : 1180 : Sort : 1181 : Sort Input : 76 Rows were provided to a data flow component as input. : : 1308 : Sort Output : 1291 : OLE DB Destination : 1304 : OLE DB Destination Input : 76 |
PipelineComponentTime |
The component "Calculate LineItemTotalCost" (3522) spent 356 milliseconds in ProcessInput. The component "Sum Quantity and LineItemTotalCost" (3619) spent 79 milliseconds in ProcessInput. The component "Calculate Average Cost" (3662) spent 16 milliseconds in ProcessInput. The component "Sort by ProductID" (3717) spent 125 milliseconds in ProcessInput. The component "Load Data" (3773) spent 0 milliseconds in ProcessInput. The component "Extract Data" (3869) spent 688 milliseconds in PrimeOutput filling buffers on output "OLE DB Source Output" (3879). The component "Sum Quantity and LineItemTotalCost" (3619) spent 141 milliseconds in PrimeOutput filling buffers on output "Aggregate Output 1" (3621). The component "Sort by ProductID" (3717) spent 16 milliseconds in PrimeOutput filling buffers on output "Sort Output" (3719). |
PipelineExecutionPlan |
SourceThread0 Drives: 1 Influences: 1180 1291 Output Work List CreatePrimeBuffer of type 1 for output ID 11. SetBufferListener: "WorkThread0" for input ID 1181 CreatePrimeBuffer of type 3 for output ID 12. CallPrimeOutput on component "OLE DB Source" (1) End Output Work List End SourceThread0 WorkThread0 Drives: 1180 Influences: 1180 1291 Input Work list, input ID 1181 (1 EORs Expected) CallProcessInput on input ID 1181 on component "Sort" (1180) for view type 2 End Input Work list for input 1181 Output Work List CreatePrimeBuffer of type 4 for output ID 1182. SetBufferListener: "WorkThread1" for input ID 1304 CallPrimeOutput on component "Sort" (1180) End Output Work List End WorkThread0 WorkThread1 Drives: 1291 Influences: 1291 Input Work list, input ID 1304 (1 EORs Expected) CallProcessInput on input ID 1304 on component "OLE DB Destination" (1291) for view type 5 End Input Work list for input 1304 Output Work List End Output Work List End WorkThread1 |
PipelineExecutionTrees |
begin execution tree 0 output "OLE DB Source Output" (11) input "Sort Input" (1181) end execution tree 0 begin execution tree 1 output "OLE DB Source Error Output" (12) end execution tree 1 begin execution tree 2 output "Sort Output" (1182) input "OLE DB Destination Input" (1304) output "OLE DB Destination Error Output" (1305) end execution tree 2 |
PipelineInitialization |
No temporary BLOB data storage locations were provided. The buffer manager will consider the directories in the TEMP and TMP environment variables. The default buffer size is 10485760 bytes. Buffers will have 10000 rows by default The data flow will not remove unused components because its RunInOptimizedMode property is set to false. |
Wielu zdarzeń dziennika zapis wielu wpisów i wiadomości dla liczby wpisów dziennika zawierają złożone dane.Aby ułatwić zrozumienie i komunikację zawartości wiadomości złożonych można analizować tekst wiadomości.W zależności od lokalizacji dzienników można użyć instrukcji Transact-SQL lub składnik skryptów do oddzielania tekstu złożonego do kolumn lub inne formaty, które można znaleźć bardziej użyteczne.
Na przykład, poniższa tabela zawiera komunikat "wiersze zostały dostarczone do składnik przepływ danych jako danych wejściowych.:: 1185: OLE DB źródła danych wyjściowych: 1180 : Sortuj: 1181 : Sortowanie danych wejściowych: 76 "analizowany w kolumnach.Komunikat został napisany przez OnPipelineRowsSent zdarzenie, gdy wiersze były wysłane przez źródło OLE DB do transformacja sortowania.
Kolumna |
Opis |
Wartość |
|---|---|---|
PathID |
Wartość z ID Właściwość ścieżkę między OLE DB źródło i transformacja sortowania. |
1185 |
Nazwa ścieżki |
Wartość z Name Właściwość ścieżka. |
OLE DB źródła wyjścia |
ComponentID |
Wartość ID właściwość sortowania transformacja. |
1180 |
NazwaSkładnika |
Wartość z Name właściwość sortowania transformacja. |
Sortowanie |
InputID |
Wartość z Identyfikatora właściwości input do sortowania transformacja. |
1181 |
InputName |
Wartość z Name Właściwość wprowadzania do transformacja sortowania. |
Sortowanie danych wejściowych. |
RowsSent |
Liczba wysłanych do wprowadzania transformacja sortowania wierszy. |
76 |
Źródła
Następujących źródeł mają właściwości, które mogą być aktualizowane przez właściwość wyrażenia:
Aby uzyskać więcej informacji, zobacz Właściwości niestandardowe źródła.
Przekształcenia
Następujące przekształcenia mają właściwości, które mogą być aktualizowane przez właściwość wyrażenia:
Aby uzyskać więcej informacji, zobacz Właściwości niestandardowe transformacji.
Miejsca docelowe
Następujących miejsc przeznaczenia mają właściwości, które mogą być aktualizowane przez właściwość wyrażenia:
Aby uzyskać więcej informacji, zobacz Właściwości niestandardowe miejsce docelowe.
Konfigurowanie zadania przepływu danych
zestaw właściwości w Właściwości okno lub programowo.
Aby uzyskać więcej informacji dotyczących sposobu zestaw tych właściwości w Właściwości okna, kliknij następujący temat:
Konfigurowanie programowo zadanie przepływu danych
Aby uzyskać więcej informacji o dodawaniu programowo zadanie przepływ danych pakiet i ustawianie właściwości przepływ danych, kliknij następujący temat:
|
.gif "Ikona usług Integration Services (mała)")
Bieżąco z usług integracji