Visual Studio Code용 Azure Data Lake Tools 사용

중요합니다

구독을 사용하도록 설정하지 않으면 새 Azure Data Lake Analytics 계정을 더 이상 만들 수 없습니다. 구독이 활성화되어야 하는 경우 지원팀에 문의하여 비즈니스 시나리오를 설명하십시오.

Azure Data Lake Analytics를 이미 사용하고 있는 경우 2024년 2월 29일까지 조직의 Azure Synapse Analytics 마이그레이션 계획을 만들어야 합니다.

이 문서에서는 AZURE Data Lake Tools for Visual Studio Code(VS Code)를 사용하여 U-SQL 스크립트를 만들고, 테스트하고, 실행하는 방법을 알아봅니다. 이 정보는 다음 비디오에서도 다룹니다.

필수 조건

VS Code용 Azure Data Lake Tools는 Windows, Linux 및 macOS를 지원합니다. U-SQL 로컬 실행 및 로컬 디버그가 Windows에서만 작동합니다.

• Visual Studio Code

macOS 및 Linux의 경우:

• .NET 5.0 SDK
• Mono 5.2.x

Azure Data Lake Tools 설치

필수 구성 요소를 설치한 후 VS Code용 Azure Data Lake Tools를 설치할 수 있습니다.

Azure Data Lake Tools를 설치하려면

1. Visual Studio Code를 엽니다.

2. 왼쪽 창에서 확장 선택합니다. 검색 상자에 Azure Data Lake Tools 입력합니다.

3. Azure Data Lake Tools옆에 있는 설치을 선택합니다.

   Data Lake Tools선택 사항

   몇 초 후 설치 버튼이 다시 로드로 변경됩니다.

4. 다시 로드 을 선택하면 Azure Data Lake Tools 확장을 활성화합니다.

5. 창 다시 로드를 선택하여 확인합니다. 확장 창에서 Azure Data Lake Tools를 볼 수 있습니다.

Azure Data Lake Tools 활성화

.usql 파일을 만들거나 기존 .usql 파일을 열어 확장을 활성화합니다.

U-SQL과 함께 작업하다

U-SQL을 사용하려면 U-SQL 파일 또는 폴더를 열어야 합니다.

샘플 스크립트를 열려면

명령 팔레트(Ctrl+Shift+P)를 열고 ADL을 입력합니다. 샘플 스크립트엽니다. 이 샘플의 다른 인스턴스가 열립니다. 이 인스턴스에서 스크립트를 편집, 구성 및 제출할 수도 있습니다.

U-SQL 프로젝트에 대한 폴더를 열려면

1. Visual Studio Code에서 파일 메뉴를 선택하고, 폴더 열기를 선택합니다.

2. 폴더를 지정한 다음 폴더 선택합니다.

3. 파일 메뉴를 선택한 다음, 새를 선택합니다. 제목 없는-1 파일이 프로젝트에 추가됩니다.

4. Untitled-1 파일에 다음 코드를 입력합니다.

   @departments  =
       SELECT * FROM
           (VALUES
               (31,    "Sales"),
               (33,    "Engineering"),
               (34,    "Clerical"),
               (35,    "Marketing")
           ) AS
                 D( DepID, DepName );
   

   OUTPUT @departments을 "/Output/departments.csv"로 출력하고 Outputters.Csv()를 사용하십시오.

   스크립트는 /output 폴더에 포함된 일부 데이터가 포함된 departments.csv 파일을 만듭니다.

5. 열려 있는 폴더에 파일을 myUSQL.usql로 저장하세요.

U-SQL 스크립트를 컴파일하려면

1. Ctrl+Shift+P를 선택하여 명령 팔레트를 엽니다.
2. ADL을 입력합니다. 스크립트컴파일합니다. 컴파일 결과는 출력 창에 표시됩니다. 스크립트 파일을 마우스 오른쪽 단추로 클릭한 다음 ADL: 스크립트 컴파일하여 U-SQL 작업을 컴파일할 수도 있습니다. 컴파일 결과가 출력 창에 나타납니다.

U-SQL 스크립트를 제출하려면

1. Ctrl+Shift+P를 선택하여 명령 팔레트를 엽니다.
2. ADL을 입력하세요. 작업을 제출하세요. 스크립트 파일을 마우스 오른쪽 단추로 클릭한 다음 ADL: 작업 제출선택할 수도 있습니다.

U-SQL 작업을 제출하면 제출 로그가 VS Code의 출력 창에 표시됩니다. 작업 보기가 오른쪽 창에 나타납니다. 제출에 성공하면 작업 URL도 나타납니다. 웹 브라우저에서 작업 URL을 열어 실시간 작업 상태를 추적할 수 있습니다.

작업 보기의 요약 탭에서 작업 세부 정보를 볼 수 있습니다. 주 함수에는 스크립트를 다시 제출하고, 스크립트를 복제하고, 포털에서 여는 것이 포함됩니다. 작업 보기의 데이터 탭에서 입력 파일, 출력 파일 및 리소스 파일을 참조할 수 있습니다. 파일을 로컬 컴퓨터에 다운로드할 수 있습니다.

기본 컨텍스트를 설정하려면

파일에 대한 매개 변수를 개별적으로 설정하지 않은 경우 이 설정을 모든 스크립트 파일에 적용하도록 기본 컨텍스트를 설정할 수 있습니다.

1. Ctrl+Shift+P를 선택하여 명령 팔레트를 엽니다.

2. ADL을 입력합니다. 기본 컨텍스트설정합니다. 또는 스크립트 편집기를 마우스 오른쪽 단추로 클릭하고 ADL: 기본 컨텍스트설정합니다.

3. 원하는 계정, 데이터베이스 및 스키마를 선택합니다. 설정은 xxx_settings.json 구성 파일에 저장됩니다.

   

스크립트 매개 변수를 설정하려면

1. Ctrl+Shift+P를 선택하여 명령 팔레트를 엽니다.

2. ADL을 입력합니다. 스크립트 매개 변수설정합니다.

3. xxx_settings.json 파일은 다음 속성을 사용하여 열립니다.

   • 계정: U-SQL 작업을 컴파일하고 실행하는 데 필요한 Azure 구독의 Azure Data Lake Analytics 계정입니다. U-SQL 작업을 컴파일하고 실행하기 전에 컴퓨터 계정을 구성해야 합니다.
   • 데이터베이스: 계정 아래의 데이터베이스입니다. 기본값은 마스터입니다.
   • 스키마: 데이터베이스 아래의 스키마입니다. 기본값은 dbo.
   • optionalSettings:
     • 우선 순위: 우선 순위 범위는 1에서 1000까지이며, 우선 순위는 1입니다. 기본값은 1000.
     • degreeOfParallelism: 병렬 처리 범위는 1에서 150까지입니다. 기본값은 Azure Data Lake Analytics 계정에서 허용되는 최대 병렬 처리입니다.

   

비고

구성을 저장한 후 기본 컨텍스트가 설정되지 않은 경우 해당 .usql 파일의 왼쪽 아래 모서리에 있는 상태 표시줄에 계정, 데이터베이스 및 스키마 정보가 표시됩니다.

Git 무시를 설정하려면

1. Ctrl+Shift+P를 선택하여 명령 팔레트를 엽니다.

2. ADL을 입력하고, Git Ignore을 설정합니다.

   • VS Code 작업 폴더에 .gitIgnore 파일이 없는 경우 .gitIgnore 파일이 폴더에 만들어집니다. 4개의 항목(usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj)이 기본적으로 파일에 추가됩니다. 필요한 경우 더 많은 업데이트를 수행할 수 있습니다.
   • VS Code 작업 폴더에 .gitIgnore 파일이 이미 있는 경우 이 도구는 4개의 항목이 파일에 포함되지 않은 경우 .gitIgnore 파일에 4개 항목(usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj)을 추가합니다.

   

코드 비하인드 파일 다루기: C Sharp, Python 및 R

Azure Data Lake Tools는 여러 사용자 지정 코드를 지원합니다. Azure Data Lake Analytics용 U-SQL을 Python, R 및 C#과 함께 VS Code에서 개발하는 방법에 대한 지침은 을(를) 참조하세요.

어셈블리 작업 수행

어셈블리 개발에 대한 자세한 내용은 Azure Data Lake Analytics 작업U-SQL 어셈블리 개발을 참조하세요.

Data Lake Tools를 사용하여 Data Lake Analytics 카탈로그에 사용자 지정 코드 어셈블리를 등록할 수 있습니다.

어셈블리를 등록하려면

ADL: 어셈블리 등록 또는 ADL: 어셈블리 등록(고급) 명령을 통해 어셈블리를 등록할 수 있습니다.

ADL을 통해 등록하려면: 어셈블리 등록 명령

1. Ctrl+Shift+P를 선택하여 명령 팔레트를 엽니다.
2. ADL을 입력합니다. 어셈블리등록합니다.
3. 로컬 어셈블리 경로를 지정합니다.
4. Data Lake Analytics 계정을 선택합니다.
5. 데이터베이스를 선택합니다.

포털이 브라우저에서 열리고 어셈블리 등록 프로세스가 표시됩니다.

ADL을 트리거하는 더 편리한 방법: 어셈블리 등록 명령은 파일 탐색기에서 .dll 파일을 마우스 오른쪽 단추로 클릭하는 것입니다.

ADL을 통해 등록하려면: 어셈블리 등록(고급) 명령

1. Ctrl+Shift+P를 선택하여 명령 팔레트를 엽니다.

2. ADL: 어셈블리 등록(고급)입력합니다.

3. 로컬 어셈블리 경로를 지정합니다.

4. JSON 파일이 표시됩니다. 필요한 경우 어셈블리 종속성 및 리소스 매개 변수를 검토하고 편집합니다. 지침은 출력 창에 표시됩니다. 어셈블리 등록을 계속하려면 JSON 파일을 저장합니다(Ctrl+S).

   

비고

• Azure Data Lake Tools는 DLL에 어셈블리 종속성이 있는지 여부를 자동으로 검색합니다. 종속성이 검색된 후 JSON 파일에 표시됩니다.
• 어셈블리 등록의 일부로 DLL 리소스(예: .txt, .png및 .csv)를 업로드할 수 있습니다.

ADL을 트리거하는 또 다른 방법: 어셈블리 등록(고급) 명령은 파일 탐색기에서 .dll 파일을 마우스 오른쪽 단추로 클릭하는 것입니다.

다음 U-SQL 코드는 어셈블리를 호출하는 방법을 보여 줍니다. 샘플에서 어셈블리 이름은 테스트입니다.

REFERENCE ASSEMBLY [test];
@a =
    EXTRACT
        Iid int,
    Starts DateTime,
    Region string,
    Query string,
    DwellTime int,
    Results string,
    ClickedUrls string
    FROM @"Sample/SearchLog.txt"
    USING Extractors.Tsv();
@d =
    SELECT DISTINCT Region
    FROM @a;
@d1 =
    PROCESS @d
    PRODUCE
        Region string,
    Mkt string
    USING new USQLApplication_codebehind.MyProcessor();
OUTPUT @d1
    TO @"Sample/SearchLogtest.txt"
    USING Outputters.Tsv();

Windows 사용자에 대해 U-SQL 로컬 실행 및 로컬 디버그 사용

U-SQL 로컬 실행은 로컬 데이터를 테스트하고 코드가 Data Lake Analytics에 게시되기 전에 로컬로 스크립트의 유효성을 검사합니다. 로컬 디버그 기능을 사용하여 코드를 Data Lake Analytics에 제출하기 전에 다음 작업을 완료할 수 있습니다.

• C# 코드 비하인드를 디버그합니다.
• 코드를 단계별로 실행합니다.
• 로컬에서 스크립트의 유효성을 검사합니다.

로컬 실행 및 로컬 디버그 기능은 Windows 환경에서만 작동하며 macOS 및 Linux 기반 운영 체제에서는 지원되지 않습니다.

로컬 실행 및 로컬 디버그에 대한 지침은 Visual Studio Code 사용하여 U-SQL 로컬 실행 및 로컬 디버그참조하세요.

Azure에 연결

Data Lake Analytics에서 U-SQL 스크립트를 컴파일하고 실행하려면 먼저 Azure 계정에 연결해야 합니다.

명령을 사용하여 Azure에 연결하려면

1. Ctrl+Shift+P를 선택하여 명령 팔레트를 엽니다.

2. 을 입력합니다 ADL: 로그인. 로그인 정보가 오른쪽 아래에 나타납니다.

   입력

   로그인 및 인증알림

3. 복사 & 열기 선택하여 로그인 웹 페이지엽니다. 상자에 코드를 붙여넣은 다음 계속선택합니다.

   

4. 지침에 따라 웹 페이지에서 로그인합니다. 연결되면 VS Code 창의 왼쪽 아래 모서리에 있는 상태 표시줄에 Azure 계정 이름이 표시됩니다.

비고

• 다음에 로그아웃하지 않으면 Data Lake Tools에서 자동으로 로그아웃합니다.
• 계정에 두 가지 요소를 사용하도록 설정한 경우 PIN을 사용하는 대신 전화 인증을 사용하는 것이 좋습니다.

로그아웃하려면 ADL: 로그아웃 명령을 입력합니다.

탐색기에서 Azure에 연결하려면

AZURE DATALAKE 확장하고, Azure 로그인을 선택한 다음, 명령 사용하여 Azure에 연결하려면3단계와 4단계를 수행합니다.

탐색기

탐색기에서 로그아웃할 수 없습니다. 로그아웃하려면 명령 사용하여 Azure에 연결하려면참조하세요.

추출 스크립트 만들기

.csv, .tsv 및 .txt 파일에 대한 추출 스크립트를 만들 수 있습니다. ADL: CREATE EXTRACT Script 또는 Azure Data Lake Explorer에서 명령을 사용합니다.

명령을 사용하여 추출 스크립트를 만들려면

1. Ctrl+Shift+P를 선택하여 명령 팔레트를 열고 ADL: CREATE EXTRACT Script입력합니다.
2. Azure Storage 파일의 전체 경로를 지정하고 Enter 키를 선택합니다.
3. 하나의 계정을 선택합니다.
4. .txt 파일의 경우 구분 기호를 선택하여 파일을 추출합니다.

추출 스크립트프로세스

추출 스크립트는 항목에 따라 생성됩니다. 열을 검색할 수 없는 스크립트의 경우 두 옵션 중 하나를 선택합니다. 그렇지 않은 경우 하나의 스크립트만 생성됩니다.

탐색기에서 추출 스크립트를 만들려면

추출 스크립트를 만드는 또 다른 방법은 Azure Data Lake Store 또는 Azure Blob Storage의 .csv, .tsv 또는 .txt 파일에서 마우스 오른쪽 단추 클릭(바로 가기) 메뉴를 사용하는 것입니다.

바로 가기 메뉴에서 "추출 스크립트 만들기" 명령을

다음 단계

• VS Code에서 Azure Data Lake Analytics용 U-SQL을 Python, R 및 C#으로 개발
• Visual Studio Code 사용하여 U-SQL 로컬 실행 및 로컬 디버그
• 자습서: Azure Data Lake Analytics 시작
• 자습서: Data Lake Tools for Visual Studio 사용하여 U-SQL 스크립트 개발