Azure Databricks 워크로드 식별
Azure Databricks는 Machine Learning 및 LLM(대규모 언어 모델), 데이터 과학, 데이터 엔지니어링, BI 및 데이터 웨어하우징 및 스트리밍 처리를 비롯한 다양한 워크로드에 대한 기능을 제공합니다.
데이터 과학 및 엔지니어링
이 워크로드는 복잡한 데이터 처리 작업을 공동 작업해야 하는 데이터 과학자 및 엔지니어를 위해 설계되었습니다. 데이터 레이크하우스에서 빅 데이터 처리를 위한 Apache Spark와 통합된 환경을 제공하고 Python, R, Scala 및 SQL을 비롯한 여러 언어를 지원합니다. 이 플랫폼은 데이터 탐색, 시각화 및 데이터 파이프라인 개발을 용이하게 합니다.
Machine Learning
Azure Databricks의 Machine Learning 워크로드는 대규모 기계 학습 모델을 빌드, 학습 및 배포하는 데 최적화되어 있습니다. 여기에는 실험, 재현성 및 배포를 포함하여 ML 수명 주기를 관리하는 오픈 소스 플랫폼인 MLflow가 포함됩니다. 또한 TensorFlow, PyTorch 및 Scikit-learn과 같은 다양한 ML 프레임워크를 지원하므로 다양한 ML 작업에 다용도로 사용할 수 있습니다.
SQL
SQL 워크로드는 주로 SQL을 통해 데이터와 상호 작용하는 데이터 분석가를 대상으로 합니다. Azure Databricks 내에서 직접 데이터를 분석하고 시각화하는 친숙한 SQL 편집기, 대시보드 및 자동 시각화 도구를 제공합니다. 이 워크로드는 빠른 임시 쿼리를 실행하고 대규모 데이터 세트에서 보고서를 생성하는 데 이상적입니다.
