Omówienie usługi LightGBM w usłudze SynapseML
LightGBM to platforma typu open source, rozproszona, zwiększająca gradient o wysokiej wydajności (GBDT, GBRT, GBM lub MART). Ta struktura specjalizuje się w tworzeniu algorytmów drzewa decyzyjnego z obsługą wysokiej jakości i procesora GPU na potrzeby klasyfikowania, klasyfikacji i wielu innych zadań uczenia maszynowego. LightGBM jest częścią projektu DMTK firmy Microsoft.
Zalety lightGBM
- Komponowanie: modele LightGBM można włączyć do istniejących potoków SparkML i używać ich do obsługi obciążeń wsadowych, przesyłanych strumieniowo i obsługujących.
- Wydajność: funkcja LightGBM na platformie Spark jest o 10–30% szybsza niż sparkML w zestawie danych Higgs i osiąga 15% wzrost liczby jednostek AUC. Eksperymenty równoległe zweryfikowały, że lightGBM może osiągnąć szybkość liniową przy użyciu wielu maszyn do trenowania w określonych ustawieniach.
- Funkcjonalność: LightGBM oferuje szeroką gamę parametrów dostrajania, których można użyć do dostosowania systemu drzewa decyzyjnego. Funkcja LightGBM na platformie Spark obsługuje również nowe typy problemów, takich jak regresja kwantylu.
- Międzyplatformowa: aplikacja LightGBM na platformie Spark jest dostępna na platformie Spark, PySpark i SparklyR.
Użycie lightGBM
- LightGBMClassifier: używany do tworzenia modeli klasyfikacji. Aby na przykład przewidzieć, czy firma bankrutuje, czy nie, możemy utworzyć binarny model klasyfikacji za pomocą polecenia
LightGBMClassifier. - LightGBMRegressor: używany do tworzenia modeli regresji. Na przykład aby przewidzieć cenę mieszkań, możemy utworzyć model regresji za pomocą polecenia
LightGBMRegressor. - LightGBMRanker: służy do tworzenia modeli klasyfikacji. Aby na przykład przewidzieć istotność wyników wyszukiwania w witrynie internetowej, możemy utworzyć model klasyfikacji za pomocą polecenia
LightGBMRanker.