Επισκόπηση του LightGBM στο SynapseML
Το LightGBM είναι ένα πλαίσιο ενίσχυσης διαβάθμισης υψηλής απόδοσης (GBDT, GBRT, GBM ή MART) ανοιχτού κώδικα. Αυτό το πλαίσιο ειδικεύεται στη δημιουργία tree tree αλγορίθμων αποφάσεων υψηλής ποιότητας και με δυνατότητα GPU για κατάταξη, ταξινόμηση και πολλές άλλες εργασίες εκμάθησης μηχανής. Το LightGBM είναι μέρος του έργου DMTK της Microsoft.
Πλεονεκτήματα του LightGBM
- Δυνατότητα σύνθεσης: Τα μοντέλα LightGBM μπορούν να ενσωματωθούν σε υπάρχουσες διοχετεύσεις SparkML και να χρησιμοποιηθούν για φόρτους εργασίας δέσμης, ροής και εξυπηρέτησης.
- Επιδόσεις: Το LightGBM στο Spark είναι 10-30% ταχύτερο από το SparkML στο σύνολο δεδομένων Higgs και επιτυγχάνει αύξηση 15% στο AUC. Τα παράλληλα πειράματα έχουν επαληθεύσει ότι το LightGBM μπορεί να επιτύχει γραμμική επιτάχυνση χρησιμοποιώντας πολλούς υπολογιστές για εκπαίδευση σε συγκεκριμένες ρυθμίσεις.
- Λειτουργικότητα: Η LightGBM προσφέρει μια ευρεία γκάμα παραμέτρων με δυνατότητα ρύθμισης, τις οποία μπορεί κανείς να χρησιμοποιήσει για να προσαρμόσει το σύστημα δέντρου αποφάσεων. Το LightGBM στο Spark υποστηρίζει επίσης νέους τύπους προβλημάτων, όπως ποσοτική παλινδρόμηση.
- Διασταυρούμενη πλατφόρμα: Το LightGBM στο Spark είναι διαθέσιμο στα Spark, PySpark και SparklyR.
Χρήση LightGBM
- LightGBMClassifier: χρησιμοποιείται για τη δημιουργία μοντέλων ταξινόμησης. Για παράδειγμα, για να προβλέψουμε εάν μια εταιρεία έχει χρεοκοπήσει ή όχι, θα μπορούσαμε να δημιουργήσουμε ένα μοντέλο δυαδικής ταξινόμησης με
LightGBMClassifierτο . - LightGBMRegressor: χρησιμοποιείται για τη δημιουργία μοντέλων παλινδρόμησης. Για παράδειγμα, για να προβλέψουμε την τιμή κατοικίας, θα μπορούσαμε να δημιουργήσουμε ένα μοντέλο παλινδρόμησης με
LightGBMRegressor. - LightGBMRanker: χρησιμοποιείται για τη δημιουργία μοντέλων κατάταξης. Για παράδειγμα, για να προβλέψουμε τη συνάφεια των αποτελεσμάτων αναζήτησης στην τοποθεσία Web, θα μπορούσαμε να δημιουργήσουμε ένα μοντέλο κατάταξης με
LightGBMRankerτο .