Databricks Runtime 5.0 ML (EoS)
Uwaga
Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).
Usługa Databricks wydała tę wersję w listopadzie 2018 r.
Środowisko Databricks Runtime 5.0 ML zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych. Zawiera wiele popularnych bibliotek, w tym TensorFlow, Keras i XGBoost. Obsługuje również rozproszone trenowanie Biblioteki TensorFlow przy użyciu struktury Horovod.
Aby uzyskać więcej informacji, w tym instrukcje dotyczące tworzenia klastra uczenia maszynowego usługi Databricks Runtime, zobacz Sztuczna inteligencja i uczenie maszynowe w usłudze Databricks.
Nowe funkcje
Środowisko Databricks Runtime 5.0 ML jest oparte na środowisku Databricks Runtime 5.0. Aby uzyskać informacje o nowościach w środowisku Databricks Runtime 5.0, zobacz informacje o wersji środowiska Databricks Runtime 5.0 (EoS). Oprócz nowych funkcji w środowisku Databricks Runtime 5.0 środowisko Databricks Runtime 5.0 ML obejmuje następujące nowe funkcje:
- HorovodRunner do uruchamiania rozproszonych zadań uczenia głębokiego przy użyciu struktury Horovod.
- Obsługa conda na potrzeby zarządzania pakietami.
- Integracja rozwiązania MLeap .
- Integracja z elementami GraphFrames .
Uwaga
Wersje środowiska Databricks Runtime ML pobierają wszystkie aktualizacje konserwacji do podstawowej wersji środowiska Databricks Runtime. Aby uzyskać listę wszystkich aktualizacji konserwacji, zobacz Aktualizacje konserwacji środowiska Databricks Runtime (zarchiwizowane).
Środowisko systemu
Różnica w środowisku systemowym w środowisku Databricks Runtime 5.0 i w środowisku Databricks Runtime 5.0 ML to:
- Python: 2.7.15 dla klastrów języka Python 2 i 3.6.5 dla klastrów języka Python 3.
- W przypadku klastrów gpu następujące biblioteki procesora GPU firmy NVIDIA:
- Kierowca Tesla 396.44
- CUDA 9.2
- CUDNN 7.2.1
Biblioteki
Różnice w bibliotekach zawartych w środowisku Databricks Runtime 5.0 i zawartych w środowisku Databricks Runtime 5.0 ML są wymienione w tej sekcji.
Biblioteki języka Python
Środowisko Databricks Runtime 5.0 ML używa narzędzia Conda do zarządzania pakietami języka Python. Poniżej znajduje się pełna lista udostępnionych pakietów i wersji języka Python zainstalowanych przy użyciu menedżera pakietów Conda.
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| absl-py | 0.6.1 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| Astor | 0.7.1 | backports-abc | 0.5 | backports.functools-lru-cache | 1.5 |
| backports.weakref | 1.0.post1 | bcrypt | 3.1.4 | wybielacz | 2.1.3 |
| boto | 2.48.0 | boto3 | 1.7.62 | botocore | 1.10.62 |
| certifi | 2018.04.16 | cffi | 1.11.5 | chardet | 3.0.4 |
| cloudpickle | 0.5.3 | colorama | 0.3.9 | configparser | 3.5.0 |
| kryptografia | 2.2.2 | rowerzysta | 0.10.0 | Cython | 0.28.2 |
| dekorator | 4.3.0 | docutils | 0,14 | punkty wejścia | 0.2.3 |
| enum34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsigs | 1.0.2 |
| functools32 | 3.2.3-2 | fusepy | 2.0.4 | Futures | 3.2.0 |
| Gast | 0.2.0 | grpcio | 1.12.1 | h5py | 2.8.0 |
| horovod | 0.15.0 | html5lib | 1.0.1 | idna | 2.6 |
| ipaddress | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | Jinja2 | 2.10 | jmespath | 0.9.3 |
| jsonschema | 2.6.0 | jupyter-client | 5.2.3 | jupyter-core | 4.4.0 |
| Keras | 2.2.4 | Keras-Applications | 1.0.6 | Przetwarzanie wstępne protokołu Keras | 1.0.5 |
| kiwisolver | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| lxml | 4.2.1 | Znaczniki języka Markdown | 3.0.1 | MarkupSafe | 1.0 |
| matplotlib | 2.2.2 | mistune | 0.8.3 | mleap | 0.8.1 |
| drwić | 2.0.0 | msgpack | 0.5.6 | nbconvert | 5.3.1 |
| nbformat | 4.4.0 | nos | 1.3.7 | wyklucz nos | 0.5.0 |
| numba | 0.38.0+0.g2a2b772fc.dirty | numpy | 1.14.3 | olefile | 0.45.1 |
| openpyxl | 2.5.3 | Pandas | 0.23.0 | pandocfilters | 1.4.2 |
| paramiko | 2.4.1 | pathlib2 | 2.3.2 | Patsy | 0.5.0 |
| pbr | 5.1.0 | pexpect | 4.5.0 | pickleshare | 0.7.4 |
| Poduszka | 5.1.0 | 10.0.1 | warstwa | 3.11 | |
| prompt-toolkit | 1.0.15 | protobuf | 3.6.1 | psycopg2 | 2.7.5 |
| ptyprocess | 0.5.2 | pyarrow | 0.8.0 | pyasn1 | 0.4.4 |
| pycparser | 2.18 | Pygments | 2.2.0 | PyNaCl | 1.3.0 |
| pyOpenSSL | 18.0.0 | pyparsing | 2.2.0 | PySocks | 1.6.8 |
| Python | 2.7.15 | python-dateutil | 2.7.3 | pytz | 2018.4 |
| PyYAML | 3.12 | pyzmq | 17.0.0 | żądania | 2.18.4 |
| s3transfer | 0.1.13 | scandir | 1,7 | scikit-learn | 0.19.1 |
| scipy | 1.1.0 | seaborn | 0.8.1 | setuptools | 39.1.0 |
| simplegeneric | 0.8.1 | singledispatch | 3.4.0.3 | Sześć | 1.11.0 |
| statsmodels | 0.9.0 | podprocesy32 | 3.5.3 | tablica tensorboard | 1.10.0 |
| tensorflow | 1.10.0 | termcolor | 1.1.0 | ścieżka testowa | 0.3.1 |
| tornado | 5.0.2 | traceback2 | 1.4.0 | traitlety | 4.3.2 |
| unittest2 | 1.1.0 | urllib3 | 1.22 | virtualenv | 16.0.0 |
| wcwidth | 0.1.7 | webencodings | 0.5.1 | Werkzeug | 0.14.1 |
| koło | 0.31.1 | zawijanie | 1.10.11 | wsgiref | 0.1.2 |
Ponadto następujące pakiety platformy Spark obejmują moduły języka Python:
| Pakiet Platformy Spark | Moduł języka Python | Wersja |
|---|---|---|
| ramki tensorframe | ramki tensorframe | 0.5.0-s_2.11 |
| ramki grafu | ramki grafu | 0.6.0-db3-spark2.4 |
| uczenie głębokie spark | sparkdl | 1.3.0-db2-spark2.4 |
Biblioteki R
Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 5.0.
Biblioteki Java i Scala (klaster Scala 2.11)
Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 5.0 środowisko Databricks Runtime 5.0 ML zawiera następujące jednostki JAR:
| Identyfikator grupy | Identyfikator artefaktu | Wersja |
|---|---|---|
| com.databricks | uczenie głębokie spark | 1.3.0-db2-spark2.4 |
| org.tensorframes | ramki tensorframe | 0.5.0-s_2.11 |
| org.graphframes | graphframes_2.11 | 0.6.0-db3-spark2.4 |
| org.tensorflow | libtensorflow | 1.10.0 |
| org.tensorflow | libtensorflow_jni | 1.10.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.10.0-spark2.4-001 |
| org.tensorflow | tensorflow | 1.10.0 |
| ml.dmlc | xgboost4j | 0.80 |
| ml.dmlc | xgboost4j-spark | 0.80 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0-SNAPSHOT |