Dane dotyczące bezpieczeństwa w Nowym Jorku

Artykuł
09/01/2024

Wszystkie zgłoszenia na numer 311 w Nowym Jorku od roku 2010.

Uwaga

Firma Microsoft udostępnia zestawy danych Platformy Azure open na zasadzie "tak, jak to jest". Firma Microsoft nie udziela żadnych gwarancji, wyraźnych lub domniemanych, gwarancji ani warunków w odniesieniu do korzystania z zestawów danych. W zakresie dozwolonym zgodnie z prawem lokalnym firma Microsoft nie ponosi odpowiedzialności za wszelkie szkody lub straty, w tym bezpośrednie, wtórne, specjalne, pośrednie, przypadkowe lub karne wynikające z korzystania z zestawów danych.

Zestaw danych jest udostępniany zgodnie z pierwotnymi warunkami, na jakich firma Microsoft otrzymała dane źródłowe. Zestaw danych może zawierać dane pozyskane z firmy Microsoft.

Wolumin i przechowywanie

Ten zestaw danych jest przechowywany w formacie Parquet. Jest aktualizowany codziennie i zawiera łącznie około 12 mln wierszy (500 MB) od 2019 roku.

Ten zestaw danych zawiera historyczne rekordy od roku 2010. Aby pobrać dane z konkretnego przedziału czasowego, należy użyć ustawień parametrów w zestawie SDK.

Lokalizacja usługi Storage

Ten zestaw danych jest przechowywany w regionie platformy Azure Wschodnie stany USA. Zalecamy przydzielanie zasobów obliczeniowych w regionie Wschodnie stany USA z uwagi na koligację.

Dodatkowe informacje

Ten zestaw danych pochodzi z rządu Nowego Jorku, aby uzyskać więcej informacji, zobacz stronę internetową Miasta Nowego Jorku. Zobacz terminy tego zestawu danych.

Kolumny

Nazwisko	Typ danych	Unikatowe	Wartości (przykładowe)	opis
adres	string	1,536,593	655 EAST 230 STREET 78-15 PARSONS BOULEVARD	Numer domu z adresu zdarzenia podanego przez zgłaszającego.
category	string	446	Hałas - Ciepło mieszkalne/GORĄCA WODA	Jest to pierwszy poziom hierarchii identyfikujący temat zdarzenia lub warunku (typ skargi). Może być używany autonomicznie lub z odpowiednią podkategorią (deskryptorem).
dataSubtype	string	1	311_All	"311_All"
Datatype	string	1	Bezpieczeństwo	"Bezpieczeństwo"
Data i godzina	timestamp	17,332,609	2013-01-24 00:00:00 2015-01-08 00:00:00	Data utworzenia zgłoszenia.
latitude	double	1,513,691	40.89187241649303 40.72195913199264	Szerokość geograficzna miejsca zdarzenia na podstawie danych geograficznych.
długość geograficzna	double	1,513,713	-73.86016845296459 -73.80969682426189	Długość geograficzna miejsca zdarzenia na podstawie danych geograficznych.
status	string	13	Zamknięte oczekujące	Stan przesłanego zgłoszenia.
Podkategorii	string	1,716	Głośna muzyka /IMPREZA CAŁY BUDYNEK	Jest to związane z kategorią (Typ skargi) i udostępnia bardziej szczegółowe informacje na temat zdarzenia lub sytuacji. Wartości zależą od typu skargi i nie są zawsze wymagane podczas przesyłania zgłoszenia.

Podgląd

Datatype	dataSubtype	Data i godzina	category	Podkategorii	status	adres	latitude	długość geograficzna	source
Bezpieczeństwo	311_All	25.04.2021 2:05:05	Hałas - Ulica/Chodnik	Głośna muzyka/impreza	W toku	2766 BATH AVENUE	40.5906129741766	-73.9847949011337	null
Bezpieczeństwo	311_All	25.04.2021 2:04:33	Hałas — komercyjna	Głośna muzyka/impreza	W toku	1033 WEBSTER AVENUE	40.8285784533256	-73.9117746958432	null
Bezpieczeństwo	311_All	25.04.2021 2:04:27	Hałas - Mieszkanie	Głośna muzyka/impreza	W toku	620 WEST 141 STREET	40.8241726554395	-73.9530069547366	null
Bezpieczeństwo	311_All	25.04.2021 2:04:04	Hałas - Mieszkanie	Głośna muzyka/impreza	W toku	1647 64 STREET	40.6218907202382	-73.9931125332078	null
Bezpieczeństwo	311_All	25.04.2021 2:04:01	Hałas - Mieszkanie	Głośna muzyka/impreza	W toku	30 LENOX AVENUE	40.7991622274945	-73.9517496365803	null
Bezpieczeństwo	311_All	25.04.2021 2:03:40	Nielegalny parking	Dwukrotnie zaparkowany ruch blokujący	W toku	304 WEST 148 STREET	40.8248229687124	-73.940696262361	null
Bezpieczeństwo	311_All	25.04.2021 2:03:31	Hałas - Ulica/Chodnik	Głośna muzyka/impreza	W toku	ADEE AVENUE	40.8708386263454	-73.8382363208686	null
Bezpieczeństwo	311_All	25.04.2021 2:03:18	Hałas - Mieszkanie	Głośna muzyka/impreza	W toku	340 EVERGREEN AVENUE	40.6947512704197	-73.9248330229197	null
Bezpieczeństwo	311_All	25.04.2021 2:03:13	Hałas - Mieszkanie	/	W toku	25 REMSEN STREET	40.6948938116483	-73.9973494607802	null

Dostęp do danych

Azure Notebooks

# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()

safety.info()

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=SanFrancisco"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

Azure Databricks

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

# Display top 5 rows
display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Przykłady

Zobacz przykład analizy bezpieczeństwa miasta w witrynie GitHub.

Następne kroki

Wyświetl pozostałe zestawy danych w katalogu Open Datasets (Otwieranie zestawów danych).

Udostępnij za pośrednictwem