Dados de segurança de São Francisco

Chamadas de serviço ao corpo de bombeiros e casos do 311 em São Francisco.

Observação

A Microsoft fornece o Azure Open Datasets no estado em que se encontra. A Microsoft não oferece garantias nem coberturas, expressas ou implícitas, em relação ao uso dos conjuntos de dados. Até o limite permitido pela legislação local, a Microsoft se exime de toda a obrigação por danos ou perdas, inclusive diretos, consequentes, especiais, indiretos, acidentais ou punitivos, resultantes do uso dos conjuntos de dados.

Esse conjunto de dados é fornecido de acordo com os termos originais com que a Microsoft recebeu os dados de origem. O conjunto de dados pode incluir dados originados da Microsoft.

As chamadas ao serviço de bombeiros incluem todas as respostas das unidades de incêndio às chamadas. Cada registro inclui o número da chamada, o número do incidente, o endereço, o identificador da unidade, o tipo de chamada e a disposição. Todos os intervalos de tempo relevantes também são incluídos. Como este conjunto de dados se baseia nas respostas e como a maioria das chamadas envolve várias unidades, há diversos registros para cada número de chamada. Os endereços são associados a um número de um quarteirão, intersecção ou cabine telefônica, e não a um endereço específico.

Os casos do 311 geralmente estão associados a um local ou a um objeto (por exemplo, parques, ruas ou edifícios) e foram criados após 1º de julho de 2008. Os casos que forem registrados por um usuário sobre suas próprias necessidades serão excluídos. Por exemplo, perguntas sobre impostos imobiliários ou comerciais, solicitações de permissão de estacionamento e assim por diante. Para obter mais informações, confira o Link do programa.

Volume e retenção

Este conjunto de dados está armazenado no formato Parquet. É atualizado diariamente com cerca de 6 milhões de linhas (400 MB) desde 2019.

Este conjunto de dados contém registros históricos acumulados de 2015 até o presente. Você pode usar as configurações de parâmetro no nosso SDK para buscar dados em um intervalo de tempo específico.

Local de armazenamento

Este conjunto de dados está armazenado na região Leste dos EUA do Azure. É recomendável alocar recursos de computação no Leste dos EUA para afinidade.

Conjuntos de dados relacionados

• Chamadas do Corpo de bombeiros
• 311 casos

Colunas

Nome	Tipo de dados	Exclusivo	Valores (exemplo)	Descrição
address	string	280,652	Não associado a um endereço específico do Quarteirão 0 da Rua 6	Endereço do incidente (observação, endereço e localização generalizados para metade do quarteirão da rua, intersecção ou cabine telefônica mais próxima, para proteger a privacidade do autor da chamada).
category	string	108	Limpeza de rua e da calçada potencialmente gerando riscos à vida	O nome legível por humanos do tipo da solicitação de serviço do 311 ou o grupo de tipos de chamadas à central de emergência para casos de incêndio.
dataSubtype	string	2	911_Fire 311_All	"911_Fire" ou "311_All".
dataType	string	1	Segurança	“Segurança”
dateTime	timestamp	6,496,563	2020-10-19 12:28:08 2020-07-28 06:40:26	A data e a hora em que a solicitação de serviço foi feita ou quando a chamada aos bombeiros foi recebida.
latitude	double	1,615,369	37.777624238929 37.786117211838	Latitude da localização, usando a projeção WGS84.
longitude	double	1,554,612	-122.39998111124 -122.419854245692	Longitude da localização, usando a projeção WGS84.
source	string	9	Celular/Open311	Mecanismo ou caminho pelo qual a solicitação de serviço foi recebida. Normalmente, "Telefone", "Mensagem de Texto/SMS", "Site", "Aplicativo Móvel", "X" etc., mas os termos podem variar de acordo com o sistema.
status	string	3	Fechado Aberto	Indicador de única palavra do estado atual da solicitação de serviço. (Observação: o GeoReport V2 permite somente "aberto" e "fechado")
subcategory	string	1\.270	Itens em massa de incidentes médicos	O nome legível por humanos do subtipo da solicitação de serviço para casos do 311 ou tipo de chamada ao 911 para casos de incêndio.

Versão Prévia

dataType	dataSubtype	dateTime	category	subcategory	status	address	latitude	longitude	source	extendedProperties
Segurança	911_Fire	4/26/2021 2:56:13 AM	Sem ameaças à vida	Incidentes médicos	nulo	Quarteirão 700 da RUA GEARY	37.7863607914647	-122.415616900246	nulo
Segurança	911_Fire	4/26/2021 2:56:13 AM	Sem ameaças à vida	Incidentes médicos	nulo	Quarteirão 700 da RUA GEARY	37.7863607914647	-122.415616900246	nulo
Segurança	911_Fire	4/26/2021 2:54:03 AM	Sem ameaças à vida	Incidentes médicos	nulo	Quarteirão 0 da RUA ESSEX	37.7860048266229	-122.395077258809	nulo
Segurança	911_Fire	4/26/2021 2:54:03 AM	Sem ameaças à vida	Incidentes médicos	nulo	Quarteirão 0 da RUA ESSEX	37.7860048266229	-122.395077258809	nulo
Segurança	911_Fire	4/26/2021 2:52:17 AM	Sem ameaças à vida	Incidentes médicos	nulo	Quarteirão 700 da 29ª AV	37.7751770865322	-122.488604397217	nulo
Segurança	911_Fire	4/26/2021 2:50:28 AM	Potencialmente com riscos à vida	Incidentes médicos	nulo	Quarteirão 1000 da RUA GEARY	37.7857350982044	-122.420555240691	nulo
Segurança	911_Fire	4/26/2021 2:50:28 AM	Potencialmente com riscos à vida	Incidentes médicos	nulo	Quarteirão 1000 da RUA GEARY	37.7857350982044	-122.420555240691	nulo
Segurança	911_Fire	4/26/2021 2:33:52 AM	Sem ameaças à vida	Incidentes médicos	nulo	Quarteirão 100 da RUA BELVEDERE	37.767791696654	-122.449332294394	nulo
Segurança	911_Fire	4/26/2021 2:33:52 AM	Sem ameaças à vida	Incidentes médicos	nulo	Quarteirão 100 da RUA BELVEDERE	37.767791696654	-122.449332294394	nulo
Segurança	911_Fire	4/26/2021 2:33:51 AM	Potencialmente com riscos à vida	Incidentes médicos	nulo	Quarteirão 100 da 6ª Rua	37.7807920802756	-122.408385745499	nulo

Acesso de dados

Azure Notebooks

azureml-opendatasets

# This is a package in preview.
from azureml.opendatasets import NycSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = NycSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()

safety.info()

azure-storage

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=NewYorkCity"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

pyspark

Exemplo não disponível para essa combinação de plataforma/pacote.

Azure Databricks

azureml-opendatasets

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import NycSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = NycSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety.limit(5))

azure-storage

Exemplo não disponível para essa combinação de plataforma/pacote.

pyspark

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=NewYorkCity"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

azureml-opendatasets

# This is a package in preview.
from azureml.opendatasets import NycSafety

from datetime import datetime
from dateutil import parser

end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = NycSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

# Display top 5 rows
display(safety.limit(5))

azure-storage

Exemplo não disponível para essa combinação de plataforma/pacote.

pyspark

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=NewYorkCity"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Exemplos

• Consulte o exemplo de Análise de segurança de cidade no GitHub.

Próximas etapas

Exiba o restante dos conjuntos de dados no catálogo do Open Datasets.