Ficheiros de texto
Você pode processar arquivos com a text opção de formato para analisar cada linha em qualquer arquivo baseado em texto como uma linha em um DataFrame. Isso pode ser útil para várias operações, incluindo análise de log. Também pode ser útil se você precisar ingerir dados CSV ou JSON como cadeias de caracteres brutas.
Para obter mais informações, consulte arquivos de texto.
Opções
Consulte os seguintes artigos de referência do Apache Spark para obter as opções de leitura e gravação suportadas.