Проблема при попытке прочитать текстовый файл в базах данных с использованием API локальных файлов, а не API Spark

Question 1

Я пытаюсь прочитать небольшой txt-файл, который добавляется в виде таблицы в базу данных по умолчанию в Databricks. При попытке прочитать файл через локальный файловый API я получаю FileNotFoundError, но я могу прочитать тот же файл, что и Spark RDD, используя SparkContext.

Пожалуйста, найдите код ниже:

with open("/FileStore/tables/boringwords.txt", "r") as f_read:
  for line in f_read:
    print(line)

Это дает мне ошибку:

FileNotFoundError                         Traceback (most recent call last)
<command-2618449717515592> in <module>
----> 1 with open("dbfs:/FileStore/tables/boringwords.txt", "r") as f_read:
      2   for line in f_read:
      3     print(line)

FileNotFoundError: [Errno 2] No such file or directory: 'dbfs:/FileStore/tables/boringwords.txt'

Где как, у меня нет проблем с чтением файла с помощью SparkContext:

boring_words = sc.textFile("/FileStore/tables/boringwords.txt")
set(i.strip() for i in boring_words.collect())

И, как и ожидалось, я получаю результат для приведенного выше блока кода:

Out[4]: {'mad',
 'mobile',
 'filename',
 'circle',
 'cookies',
 'immigration',
 'anticipated',
 'editorials',
 'review'}

Я также ссылался на документацию DBFS здесь, чтобы понять ограничения локального файлового API, но не имел представления об этой проблеме. Любая помощь будет очень признательна. Спасибо!

Question 2

Проблема в том, что вы используете open функция, которая работает только с локальными файлами и ничего не знает о DBFS или других файловых системах. Чтобы это сработало, вам необходимо использовать API локальных файлов DBFS и добавить /dbfs префикс пути к файлу: /dbfs/FileStore/....:

with open("/dbfs/FileStore/tables/boringwords.txt", "r") as f_read:
  for line in f_read:
    print(line)

Question 3

В качестве альтернативы вы можете просто использовать встроенный метод csv:

df = spark.read.csv("dbfs:/FileStore/tables/boringwords.txt")

Question 4

В качестве альтернативы мы можем использовать dbutils

files = dbutils.fs.ls('/FileStore/tables/')
li = []
for fi in files: 
  print(fi.path)

Пример ,

Alex Ott · Answer 1 · 2021-11-24T07:56:14

Проблема в том, что вы используете open функция, которая работает только с локальными файлами и ничего не знает о DBFS или других файловых системах. Чтобы это сработало, вам необходимо использовать API локальных файлов DBFS и добавить /dbfs префикс пути к файлу: /dbfs/FileStore/....:

with open("/dbfs/FileStore/tables/boringwords.txt", "r") as f_read:
  for line in f_read:
    print(line)

Luiz Viola · Answer 2 · 2021-11-24T08:51:27

В качестве альтернативы вы можете просто использовать встроенный метод csv:

df = spark.read.csv("dbfs:/FileStore/tables/boringwords.txt")

Karthikeyan Rasipalay Durairaj · Answer 3 · 2021-11-24T18:26:17

В качестве альтернативы мы можем использовать dbutils

files = dbutils.fs.ls('/FileStore/tables/')
li = []
for fi in files: 
  print(fi.path)

Пример ,

Проблема при попытке прочитать текстовый файл в базах данных с использованием API локальных файлов, а не API Spark

Вопрос

На других языках

Эта страница на других языках

Популярное в этой категории

Популярные вопросы в этой категории