Извлекайте данные, используя имена столбцов, сохраненные в виде значений в столбце в пределах одного и того же фрейма данных pyspark

Question 1

У меня есть большой набор данных, аналогичный приведенному ниже примеру :

ID	код	изучать	сумма	COL_NAME
111	5611	ABCD	56.17	ID
211	5411	GFED	451.1	сумма
311	3212	YTRA	687.3	изучать

Я хочу заполнить значения столбцов, хранящихся в col_name, в столбце(COL_VAL) в том же фрейме данных, что и ниже :

ID	код	изучать	сумма	COL_NAME	ЗНАЧЕНИЕ COL_VALUE
111	5611	ABCD	56.17	ID	111
211	5411	GFED	451.1	сумма	451.1
311	3212	YTRA	687.3	изучать	YTRA

Я использую цикл и .collect() для заполнения значений, но это занимает много времени. Хотелось бы знать эффективные способы сделать то же самое для большого набора данных.

Question 2

Вы можете использоватьwhen для достижения этой цели.

from pyspark.sql import functions as F

data = [(111, 5611, "ABCD", 56.17, "ID",),
(211, 5411, "GFED", 451.1, "AMOUNT",),
(311, 3212, "YTRA", 687.3, "STUDY",),]

df = spark.createDataFrame(data, ("ID", "CODE", "STUDY", "AMOUNT","COL_NAME"))

def derive_column_value():
    condition = F
    for possible_value in df.columns:
        condition = condition.when(F.col("COL_NAME") == possible_value, F.col(possible_value))
    return condition

df.withColumn("COL_VALUE", derive_column_value()).show()

Выход

+---+----+-----+------+--------+---------+
| ID|CODE|STUDY|AMOUNT|COL_NAME|COL_VALUE|
+---+----+-----+------+--------+---------+
|111|5611| ABCD| 56.17|      ID|      111|
|211|5411| GFED| 451.1|  AMOUNT|    451.1|
|311|3212| YTRA| 687.3|   STUDY|     YTRA|
+---+----+-----+------+--------+---------+

Nithish · Answer 1 · 2021-11-23T17:41:06

Вы можете использоватьwhen для достижения этой цели.

from pyspark.sql import functions as F

data = [(111, 5611, "ABCD", 56.17, "ID",),
(211, 5411, "GFED", 451.1, "AMOUNT",),
(311, 3212, "YTRA", 687.3, "STUDY",),]

df = spark.createDataFrame(data, ("ID", "CODE", "STUDY", "AMOUNT","COL_NAME"))

def derive_column_value():
    condition = F
    for possible_value in df.columns:
        condition = condition.when(F.col("COL_NAME") == possible_value, F.col(possible_value))
    return condition

df.withColumn("COL_VALUE", derive_column_value()).show()

Выход

+---+----+-----+------+--------+---------+
| ID|CODE|STUDY|AMOUNT|COL_NAME|COL_VALUE|
+---+----+-----+------+--------+---------+
|111|5611| ABCD| 56.17|      ID|      111|
|211|5411| GFED| 451.1|  AMOUNT|    451.1|
|311|3212| YTRA| 687.3|   STUDY|     YTRA|
+---+----+-----+------+--------+---------+

Извлекайте данные, используя имена столбцов, сохраненные в виде значений в столбце в пределах одного и того же фрейма данных pyspark

Вопрос

Лучший ответ

Выход

На других языках

Эта страница на других языках

Популярное в этой категории

Популярные вопросы в этой категории