У меня есть фрейм данных с полем метки времени - RECEIPTDATEREQUESTED:метка времени По какой-то причине есть даты, которые меньше 1900-01-01. Я не хочу этого, то, что я хочу сделать, - это для каждого значения в столбце фрейма данных, в котором запрашивается КВИТАНЦИЯ Я пробовал несколько способов сделать это, но, похоже, должно существовать что-то более простое. Я думал, что что-то подобное может сработать, но
import datetime
def testdate(date_value):
oldest = datetime.datetime.strptime('1900-01-01 00:00:00', '%Y-%m-%d')
try:
if (date_value < oldest):
return oldest
else:
return date_value
except ValueError:
return oldest
udf_testdate = udf(lambda x:testdate(x),TimestampType())
bdf = olddf.withColumn("RECEIPTDATEREQUESTED",udf_testdate(col("RECEIPTDATEREQUESTED")))