Объект Pandas-перечисляет серию данных по времени в индекс времени

0

Вопрос

Я использую параметр fields в API python-elasticsearch для извлечения некоторых данных из elasticsearch, пытаясь проанализировать метку @timestamp в формате iso для использования в фрейме данных pandas.

fields = \
    [{
      "field": "@timestamp",
      "format": "strict_date_optional_time"
    }]

По умолчанию elasticsearch возвращает результаты в формате списка массивов, как показано в документе doc:

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-fields.html

The fields response always returns an array of values for each field, even when there is a single value in the _source. 

Из-за этого результирующий фрейм данных содержит серию списков объектов, которые не могут быть проанализированы в серию данных времени обычными методами.

Name: fields.@timestamp, Length: 18707, dtype: object
0       [2021-11-04T01:30:00.263Z]
1       [2021-11-04T01:30:00.385Z]
2       [2021-11-04T01:30:00.406Z]
3       [2021-11-04T01:30:00.996Z]
4       [2021-11-04T01:30:01.001Z]
                   ...            
8368    [2021-11-04T02:00:00.846Z]
8369    [2021-11-04T02:00:00.894Z]
8370    [2021-11-04T02:00:00.895Z]
8371    [2021-11-04T02:00:00.984Z]
8372    [2021-11-04T02:00:00.988Z]

При попытке проанализировать серию в серию datetime:

pd.to_datetime(["fields.@timestamp"])

Это приводит к:

TypeError: <class 'list'> is not convertible to datetime

В моем случае использования требуется множество форматов даты и времени, а параметр поля очень хорошо подходит для запроса нескольких форматов, но строка даты и времени объекта в списке усложняет задачу.

dataframe datetime elasticsearch pandas
2021-11-18 16:37:23
1

Лучший ответ

1

Проблема здесь в том, что элементы fields.@timestamp на самом деле это списки.

Так что вы могли бы :

fields['timestamp'] = fields['timestamp'].str[0]

чтобы извлечь дату из списка, а затем используйте pd.to_datetime :

fields['timestamp'] = pd.to_datetime(fields['timestamp'])
2021-11-18 17:01:03

На других языках

Эта страница на других языках

Italiano
..................................................................................................................
Polski
..................................................................................................................
Română
..................................................................................................................
한국어
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Česk
..................................................................................................................
Português
..................................................................................................................
ไทย
..................................................................................................................
中文
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................