Я использую параметр fields в API python-elasticsearch для извлечения некоторых данных из elasticsearch, пытаясь проанализировать метку @timestamp в формате iso для использования в фрейме данных pandas.
fields = \
[{
"field": "@timestamp",
"format": "strict_date_optional_time"
}]
По умолчанию elasticsearch возвращает результаты в формате списка массивов, как показано в документе doc:
https://www.elastic.co/guide/en/elasticsearch/reference/current/search-fields.html
The fields response always returns an array of values for each field, even when there is a single value in the _source.
Из-за этого результирующий фрейм данных содержит серию списков объектов, которые не могут быть проанализированы в серию данных времени обычными методами.
Name: fields.@timestamp, Length: 18707, dtype: object
0 [2021-11-04T01:30:00.263Z]
1 [2021-11-04T01:30:00.385Z]
2 [2021-11-04T01:30:00.406Z]
3 [2021-11-04T01:30:00.996Z]
4 [2021-11-04T01:30:01.001Z]
...
8368 [2021-11-04T02:00:00.846Z]
8369 [2021-11-04T02:00:00.894Z]
8370 [2021-11-04T02:00:00.895Z]
8371 [2021-11-04T02:00:00.984Z]
8372 [2021-11-04T02:00:00.988Z]
При попытке проанализировать серию в серию datetime:
pd.to_datetime(["fields.@timestamp"])
Это приводит к:
TypeError: <class 'list'> is not convertible to datetime
В моем случае использования требуется множество форматов даты и времени, а параметр поля очень хорошо подходит для запроса нескольких форматов, но строка даты и времени объекта в списке усложняет задачу.