Давайте предположим, что у меня есть 500 тыс. журналов за последние 15 минут, что было бы лучше для производительности моего эластичного стека
Что помогает улучшить производительность моей панели мониторинга, может ли кто-нибудь мне помочь ?
tldr использует ILM для управления этим для вас и устанавливает размер фрагмента где-то между 30-50 ГБ, и пусть он управляет всем этим для вас
более длинный ответ заключается в том, что проблема не в индексах, а в осколках
например, если вы используете 10 индексов с 1 основным и 1 сегментом реплики, и эти 500 ТЫСЯЧ событий составляют 500 МБ, то у вас есть 20 сегментов с 25 МБ данных в них. ресурсы - куча, процессор, - необходимые Elasticsearch для управления ими, такие же, как если бы у вас был один и тот же сегмент и количество индексов, но с 50 ГБ данных в каждом сегменте
рекомендуемый размер сегментов составляет 30-50 ГБ, но это зависит от варианта использования и множества других факторов, таких как размер кластера, SLA запросов и индексирования и многое другое. для большинства случаев использования журналов 50 ГБ-это хороший баланс между плотностью и оперативностью
Официальный сайт предлагает ориентироваться на размеры фрагментов от 10 до 50 ГБ.журналы объемом 500 тыс. просто используют индекс(достаточно 1 фрагмента).Вы можете прочитать следующую статью.
https://www.elastic.co/guide/en/elasticsearch/reference/current/size-your-shards.html#shard-size-recommendation