Скрипт Bash для параллельного выполнения команды AWS Cli, чтобы сократить время

Question 1

извините, я все еще новичок в написании сценариев bash. У меня около 10000 экземпляров EC2, я создал этот скрипт bash для изменения типа экземпляра EC2, все имя и тип экземпляра хранятся в файле. код работает, но для его выполнения требуется так много времени, экземпляр за экземпляром.

кто-нибудь знает, могу ли я запустить команду AWS Cli на всех экземплярах EC2 за один раз ? Спасибо :)

#!/bin/bash

my_file='test.txt'

declare -a instanceID
declare -a fmo #Future Instance Size

while IFS=, read -r COL1 COL2; do

   instanceID+=("$COL1")
   fmo+=("$COL2")   

done <"$my_file"

len=${#instanceID[@]}

for (( i=0; i < $len; i++)); do

   vm_instance_id="${instanceID[$i]}"
   vm_type="${fmo[$i]}"

   echo Stoping $vm_instance_id
   aws ec2 stop-instances --instance-ids $vm_instance_id

   echo " Waiting for $vm_instance_id state to be STOP "
   aws ec2 wait instance-stopped --instance-ids $vm_instance_id


   echo Resizing $vm_instance_id to $vm_type 
   aws ec2 modify-instance-attribute --instance-id $vm_instance_id --instance-type $vm_type
   


   echo Starting $vm_instance_id 
   aws ec2 start-instances --instance-ids $vm_instance_id
    

done

Question 2

Преобразуйте свой код в функцию, которой передается строка из файла.

work() {
   IFS=, read -r instanceID fmo <<<"$1"
   stuff "$instanceID" "$fmo"
}

Запустите GNU xargs или GNU parallel для каждой строки файла, вызывающей экспортируемую функцию. Воспользуйся -P опция запустите функцию в paralell, см. документацию.

export -f work
xargs -P0 -t bash -c 'work "$@"' -- <"$my_file"

Question 3

Как указал здесь @KamilCuk, вы можете легко выполнить это параллельно. Однако, если вы запустите этот сценарий параллельно, вы можете в конечном итоге получить ограничение EC2, поэтому убедитесь, что вы включили некоторую логику отступления + повторной попытки / соблюдаете ограничения, указанные здесь https://docs.aws.amazon.com/AWSEC2/latest/APIReference/throttling.html

KamilCuk · Answer 1 · 2021-11-23T10:03:16

Преобразуйте свой код в функцию, которой передается строка из файла.

work() {
   IFS=, read -r instanceID fmo <<<"$1"
   stuff "$instanceID" "$fmo"
}

Запустите GNU xargs или GNU parallel для каждой строки файла, вызывающей экспортируемую функцию. Воспользуйся -P опция запустите функцию в paralell, см. документацию.

export -f work
xargs -P0 -t bash -c 'work "$@"' -- <"$my_file"

Praveen Sastry · Answer 2 · 2021-11-25T06:11:48

Как указал здесь @KamilCuk, вы можете легко выполнить это параллельно. Однако, если вы запустите этот сценарий параллельно, вы можете в конечном итоге получить ограничение EC2, поэтому убедитесь, что вы включили некоторую логику отступления + повторной попытки / соблюдаете ограничения, указанные здесь https://docs.aws.amazon.com/AWSEC2/latest/APIReference/throttling.html

Скрипт Bash для параллельного выполнения команды AWS Cli, чтобы сократить время

Вопрос

Лучший ответ

На других языках

Эта страница на других языках

Популярное в этой категории

Популярные вопросы в этой категории