Поместите все файлы Amazon S3 в корзину в пределах обещания

Question 1

Я пытаюсь захватить тысячи файлов из Amazon S3 в рамках обещания, но, похоже, не могу понять, как включить продолжение, если список усечен, и собрать все это вместе в рамках обещания. Я новичок в JS и мог бы воспользоваться некоторой помощью. Вот что у меня есть на данный момент:

getFiles()
    .then(filterFiles)
    .then(mapUrls)
;

function getFiles(token) {
    var params = {
        Bucket: bucket,
        MaxKeys: 5000,
        ContinuationToken: token
    };
    var allKeys = [];

    var p = new Promise(function(resolve, reject){
    s3.listObjectsV2(params, function(err, data) {
      if (err) { 
        return reject(err);
      }
      allKeys.push(data.Contents)
      if (data.IsTruncated) {
        s3.listObjectsV2({Bucket: bucket, MaxKeys: 5000, ContinuationToken: data.NextContinuationToken})
        console.log('Getting more images...');
        allKeys.push(data.Contents)
      }
      resolve(data.Contents);
    });
  });

  return p;
}

Мне нужно, чтобы функция продолжала работать до тех пор, пока я не создам список всех объектов в корзине для возврата.

Question 2

Вам нужно продолжить только во второй раз.

var params = {
    Bucket: bucket,
    MaxKeys: 5000,
};

if (data.IsTruncated) {
    s3.listObjectsV2({...params, ContinuationToken: data.NextContinuationToken})

ИМО, это просто функция s3, вызываемая дважды, больше похожая на вложенный вызов. Рекурсия-это когда функция продолжает вызывать саму себя до тех пор, пока не будет выполнено указанное условие.

Подробнее о рекурсии читайте: https://medium.com/@vickdayaram/recursion-caad288bf621

Question 3

Я смог перечислить все объекты в корзине, используя async/await и приведенный ниже код для заполнения массива.

async function getFiles(objects = []) {
    const response = await s3.listObjectsV2(params).promise();
    response.Contents.forEach(obj => filelist.push(obj.Key));
    if (response.NextContinuationToken) {
        params.ContinuationToken = response.NextContinuationToken;
        await getFiles(params, objects);
    }
    console.log(filelist.length)
    return filelist;
}

Спасибо всем, кто помогал!

sid · Answer 1 · 2021-10-25T16:29:42

Вам нужно продолжить только во второй раз.

var params = {
    Bucket: bucket,
    MaxKeys: 5000,
};

if (data.IsTruncated) {
    s3.listObjectsV2({...params, ContinuationToken: data.NextContinuationToken})

ИМО, это просто функция s3, вызываемая дважды, больше похожая на вложенный вызов. Рекурсия-это когда функция продолжает вызывать саму себя до тех пор, пока не будет выполнено указанное условие.

Подробнее о рекурсии читайте: https://medium.com/@vickdayaram/recursion-caad288bf621

Хороший момент - я уточню свой вопрос более подробно. Мне нужно, чтобы функция продолжала работать до тех пор, пока все файлы не будут извлечены.

AppleBaggins · Answer 2 · 2021-10-26T00:59:26

Я смог перечислить все объекты в корзине, используя async/await и приведенный ниже код для заполнения массива.

async function getFiles(objects = []) {
    const response = await s3.listObjectsV2(params).promise();
    response.Contents.forEach(obj => filelist.push(obj.Key));
    if (response.NextContinuationToken) {
        params.ContinuationToken = response.NextContinuationToken;
        await getFiles(params, objects);
    }
    console.log(filelist.length)
    return filelist;
}

Спасибо всем, кто помогал!

Поместите все файлы Amazon S3 в корзину в пределах обещания

Вопрос

На других языках

Эта страница на других языках

Популярное в этой категории

Популярные вопросы в этой категории