Я работаю над проблемой классификации с набором данных изображений, имеющим 11 классов. Он содержит в общей сложности 11 000 изображений, причем каждый класс содержит 1000 изображений, хранящихся в папках (11 папок). Размер набора данных составляет около 40 МБ. После того, как я загружаю данные с Google диска в collab( что на самом деле занимает некоторое время) и предварительно обрабатываю их перед подачей в модель, память collab мгновенно заполняется на 95%. Когда я начинаю тренироваться, collab вылетает, и время выполнения сбрасывается. Этого не происходит, когда я использую функцию Keras "Поток данных из каталога". Я не могу найти решение. Скриншот
0
Это происходит потому, что, вызывая fit с наборами данных train и проверки, вы заставляете colab загружать все изображения в оперативную память одновременно, вам нужно написать генератор, простое решение с большей частью уже написанного кода-использовать записи tf, с остальным справится keras.
https://www.tensorflow.org/tutorials/load_data/tfrecord
вам нужно сохранить изображения на диске и снимать их во время обучения, а не все сразу.
вам не нужно использовать tfrecords, вы можете использовать любой генератор, который вам нравится, но это происходит сразу же
BestDogeStackoverflow
Ну, я использую здесь тюнер Keras, поэтому я не уверен, можно ли использовать генератор с поиском тюнера или нет
SDS