InvalidArgumentError: КонкатОп : Размеры входных данных должны совпадать при прогнозировании на X_test с Conv2D - почему?

Question 1

Я изучаю Tensorflow и пытаюсь построить классификатор на основе набора данных Fashion MNIST. Я могу соответствовать модели, но когда я пытаюсь предсказать в своем тестовом наборе, я получаю следующую ошибку:

y_pred = model.predict(X_test).argmax(axis=1)

InvalidArgumentError: ConcatOp : Dimensions of inputs should match: shape[0] = [1,32,10] vs. shape[312] = [1,16,10] [Op:ConcatV2] name: concat

Я не получаю ошибку, если я предсказываю на X_test пакетами, например:

y_pred = []
step_size = 10
for i in trange(0, len(X_test), step_size):
  y_pred += model.predict(X_test[i:i+step_size]).argmax(axis=1).tolist()[0]

Я потратил некоторое время на поиск в Интернете и просмотр других примеров той же ошибки, но все еще не могу понять, что я делаю не так. Я попробовал несколько разных вещей, таких как применение шагов масштабирования и расширения размеров вручную к X_train и X_test перед построением модели, но получил тот же результат.

Это мой полный код (с использованием Python 3.7.12 и Tensorflow 2.7.0):

import tensorflow as tf # 2.7.0
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# load data 
mnist = tf.keras.datasets.fashion_mnist
(X_train, y_train), (X_test, y_test) = mnist.load_data()

# Build model 

# Input 
inputs = tf.keras.Input(shape=X_train[0].shape)

# # Scale 
x = tf.keras.layers.Rescaling(scale=1.0/255)(inputs)

# Add extra dimension for use in conv2d
x = tf.expand_dims(x, -1)

# Conv2D
x = tf.keras.layers.Conv2D(filters=32, kernel_size=(3, 3), activation="relu", strides=2)(x)
x = tf.keras.layers.Conv2D(filters=64, kernel_size=(3, 3), activation="relu", strides=2)(x)
x = tf.keras.layers.Conv2D(filters=128, kernel_size=(3, 3), activation="relu", strides=2)(x)

# Flatten
x = tf.keras.layers.Flatten()(x),
x = tf.keras.layers.Dropout(rate=.2)(x)  # 20% chance of dropout  
x = tf.keras.layers.Dense(512, activation='relu')(x)
x = tf.keras.layers.Dropout(rate=.2)(x)   
x = tf.keras.layers.Dense(K, activation='softmax')(x)

model = tf.keras.Model(inputs=inputs, outputs=x)

# Compile
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])

# Fit
r = model.fit(X_train, y_train, validation_data=[X_test, y_test], epochs=10)

# Throws an error
y_pred = model.predict(X_test).argmax(axis=1)

Что дает

InvalidArgumentError: ConcatOp : Dimensions of inputs should match: shape[0] = [1,32,10] vs. shape[312] = [1,16,10] [Op:ConcatV2] name: concat

Question 2

С model.predict вы делаете прогнозы по партиям, как указано здесь:

Вычисления выполняются пакетами. Этот метод предназначен для пакетной обработки большого количества входных данных. Он не предназначен для использования внутри циклов, которые повторяют ваши данные и обрабатывают небольшое количество входных данных одновременно.

Но размер X_test не делится равномерно на значение по умолчанию batch_size=32. Я думаю, что это может быть причиной вашей проблемы. Вы могли бы изменить свое batch_size до 16, например, и это будет работать:

y_pred = model.predict(X_test, batch_size=16).argmax(axis=1)
print(y_pred)

[[ 8  0  2 ... 14  8  2]
 [15 15  8 ... 10  8 14]
 [ 5 13  4 ...  4  5  6]
 ...
 [11 11 12 ...  7  2  3]
 [ 3  8  0 ... 15  3 14]
 [ 3 13  1 ...  1 15  0]]

Вы также можете использовать model.predict_on_batch(X_test) чтобы сделать прогнозы для одной партии образцов. Однако вы наиболее гибки, если используете функцию вызова своей модели напрямую:

y_pred = model(X_test[:10])
tf.print(tf.argmax(y_pred, axis=1), summarize=-1)

[[2 8 0 1 1 1 8 2 2 6]]

AloneTogether · Answer 1 · 2021-11-22T13:44:08

С model.predict вы делаете прогнозы по партиям, как указано здесь:

Вычисления выполняются пакетами. Этот метод предназначен для пакетной обработки большого количества входных данных. Он не предназначен для использования внутри циклов, которые повторяют ваши данные и обрабатывают небольшое количество входных данных одновременно.

Но размер X_test не делится равномерно на значение по умолчанию batch_size=32. Я думаю, что это может быть причиной вашей проблемы. Вы могли бы изменить свое batch_size до 16, например, и это будет работать:

y_pred = model.predict(X_test, batch_size=16).argmax(axis=1)
print(y_pred)

[[ 8  0  2 ... 14  8  2]
 [15 15  8 ... 10  8 14]
 [ 5 13  4 ...  4  5  6]
 ...
 [11 11 12 ...  7  2  3]
 [ 3  8  0 ... 15  3 14]
 [ 3 13  1 ...  1 15  0]]

Вы также можете использовать model.predict_on_batch(X_test) чтобы сделать прогнозы для одной партии образцов. Однако вы наиболее гибки, если используете функцию вызова своей модели напрямую:

y_pred = model(X_test[:10])
tf.print(tf.argmax(y_pred, axis=1), summarize=-1)

[[2 8 0 1 1 1 8 2 2 6]]

Спасибо, это работает!! Я немного смущен аргументом "пакет" - что произошло бы, если бы мой размер выборки был простым числом? Похоже, мне нужно будет больше читать о предсказаниях :)

InvalidArgumentError: КонкатОп : Размеры входных данных должны совпадать при прогнозировании на X_test с Conv2D - почему?

Вопрос

Лучший ответ

На других языках

Эта страница на других языках

Популярное в этой категории

Популярные вопросы в этой категории