В чем разница между функциями Keras MaxPooling1D и GlobalMaxPooling1D?

Td; lr GlobalMaxPooling1D для временных данных принимает максимальный вектор над размер шага. Таким образом, тензор с формой [10, 4, 10] становится тензором с формой [10, 10] после глобального объединения. MaxPooling1D также использует максимум над шагами, но ограничен pool_size для каждого шага. Таким образом, тензор [10, 4, 10] с pooling_size = 2 и stride = 1 является тензором [10, 3, 10] после MaxPooling (pooling_size = 2, stride = 1)

Длинный ответ с графической помощью

Допустим, у нас есть простое предложение с 4 словами, и у нас есть несколько векторных кодировок для слов (например, word2vec embeddings). Конечно, вы обычно не можете увеличить пул и встраивать тензор, но это должно быть сделано, например. Также глобальное объединение работает по каналам, но я оставлю это вне этой иллюстрации. Наконец, с набивкой все становится немного сложнее, но и здесь нам это не нужно.

Предположим, у нас есть MaxPooling1D (pool_size = 2, steps = 1). Затем

the  [[.7, -0.2, .1]   | pool size is two                  
boy   [.8, -.3,  .2]   | so look at two words at a time    | stride=1 will
will  [.2, -.1,  .4]     and take the max over those       | move the pool down
live  [.4  -.4,  .8]]    2 vectors. Here we looking         1 word. Now we look  
                            'the' and 'boy'.                'boy' and 'will' and 
                                                            take the max.

Таким образом, это приведет к тензору [1, 3, 3], причем каждый временной интервал будет максимальным по сравнению с 2D-пулом. И поскольку у нас было 3 пула, мы фактически сократили наши временные интервалы с 4 до 3.

Однако, если мы используем GlobalMaxPooling1D, мы просто возьмем максимальный вектор этого предложения (Тензор), который, вероятно, является векторным представлением слова «вживой».

Действительно, вот как GlobalMaxPooling1D определяется в керасах

class GlobalMaxPooling1D(_GlobalPooling1D):
    """Global max pooling operation for temporal data.
    # Input shape
        3D tensor with shape: `(batch_size, steps, features)`.
    # Output shape
        2D tensor with shape:
        `(batch_size, features)`
    """

    def call(self, inputs):
        return K.max(inputs, axis=1)

Надеюсь, это поможет, пожалуйста, попросите меня уточнить что-нибудь.

Кроме того, вот пример, с которым вы можете играть:

import numpy as np
from keras.models import Sequential
from keras.layers import Dense, LSTM, GlobalMaxPooling1D, MaxPooling1D

D = np.random.rand(10, 6, 10)

model = Sequential()
model.add(LSTM(16, input_shape=(6, 10), return_sequences=True))
model.add(MaxPooling1D(pool_size=2, strides=1))
model.add(LSTM(10))
model.add(Dense(1))
model.compile(loss='binary_crossentropy', optimizer='sgd')

# print the summary to see how the dimension change after the layers are 
# applied

print(model.summary())

# try a model with GlobalMaxPooling1D now

model = Sequential()
model.add(LSTM(16, input_shape=(6, 10), return_sequences=True))
model.add(GlobalMaxPooling1D())
model.add(Dense(1))
model.compile(loss='binary_crossentropy', optimizer='sgd')

print(model.summary())

@ThePassenger [x, y, z] можно увидеть как «массив» с элементами x, где каждый элемент представляет собой матрицу с строками y и столбцами z. но также, поскольку у вас есть матрица с x строками и y столбцами, и для каждого элемента у вас есть массив z элементов.

пулы - это, например, способ уменьшить тензор, если у вас есть матрица из x строк и y столбцов, применяющих пул, может дать вам матрицу из x-n строк и тех же столбцов y-m.