MaxPooling1D и GlobalMaxPooling1D описаны как операция максимального объединения временных данных.
keras.layers.pooling.MaxPooling1D (pool_size = 2, steps = None, padding = 'valid')
Я понимаю, что GlobalMaxPooling1D не принимает входных параметров.
keras.layers.pooling.GlobalMaxPooling1D ()
Я просто хотел бы визуально понять, как они отличаются в своей работе?
Td; lr GlobalMaxPooling1D
для временных данных принимает максимальный вектор над
размер шага. Таким образом, тензор с формой [10, 4, 10] становится тензором с формой [10, 10] после глобального объединения. MaxPooling1D
также использует максимум над шагами, но ограничен pool_size для каждого шага. Таким образом, тензор [10, 4, 10] с pooling_size = 2
и stride = 1
является тензором [10, 3, 10] после MaxPooling (pooling_size = 2, stride = 1)
Длинный ответ с графической помощью
Допустим, у нас есть простое предложение с 4 словами, и у нас есть несколько векторных кодировок для слов (например, word2vec embeddings). Конечно, вы обычно не можете увеличить пул и встраивать тензор, но это должно быть сделано, например. Также глобальное объединение работает по каналам, но я оставлю это вне этой иллюстрации. Наконец, с набивкой все становится немного сложнее, но и здесь нам это не нужно.
Предположим, у нас есть MaxPooling1D (pool_size = 2, steps = 1).
Затем
the [[.7, -0.2, .1] | pool size is two
boy [.8, -.3, .2] | so look at two words at a time | stride=1 will
will [.2, -.1, .4] and take the max over those | move the pool down
live [.4 -.4, .8]] 2 vectors. Here we looking 1 word. Now we look
'the' and 'boy'. 'boy' and 'will' and
take the max.
Таким образом, это приведет к тензору [1, 3, 3], причем каждый временной интервал будет максимальным по сравнению с 2D-пулом. И поскольку у нас было 3 пула, мы фактически сократили наши временные интервалы с 4 до 3.
Однако, если мы используем GlobalMaxPooling1D
, мы просто возьмем максимальный вектор этого предложения (Тензор), который, вероятно, является векторным представлением слова «вживой».
Действительно, вот как GlobalMaxPooling1D определяется в керасах
class GlobalMaxPooling1D(_GlobalPooling1D):
"""Global max pooling operation for temporal data.
# Input shape
3D tensor with shape: `(batch_size, steps, features)`.
# Output shape
2D tensor with shape:
`(batch_size, features)`
"""
def call(self, inputs):
return K.max(inputs, axis=1)
Надеюсь, это поможет, пожалуйста, попросите меня уточнить что-нибудь.
Кроме того, вот пример, с которым вы можете играть:
import numpy as np
from keras.models import Sequential
from keras.layers import Dense, LSTM, GlobalMaxPooling1D, MaxPooling1D
D = np.random.rand(10, 6, 10)
model = Sequential()
model.add(LSTM(16, input_shape=(6, 10), return_sequences=True))
model.add(MaxPooling1D(pool_size=2, strides=1))
model.add(LSTM(10))
model.add(Dense(1))
model.compile(loss='binary_crossentropy', optimizer='sgd')
# print the summary to see how the dimension change after the layers are
# applied
print(model.summary())
# try a model with GlobalMaxPooling1D now
model = Sequential()
model.add(LSTM(16, input_shape=(6, 10), return_sequences=True))
model.add(GlobalMaxPooling1D())
model.add(Dense(1))
model.compile(loss='binary_crossentropy', optimizer='sgd')
print(model.summary())
@ThePassenger [x, y, z] можно увидеть как «массив» с элементами x, где каждый элемент представляет собой матрицу с строками y и столбцами z. но также, поскольку у вас есть матрица с x строками и y столбцами, и для каждого элемента у вас есть массив z элементов.
пулы - это, например, способ уменьшить тензор, если у вас есть матрица из x строк и y столбцов, применяющих пул, может дать вам матрицу из x-n строк и тех же столбцов y-m.