NLP中，我们常常使用AttentionPooling对词向量序列进行聚合作为句向量的表示，在text-attentionpooling-visualization分析过，有不错的效果。此外，还常常使用MaxPooling和AveragePooling对词向量序列进行聚合（句向量），其中AveragePooling可以看做是AttentionPooling的特例。这里只探讨MaxPooling，如Tensorflow中的tf.keras.layers.GlobalMaxPool1D。这里尝试可视化MaxPooling的效果。一个词向量序列可以用矩阵表示，其维度为(maxlen, hdims)，MaxPooling操作后，变为向量，可以看做句向量的表示，其维度为(1, hdims)。hdims每个值对应着某个词向量的最大值，把其作为该词在下游任务中重要性的权重，并通过可视化来观察是否具有预期的效果。
MaskGlobalMaxPooling1D及其词权重重要性示意图（吐血绘制^^^），
带词重要性权重输出的MaskGlobalMaxPooling1D的实现：
class MaskGlobalMaxPooling1D(tf.keras.layers.Layer):
def __init__(self, **kwargs):
super(MaskGlobalMaxPooling1D, self).__init__(**kwargs)
def call(self, inputs, mask=None):
if mask is None:
mask = 1
else:
# 扩展维度便于广播
mask = tf.expand_dims(tf.cast(mask, "float32"), -1)
x = inputs
x = x - (1 - mask) * 1e12 # 用一个大的负数mask
x = tf.reduce_max(x, axis=1, keepdims=True)
ws = tf.where(inputs == x, x, 0.0)
ws = tf.reduce_sum(ws, axis=2)
x = tf.squeeze(x, axis=1)
return x, ws分类问题效果一：
分类问题效果二：
分类问题效果三：
分类问题效果四：
可以看到，MaxPooling在文本问题上也是能够定位到关键信息作为分类依据。Pooling后的句向量的每个元素能够反映其所对应的字或词的重要性。