【问题标题】:Is it possible and how to reduce the dimensions of ELMO embeddings using tf-hub elmo model?是否有可能以及如何使用 tf-hub elmo 模型来减小 ELMO 嵌入的维度?
【发布时间】:2020-10-28 17:01:20
【问题描述】:

我正在使用来自 tensorflow hub 的 ELMO 模型。

import tensorflow as tf
import tensorflow_hub as hub
from tensorflow.contrib import predictor

elmo = hub.Module("https://tfhub.dev/google/elmo/3", trainable=False)

默认输出维度是 1024。有没有可能的方法可以在不使用 PCA/丢失信息的情况下将 ELMO 嵌入的维度减少到 128

【问题讨论】:

    标签: python tensorflow tensorflow-hub elmo


    【解决方案1】:

    由于ELMoallennlp 发布的预训练模型,因此这些模型将基于 1024 的训练给出固定的输出维度。

    降低输出维度的一种方法是尝试降维技术,例如PCAtSNEUMAP,但正如您所说,这将以丢失信息为代价。

    相反,您可以从头开始训练ELMo,提供大量数据和设备进行训练。
    您可以关注 this 文章,该文章解释了从头开始训练 ELMo
    要更改输出维度等超参数,可以在此file 中完成。

    【讨论】:

      猜你喜欢
      • 2021-04-25
      • 2020-04-27
      • 2020-12-20
      • 2019-05-03
      • 2019-07-03
      • 1970-01-01
      • 1970-01-01
      • 2019-05-16
      • 2019-04-03
      相关资源
      最近更新 更多