¿Cuáles son las mejores herramientas gratuitas y fáciles para visualizar vectores de palabras formados por word2vec?

Answer 1

En Procesamiento del lenguaje natural y campos relacionados, los investigadores suelen utilizar un algoritmo de reducción de dimensionalidad no lineal llamado Incrustación de Vecinos Estocásticos Distribuidos t (t-SNE) para reducir vectores n-dimensionales, como los vectores word2vec, al espacio bidimensional con el objetivo de Facilitando la visualización. En un nivel alto, t-SNE intenta reducir la dimensionalidad de una manera que preserva las proximidades entre pares de puntos de la mejor manera posible. Normalmente, uno usa t-SNE para reducir los vectores word2vec a vectores bidimensionales y luego visualiza los vectores bidimensionales resultantes en un diagrama de dispersión estándar. El algoritmo fue originalmente concebido por Laurens van der Maaten y Geoffrey Hinton.

Otras lecturas:

1. Lo más cercano a la documentación oficial de t-SNE reside en el sitio web de van der Maaten. Allí también puede encontrar implementaciones de t-SNE en una variedad sorprendentemente grande de idiomas.

2. Para una breve descripción de cómo funciona el algoritmo, recomendaría el artículo de Wikipedia sobre t-SNE. Es conciso y al punto, pero incluye suficiente matemática para proporcionar una comprensión genuina de las propiedades del algoritmo.

3. La siguiente charla, dada por van der Maaten, proporciona una descripción muy detallada de cómo funciona el t-SNE bajo el capó para aquellos interesados ​​en sus detalles: