NLP: La ley de Herdan

 La ley de Herdan es una ley empírica que describe el número de palabras distintas en un documento (o conjunto de documentos) como una función de la longitud del documento. La fórmula de la ley de Herdan es:

donde VR​ es el número de palabras distintas en un documento de tamaño n, y K y β son parámetros libres que se determinan empíricamente. Con un texto en inglés, típicamente K es entre 10 y 100, y β es entre 0,4 y 0,6 123.

El parámetro K se refiere a la riqueza léxica del documento, es decir, el número de palabras distintas que aparecen en el documento. El valor de K depende del idioma y del tipo de texto. Por ejemplo, un texto técnico tendrá una riqueza léxica más baja que un texto literario.

El parámetro β se refiere a la tasa de crecimiento de la riqueza léxica con respecto al tamaño del documento. Un valor de β cercano a 1 indica que la riqueza léxica crece linealmente con el tamaño del documento, mientras que un valor de β menor que 1 indica que la riqueza léxica crece a una tasa cada vez más lenta a medida que el tamaño del documento aumenta.

Por ejemplo, si tenemos un documento de 1000 palabras en inglés con y , podemos calcular el número de palabras distintas en el documento como:

Esto significa que hay alrededor de 224 palabras distintas en el documento.

Comentarios

Publicar un comentario

Entradas populares de este blog

[MACHINE LEARNING] Un breve ejemplo de uso de JupyterLab

 En este ejemplo hacemos uso de un dataset clásico y unas funciones básicas muy intuitivas. Se requiere tener instalado Anaconda y ejecutar este código en Jupyter. # Check the versions of libraries # Python version import sys print('Python: {}'.format(sys.version)) # scipy import scipy print('scipy: {}'.format(scipy.__version__)) # numpy import numpy print('numpy: {}'.format(numpy.__version__)) # matplotlib import matplotlib  print('matplotlib: {}'.format(matplotlib.__version__)) # pandas  import pandas  print('pandas: {}'.format(pandas.__version__))  # scikit-learn  import sklearn  print('sklearn: {}'.format(sklearn.__version__))  # Load libraries import pandas from pandas.plotting import scatter_matrix import matplotlib.pyplot as plt from sklearn import model_selection from sklearn.metrics import classification_report from sklearn.metrics import confusion_matrix from sklearn.metrics import accuracy_score from sklearn.linear_model import
Leer más

[RUST][BOTS][TELEGRAM] Como crear y explotar un bot de Telefram en un canal de Telegram

Imagen
 Configuración: Añadir @BothFather a tus contactos de Telegram Ir a @Manybot te aparecerán las siguiente opciones Ejecutas el comando /start, también puedes hacerlo presionando Start en el menu anterior que te muestra el @Manybot Ejecutas /addbot y te muestra Los siguientes pasos son intuitivos. Explotación: Uso del bot con un software. Ejemplo Rust: use std::env; use telegram_bot::*; #[tokio::main] async fn main () -> Result <(), Error > {     // Obtiene el mensaje de los argumentos de la línea de comandos     let args : Vec < String > = env:: args (). collect ();     if args . len () != 2 {         eprintln! ( "Uso: {} <MENSAJE>" , args [ 0 ]);         std::process:: exit ( 1 );     }     let message = & args [ 1 ];     // Busca texto entre corchetes y lo pinta de verde     let message = message . replace ( "[" , "*[" );     let message = message . replace ( "]" , "]*" );     // Indica el token d
Leer más

[Idiomas][Italiano] Rutina Semanal de Estudio de Italiano (3 horas/semana)

  Día 1: Lunes Duración : 1 hora Contenido : Gramática avanzada : Dedica tiempo a estudiar estructuras gramaticales más complejas, como el uso de subjuntivo, condicional, voz pasiva, etc. Lectura avanzada : Lee artículos, ensayos o fragmentos literarios en italiano. Anota nuevas palabras y expresiones. Práctica de escritura : Escribe un párrafo sobre un tema de tu elección utilizando las estructuras gramaticales aprendidas. Día 2: Miércoles Duración : 1 hora Contenido : Vocabulario específico : Dedica tiempo a aprender vocabulario relacionado con tus intereses o área profesional. Por ejemplo, si trabajas en marketing, estudia términos de marketing en italiano. Comprensión auditiva : Escucha podcasts, entrevistas o programas en italiano. Trata de entender el contexto y las ideas principales. Práctica de conversación : Habla en italiano con un compañero de estudio o un tutor. Practica expresiones idiomáticas y fluidez. Día 3: Viernes Duración : 1 hora Contenido : Revisión de errores comu
Leer más