Ir al contenido principal

Entradas

Mostrando las entradas etiquetadas como natural language

NLP: La ley de Herdan

 La ley de Herdan es una ley empírica que describe el número de palabras distintas en un documento (o conjunto de documentos) como una función de la longitud del documento. La fórmula de la ley de Herdan es: V R ​ = K ⋅ n β donde V R ​ es el número de palabras distintas en un documento de tamaño n , y K y β son parámetros libres que se determinan empíricamente. Con un texto en inglés, típicamente K es entre 10 y 100, y β es entre 0,4 y 0,6 1 2 3 . El parámetro K se refiere a la riqueza léxica del documento, es decir, el número de palabras distintas que aparecen en el documento. El valor de K depende del idioma y del tipo de texto. Por ejemplo, un texto técnico tendrá una riqueza léxica más baja que un texto literario. El parámetro β se refiere a la tasa de crecimiento de la riqueza léxica con respecto al tamaño del documento. Un valor de β cercano a 1 indica que la riqueza léxica crece linealmente con el tamaño del documento, mientras que un valor de β menor que 1 ind...