Дисперсия слов
dispersionMeasure how evenly words are spread across a text to distinguish terms used throughout from those concentrated in one section, using Gries DP and related distribution metrics.
Instructions
Измерить, насколько равномерно слова распределены по тексту (дисперсия Гриса).
Используйте, чтобы отличить слово, которое проходит через весь текст, от слова, сосредоточенного в одном месте: частота их не различает. Текст делится на parts частей примерно равного размера.
В результате "n_words" - число слов текста, "words" - слова в порядке запроса или по убыванию частоты, с частотой "freq" и мерами дисперсии:
dp: отклонение пропорций DP Гриса, основная мера; 0 - слово распределено пропорционально размерам частей, наибольшее значение около 1 - 1/parts - все вхождения в одной части.
dp_norm: DP, деленное на наибольшее возможное значение; 1 - все вхождения в самой малой части.
juilland_d: D Жюйана; 1 - равномерно, 0 - в одной части.
carroll_d2: D2 Кэрролла по энтропии распределения; 1 - равномерно, 0 - в одной части.
rosengren_s: S Розенгрена; 1 - пропорционально, около 1/parts - в одной части.
kl_divergence: дивергенция Кульбака-Лейблера в битах; 0 - пропорционально, растет при сосредоточении. У слова, которого нет в тексте, частота 0 и меры null. Слово с частотой меньше parts не может попасть во все части, и его меры показывают сосредоточенность даже при самом ровном распределении. Ключ "warnings" - предупреждения: текст не на русском языке, слов нет в тексте, частота слов меньше числа частей.
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| path | No | Абсолютный путь к текстовому файлу в UTF-8 на машине, где запущен сервер, вместо text: длинный текст не нужно пересылать в аргументе | |
| text | No | Текст на русском языке; вместо него можно задать path | |
| parts | No | Число частей текста примерно равного размера | |
| top_n | No | Число самых частых слов, если words не задано | |
| words | No | Слова, дисперсия которых нужна; не задано - самые частые слова | |
| lemmatize | No | Сравнивать леммы: формы слова считаются одним словом |
Output Schema
| Name | Required | Description | Default |
|---|---|---|---|
No arguments | |||