Ключевые слова
keynessIdentify words that appear significantly more or less often than in a reference corpus or text, revealing how a document's vocabulary differs.
Instructions
Найти ключевые слова текста - слова, которые в нем значимо чаще (или реже), чем в эталоне.
Используйте, чтобы понять, чем лексика текста отличается от обычного языка (эталон по умолчанию - частотный словарь, его нужно скачать командой ruts-mcp download) или от другого текста (reference или reference_path). Слова сравниваются в нижнем регистре и с е вместо ё. Со словарем числа и слова с латиницей отбрасываются, а слово вне словаря получает его наименьшую частоту (freq_reference около 37): имена, термины и опечатки попадают в ключевые слова. Статьи словаря, которые лемматизатор не дает (его, ее, их, во, со), в слова, которые чаще в эталоне, не попадают: в тексте эти формы относятся к другим леммам (он, она, они, в, с).
В результате "n_words" - число слов текста, которые сравниваются с эталоном, "reference" - эталон, "measure" - мера сортировки и как ее читать, "keywords" - слова по убыванию меры: частота в тексте "freq_target" и в эталоне "freq_reference", они же на миллион слов "ipm_target" и "ipm_reference", логарифм правдоподобия "g2" (значимость, со знаком минус - слово чаще в эталоне) с p-значением "p_value", Log Ratio "log_ratio" (размер эффекта; при нулевой частоте в эталоне - оценка с поправкой 0,5, бывает меньше 0) и значение меры "score". p_value не поправлено на число проверенных слов: надежнее p < 0,0001 (g2 от 15,13). Ключ "warnings" - предупреждения: текст не на русском языке, ключевых слов нет.
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| path | No | Абсолютный путь к текстовому файлу в UTF-8 на машине, где запущен сервер, вместо text: длинный текст не нужно пересылать в аргументе | |
| text | No | Текст на русском языке; вместо него можно задать path | |
| top_n | No | Число ключевых слов в ответе | |
| measure | No | Мера для сортировки: log_likelihood - значимость различия, log_ratio - во сколько раз слово чаще | log_likelihood |
| min_freq | No | Наименьшая частота слова там, где оно чаще | |
| positive | No | Слова, которые чаще в тексте; false - которые чаще в эталоне | |
| lemmatize | No | Сравнивать леммы; с частотным словарем леммы сравниваются всегда | |
| reference | No | Текст-эталон; не задано (и не задан reference_path) - частотный словарь Ляшевской и Шарова (современный русский язык, 92 млн словоупотреблений) | |
| reference_path | No | Абсолютный путь к файлу с текстом-эталоном вместо reference |
Output Schema
| Name | Required | Description | Default |
|---|---|---|---|
No arguments | |||