Измерить русский текст статистиками библиотеки ruTS.

Используйте, чтобы получить точные числа о тексте, а не оценивать его на глаз. Считаются только запрошенные группы. Текст из файла передавайте через path, а не пересылайте целиком: так быстрее, и статистики считаются по исходному тексту.

Группы статистик:

• basic: предложения, слова, слоги, символы, буквы, пробелы и знаки препинания; уникальные, длинные (от 6 букв), сложные (от 4 слогов), простые, односложные и многосложные слова с долей от всех слов; энтропия длин слов в буквах и слогах.

• readability: удобочитаемость - сводный класс и формулы Флеша-Кинкайда, Флеша, Колман-Лиау, SMOG, ARI, LIX, RIX, Соловьёва-Иванова-Солнышкиной, Мацковского, Тулдавы, Дейла-Чейла и Ганнинга, время чтения; формулы класса и сводный класс читаются классом школы и возрастом читателя, индекс Флеша, LIX и RIX - полосой своей шкалы, у формул Мацковского и Тулдавы и времени чтения шкалы нет.

• diversity: лексическое разнообразие - TTR и поправки к нему, MATTR, MSTTR, MTLD, HD-D, индексы Симпсона, Юла и Оноре, мера Орлова, энтропия, законы Ципфа и Хипса, взрывность частых слов.

• morph: морфология по pymorphy3 без снятия омонимии - части речи и 15 грамматических признаков (число и доля слов с каждым значением) и доли форм глагола: наклонения, инфинитив, причастия, деепричастия, совершенный вид, страдательные и возвратные формы.

• phon: фоностатистики по буквам, без ударения, оглушения и редукции - доли гласных, сонорных, звонких и глухих согласных, тяжелые сочетания согласных, зияния, жесткость, открытые слоги, индексы аллитерации и ассонанса.

• cohesion: связность по образцу Coh-Metrix и TAACO - повторы существительных, аргументов и знаменательных слов между предложениями (соседними, всеми парами, двумя следующими) и между соседними абзацами (абзац - строка текста), местоимения, данность, повтор времени и вида, коннекторы на 1000 слов - межпредложенческие и внутрипредложенческие, по классам.

• lexical: лексическая сложность по частотам языка - доля слов, найденных в частотном словаре Ляшевской и Шарова, средняя частотность (ipm) и ее логарифм, диапазон и дисперсия по корпусу, сюрпризал и перплексия, доли слов из 1000-10000 самых частых лемм, лексическая плотность. Метрикам по словарю нужен скачанный словарь.

• verse: стих - строки и строфы, метр и число стоп, отклонения от метра и пропуски ударений, доля рифмованных строк и схемы рифмовки, мужские, женские и дактилические окончания. Нужен скачанный словарь ударений; знак ударения в тексте (замо́к) важнее словаря.

• syntax: синтаксис по дереву зависимостей модели spaCy - длина зависимостей, глубина и ветвистость дерева, слова до вершины предложения, валентность глаголов, клаузы, придаточные и инфинитивные клаузы, индексы сложности L2SCA (T-единицы, глагольные, сочиненные и сложные именные группы), сочинительные цепочки, модификаторы существительного, предложные цепочки и цепочки родительных падежей, причастные и деепричастные обороты, пассив, инфинитивы, отрицания, расщепленные сказуемые («оказать помощь»), порядок подлежащих и дополнений, схожесть соседних предложений, отношение существительных к глаголам. Нужна скачанная модель spaCy; на длинном тексте разбор занимает секунды.

• style: SEO-метрики по словоформам - классическая и академическая тошнота, водность, заспамленность и естественность по Ципфу с прочтением по нормам Advego, Text.ru, pr-cy и megaindex (нормы рассчитаны на тексты сайтов в несколько сотен слов, к художественной прозе неприменимы), самые частые словоформы и самые частые значимые слова, по которым считается академическая тошнота, лексические маркеры канцелярита с найденными словами и фразами: отглагольные существительные, производные предлоги, вводные слова, штампы. Синтаксические маркеры канцелярита - расщепленные сказуемые, цепочки родительных падежей, пассив, отношение существительных к глаголам - в группе syntax: для проверки на канцелярит берите style и syntax.

В результате по ключу на каждую запрошенную группу: статистика с ее значением "value", долей "share" или прочтением по шкале "interpretation", если они есть, и описанием "description" - что она считает; у маркеров канцелярита группы style еще число вхождений "count" и найденные слова и фразы "found". Значение null - статистика на этом тексте не определена. Ключ "warnings" - причины, по которым значения могут быть неустойчивы или не иметь смысла для этого текста: короткий текст, текст не на русском языке, не скачанные словари или модель (тогда предупреждение называет команду, которая их скачивает). Прочитайте предупреждения, прежде чем делать выводы.

Найти все вхождения слова или словосочетания в тексте с контекстом (конкорданс KWIC).

Используйте, чтобы увидеть, как слово употребляется в тексте, и цитировать точно. Слова сравниваются без учета регистра и буквы ё, с by_lemma - по леммам pymorphy3; словосочетание не переходит через конец предложения.

В результате "n_matches" - число вхождений, "matches" - строки по порядку в тексте: контекст слева "left", вхождение "keyword", как оно записано в тексте, и контекст справа "right". Строки ограничены параметром limit и общим объемом ответа около 40 тысяч символов. Ключ "warnings" - предупреждения: текст не на русском языке, показаны не все вхождения.

Найти коллокации текста - пары слов, которые встречаются вместе чаще, чем случайно.

Используйте для устойчивых сочетаний, терминологии и сочетаемости слова (параметр node). Пара упорядочена: правое слово стоит не дальше window слов после левого. Леммы pymorphy3 берутся без снятия омонимии.

В результате "n_words" - число слов текста, "measure" - мера и как ее читать, "collocations" - пары по убыванию меры: левое слово "left", правое "right", их частоты "freq_left" и "freq_right", частота пары "freq_pair" и значение меры "score". freq_pair - число пар позиций, где правое слово стоит в окне после левого: слово, повторенное в окне, дает несколько пар, поэтому freq_pair бывает больше частоты слова, и такая пара - повтор, а не устойчивое сочетание. Ключ "warnings" - предупреждения: текст не на русском языке, слова node нет в тексте, пар с такой частотой нет.

Измерить, насколько равномерно слова распределены по тексту (дисперсия Гриса).

Используйте, чтобы отличить слово, которое проходит через весь текст, от слова, сосредоточенного в одном месте: частота их не различает. Текст делится на parts частей примерно равного размера.

В результате "n_words" - число слов текста, "words" - слова в порядке запроса или по убыванию частоты, с частотой "freq" и мерами дисперсии:

• dp: отклонение пропорций DP Гриса, основная мера; 0 - слово распределено пропорционально размерам частей, наибольшее значение около 1 - 1/parts - все вхождения в одной части.

• dp_norm: DP, деленное на наибольшее возможное значение; 1 - все вхождения в самой малой части.

• juilland_d: D Жюйана; 1 - равномерно, 0 - в одной части.

• carroll_d2: D2 Кэрролла по энтропии распределения; 1 - равномерно, 0 - в одной части.

• rosengren_s: S Розенгрена; 1 - пропорционально, около 1/parts - в одной части.

• kl_divergence: дивергенция Кульбака-Лейблера в битах; 0 - пропорционально, растет при сосредоточении. У слова, которого нет в тексте, частота 0 и меры null. Слово с частотой меньше parts не может попасть во все части, и его меры показывают сосредоточенность даже при самом ровном распределении. Ключ "warnings" - предупреждения: текст не на русском языке, слов нет в тексте, частота слов меньше числа частей.

Найти ключевые слова текста - слова, которые в нем значимо чаще (или реже), чем в эталоне.

Используйте, чтобы понять, чем лексика текста отличается от обычного языка (эталон по умолчанию - частотный словарь, его нужно скачать командой ruts-mcp download) или от другого текста (reference или reference_path). Слова сравниваются в нижнем регистре и с е вместо ё. Со словарем числа и слова с латиницей отбрасываются, а слово вне словаря получает его наименьшую частоту (freq_reference около 37): имена, термины и опечатки попадают в ключевые слова. Статьи словаря, которые лемматизатор не дает (его, ее, их, во, со), в слова, которые чаще в эталоне, не попадают: в тексте эти формы относятся к другим леммам (он, она, они, в, с).

В результате "n_words" - число слов текста, которые сравниваются с эталоном, "reference" - эталон, "measure" - мера сортировки и как ее читать, "keywords" - слова по убыванию меры: частота в тексте "freq_target" и в эталоне "freq_reference", они же на миллион слов "ipm_target" и "ipm_reference", логарифм правдоподобия "g2" (значимость, со знаком минус - слово чаще в эталоне) с p-значением "p_value", Log Ratio "log_ratio" (размер эффекта; при нулевой частоте в эталоне - оценка с поправкой 0,5, бывает меньше 0) и значение меры "score". p_value не поправлено на число проверенных слов: надежнее p < 0,0001 (g2 от 15,13). Ключ "warnings" - предупреждения: текст не на русском языке, ключевых слов нет.

Сравнить два корпуса текстов по признакам стиля и найти, чем они различаются сильнее всего.

Используйте для атрибуции авторства, сравнения жанров, переводов, текстов человека и модели. Тексты режутся подряд на окна ровно по window слов (whole_texts - тексты целиком), у каждого окна считаются около 150 признаков ruTS, и распределения признака в корпусах A и B сравниваются. Остаток текста короче окна и текст короче окна отбрасываются: ответ предупреждает о таких текстах и о потере больше 10 % слов корпуса на остатках. Для сравнения нужно хотя бы по два окна в каждом корпусе. Тексты из файлов передавайте через a_paths и b_paths.

Признаки по префиксам: basic_ - доли длинных, сложных, одно- и многосложных слов, букв, пробелов и знаков, буквы и слоги на слово; readability_ - формулы удобочитаемости; diversity_ - меры лексического разнообразия; morph_ - доли частей речи, отрицаний и кратких форм от слов (morph_pos_NOUN, morph_polarity_Neg, morph_style_variant_Short) и значений остальных признаков внутри признака (morph_case_Gen, morph_tense_Past); sents_ - средняя длина предложения в словах, ее стандартное отклонение, коэффициент вариации и автокорреляция соседних длин; punct_ - знаки по типам на 1000 слов и доля буквы ё; cohesion_ - статистики связности: повторы между предложениями, местоимения, данность, повтор времени и вида, коннекторы на 1000 слов.

В результате "window" - размер окна (null - тексты целиком), "n_windows" и "n_texts" - число окон и текстов в A и B, "features" - признаки по убыванию модуля дельты Клиффа, при равной дельте - по относительной разности медиан: средние по окнам "mean_a" и "mean_b", разность медиан A - B "median_diff" с 95% бутстрэп-интервалом "ci_low" - "ci_high", дельта Клиффа "cliff_delta" (от -1 до 1: доля пар окон, где в A больше, минус доля, где меньше; по модулю от 0,147 - малый, от 0,33 - средний, от 0,474 - большой эффект, Romano и др. 2006) и p-значение U-критерия Манна-Уитни с поправкой Холма на число признаков "p_holm". Окна одного текста не независимы: p_holm считает их независимыми и занижено, если текстов в корпусе мало, а бутстрэп-интервал берет целые тексты и при одном тексте в корпусе не определен. Ключ "warnings" - предупреждения: корпус не на русском языке, тексты корпусов разной длины при whole_texts, тексты или их остатки не вошли в сравнение, в корпусе один текст, ни одно различие не значимо.