Сравнение корпусов
compare_textsCompares two text corpora across stylometric features and ranks the strongest differences for authorship attribution, genre, translation, or human-vs-model analysis.
Instructions
Сравнить два корпуса текстов по признакам стиля и найти, чем они различаются сильнее всего.
Используйте для атрибуции авторства, сравнения жанров, переводов, текстов человека и модели. Тексты режутся подряд на окна ровно по window слов (whole_texts - тексты целиком), у каждого окна считаются около 150 признаков ruTS, и распределения признака в корпусах A и B сравниваются. Остаток текста короче окна и текст короче окна отбрасываются: ответ предупреждает о таких текстах и о потере больше 10 % слов корпуса на остатках. Для сравнения нужно хотя бы по два окна в каждом корпусе. Тексты из файлов передавайте через a_paths и b_paths.
Признаки по префиксам: basic_ - доли длинных, сложных, одно- и многосложных слов, букв, пробелов и знаков, буквы и слоги на слово; readability_ - формулы удобочитаемости; diversity_ - меры лексического разнообразия; morph_ - доли частей речи, отрицаний и кратких форм от слов (morph_pos_NOUN, morph_polarity_Neg, morph_style_variant_Short) и значений остальных признаков внутри признака (morph_case_Gen, morph_tense_Past); sents_ - средняя длина предложения в словах, ее стандартное отклонение, коэффициент вариации и автокорреляция соседних длин; punct_ - знаки по типам на 1000 слов и доля буквы ё; cohesion_ - статистики связности: повторы между предложениями, местоимения, данность, повтор времени и вида, коннекторы на 1000 слов.
В результате "window" - размер окна (null - тексты целиком), "n_windows" и "n_texts" - число окон и текстов в A и B, "features" - признаки по убыванию модуля дельты Клиффа, при равной дельте - по относительной разности медиан: средние по окнам "mean_a" и "mean_b", разность медиан A - B "median_diff" с 95% бутстрэп-интервалом "ci_low" - "ci_high", дельта Клиффа "cliff_delta" (от -1 до 1: доля пар окон, где в A больше, минус доля, где меньше; по модулю от 0,147 - малый, от 0,33 - средний, от 0,474 - большой эффект, Romano и др. 2006) и p-значение U-критерия Манна-Уитни с поправкой Холма на число признаков "p_holm". Окна одного текста не независимы: p_holm считает их независимыми и занижено, если текстов в корпусе мало, а бутстрэп-интервал берет целые тексты и при одном тексте в корпусе не определен. Ключ "warnings" - предупреждения: корпус не на русском языке, тексты корпусов разной длины при whole_texts, тексты или их остатки не вошли в сравнение, в корпусе один текст, ни одно различие не значимо.
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| a | No | Тексты первого корпуса (A) | |
| b | No | Тексты второго корпуса (B) | |
| top_n | No | Число признаков с наибольшим различием | |
| window | No | Размер окна в словах; не задано - не больше 1000 и такой, чтобы самый короткий текст делился хотя бы на два окна, но не меньше 100 | |
| a_paths | No | Абсолютные пути к файлам с текстами корпуса A, вместе с a или вместо | |
| b_paths | No | Абсолютные пути к файлам с текстами корпуса B, вместе с b или вместо | |
| whole_texts | No | Сравнивать тексты целиком, без окон; нужно хотя бы по два текста |
Output Schema
| Name | Required | Description | Default |
|---|---|---|---|
No arguments | |||