Основные области приложения структурно-вероятностной модели языка

Лингвистический мониторинг функционирования языка. Задача лингви­стического мониторинга заключается в выявлении общих особенностей функционирования языковой системы в конкретном типе дискурса (на­учном, политическом дискурсе, текстах средств массовой информации и т.д.). В качестве предмета лингвистического мониторинга могут высту­пать такие феномены естественного языка, как типы языковых ошибок, сфера иностранных заимствований, новые слова и значения, новые (креативные, творческие — не конвенциональные) метафоры, темати­ческое распределение лексики (например, лексика временных и про­странственных отношений, лексика выражения чувств и эмоций, спор­тивная лексика и т.д.), особенности использования в текстах тех или иных грамматических форм, синтаксических конструкций. Технология лингвистического мониторинга основывается на двух важнейших пред­посылках: во-первых, на регулярности и периодичности анализируемых данных, и, во-вторых — на достаточно большом объеме привлекаемого материала, на репрезентативности выборки данных. В силу этого лингви­стический мониторинг невозможен без соответствующего компьютерного обеспечения. Использование компьютерной технологии позволяет давать

оценку исследуемому феномену, выявляя его распреде­ление по времени, по источникам, авторам и т.д.

Информация о статистических закономерностях функционирования языковой системы лежит в основе некоторых методик анализа данных, разрабатываемых в политической лингвистике. Методика контент-анализа используется для выявления структуры и состояния общественного сознания. При помощи контент-анализа по­является возможность по частоте употребления лексем реконструировать, например, ценностные ориентации общества, выявлять актуальные темы публичной политики, оценивать динамику изменения тематики полити­ческих дискуссий и т.д.

Компьютерное моделирования языка и речи. Другая важная область прикладного использования знаний о частоте использования тех или иных языковых структур — компьютерная лингвистика. Многие компью­терные программы, связанные с функционированием языка, используют алгоритмы, основывающиеся на данных о частоте употребления фонем, морфем, лексических единиц и синтаксических конструкций. Например, программы автоматической коррекции орфографии содержат словари, как правило, только наиболее частотных лексем. Редкие слова пользова­тель может вводить в свой индивидуальный словарь. Аналогичные словари используются в программах автоматического распознавания письменного текста и речи (типа Fine Reader). Абсолютная частота появления лексем (особенно терминологической лексики) используется в системах автома­тического аннотирования и реферирования.

Дешифровка кодированного текста. В процессе дешифровки также могут использоваться данные о частоте употребления графем, мор­фем и слов, а также их взаимном расположении. К настоящему вре­мени разработаны продуктивные алгоритмы дешифровки, основанные на частоте и дистрибуции элементов кодированного текста.

Авторизация/атрибуция текста. Проблема авторизации текста отно­сится к числу классических проблем филологического исследования. Часто она рассматривается в рамках «количественной стилистики» — стилеметрии. Авторизация включает как литературную, так и лингви­стическую составляющую. Новый метод - Н. А. Морозов. Существенно, что в квантитативном анализе Морозов предлагал опираться не на тематичес­ки связанную лексику — слова, определяемые спецификой описываемого материала, его предметной и проблемной ориентацией, — а на служеб­ные слова и слова тематически нейтральные. Дело в том, что именно особенности употребления служебных слов, лексем с общей семантикой, не привязанной к тематике художественного произведения, формируют авторский стиль и практически не поддаются имитации.

Лингвистические основа­ния авторизации могут быть различны, но использование количествен­ных методов анализа оказывается неизбежным.

7. Стилеметрия. Речевые стили и вероятностные характеристики единиц различных уровней языка.

Стилеметрия – это сопоставляющее учение стилей, измерение стилистических явлений с целью упорядочивания и систематизации текстов и их частей.

Термин *стилеметрия* был введен Диттенбергером в к. 19-го века (занимался атрибуцией и датировкой диалогов Платона).

Первое систематическое изучение стилей предпринял Ломоносов: теория трех штилей: высокий (оды, героич. поэмы, речи о высоких материях).

1) низкий (на народно-разг. речи, песни, комедии).

2) средний (театральн. сочинения, дружеские письма, описания дел достойных и благородных).

Ломоносов попытался все средства языка развести по этим трем стилям, но в действит-ти стили различаются не конкретными маркерами, а вероятностью встречаемости одних и тех же средств.

Б.Н. Головин: функциональные стили языка – типы функционирования языка, соответствующие различиям социальной практики коллектива и отличающиеся друг от друга существенными различиями вероятностей языковых единиц и категорий, достаточных для их совокупного качественного опознавания людьми на интуитивном уровне восприятия речи.