Использование теории множеств в сравнительно-логических методах выделения текстов на исламскую тематику в процессе мониторинга сетевых ресурсов

Abstract

Выделение текстов исламского содержания в сетевых ресурсах может проводиться с помощью сравнительно-логических методов «проверка на вхождение» и «пересечение множеств». Для какого-либо языка предварительно собирается корпус прецедентных текстов на исламскую тематику. Из этого корпуса при помощи статистических методов извлекается множество ключевых понятий. Список выделенных ключевых слов представляется в виде множества. Сформированное множество ключевых понятий может быть представлено в виде базы данных и в дальнейшем используется в качестве эталонного множества А. Тексты, представляющие интерес для экспертизы, представляются в виде множества понятий Б. Множество А сравнивается с множеством А на предмет пересечения. Наличие в множестве Б элементов множества А, характер и степень пересечения двух множеств позволяет идентифицировать текст, представляющий интерес для экспертизы. Язык программирования Python предоставляет широкие возможности для работы со строками, кортежами, словарями и множествами. В процессе мониторинга сетевых ресурсов и поиска текстов на исламскую тематику необходимо использовать методы, изложенные в статье, а также базы данных с эталонными списками ключевых слов. The procedure of identifying texts on Islamic content in network resources can be carried out using methods of comparative logic «check on entry» and «intersection of sets.» For any language the preassembled corpus of precedent texts on Islamic content is to be joint. The list of key concepts is extracted from these corpora with the help of statistical methods. The list of the selected keyword appears in the form of a set. The entity of key concepts can be represented as a database and can be used as a reference set A. The texts under expertise will be presented as a set of concepts B. The set A is compared with the set B. The variety of the set B elements from the set A, the nature and degree of the intersection of the two sets allows us to identify the text as having an Islamic character. Python programming language provides great opportunities for working with strings, tuples, dictionaries, and sets. In the process of monitoring network resources and searching for texts on Islamic content the methods outlined in this article, as well as a database with the reference lists of keywords can be used.