Об одном подходе к реализации информационной инфраструктуры обновляемого информационного поиска

Abstract

Основные задачи в сфере информационных технологий, стоящие перед бизнесом сегодня, так или иначе касаются обработки информации и поиска новых сведений в ней. Используются статистические методы, модели машинного обучения и более простые методы и модели. Однако всем решениям, направленным на поиск информации, необходима информационная инфраструктура, которая была бы адекватна основным требованиям, предъявляемым к системам такого рода. Цель исследования: описание основных функциональных и технических требований, которые предъявляются к современным системам, в задачи которых входит реализация обновляемого информационного поиска; формирование основополагающих архитектурных предложений по дизайну системы в целом и ее ключевых частей в частности; выявление основных составляющих частей информационной системы и подходов к решению ключевых задач для решений, построенных на основе механизма обмена сообщениями. Материалы и методы. Рассматривается современная постановка задачи по созданию корпоративных информационных систем обновляемого информационного поиска. Сравниваются наиболее интересные в рамках рассматриваемой постановки задачи брокеры обмена сообщениями. Результаты. В статье обосновывается актуальность задачи создания информационных систем обновляемого поиска информации. Делается постановка задачи по созданию систем такого рода. Дается обзор дизайна архитектуры решения на высоком уровне абстракции. Раскрывается модульный состав рассматриваемой информационной системы. Обосновывается и принимается решение использовать в качестве брокера обмена сообщениями инструмент Kafka. Разбираются нюансы технических решений для устранения проблем дублирующихся записей и фильтрации последних результатов поиска информации. Major tasks in the field of information technology that business faces today one way or another relate to data processing and search for new information in it. The methods in use include statistical methods, machine learning models, and simpler methods and models. However, all solutions aimed at information search require an information infrastructure that would meet the basic requirements for systems of this kind. The purpose of the study was to describe the main functional and technical requirements to modern systems implementing renewable information search. The author meant to form fundamental architectural proposals for the design of the system as a whole and its key parts, as well as to identify the main components of the information system and approaches to solving key problems for solutions based on the message exchange mechanism. Materials and methods. The paper considers the modern statement of the problem of creating enterprise information systems for renewable information search. The author compares message brokers that are viewed as the most interesting in the framework of this statement. Results. The article substantiates the relevance of the problem of creating information systems for renewable information search and formulates the task to create a system of such kind. The author makes an overview of the architecture design of the solution at a high level of abstraction. The modular composition of the information system under consideration is discussed. Kafka is chosen and substantiated as the most suitable message broker. The nuances of technical solutions to eliminate duplicate records and filter the latest information search results are analyzed.