Разработка гибридного алгоритма обучения структуры динамической байесовской сети на основе метода Левенберга – Марквардта

Abstract

Для моделирования сложных стохастических процессов функционирования современных многопользовательских информационно-коммуникационных систем достаточно эффективно применяются динамические байесовские сети. Динамические байесовские сети представляют собой графические вероятностные модели, отражающие топологию и стохастические причинно-следственные связи между элементами моделируемых процессов обработки информации. Построение топологии динамических байесовских сетей, адекватно отражающей вероятностные и функциональные связи между элементами процессов, является ключевым факто- ром успеха при моделировании с помощью данного инструментального средства. Топология сетей, как правило, строится или экспертным путем, или на основании обучения. Механизмы обучения позволяют получить остовную структуру сети, а также определить условные связи и их направленность между отдельными вершинами сети. В статье рассмотрены вопросы применения математического аппарата проверки статистических гипотез о наличии зависимости между случайными величинами, опирающегося на статистические критерии Пирсона, Шварца, Акаике и Байеса – Дирихле. В отличие от статических байесовских сетей при определении структуры динамических байесовских сетей необходимо определять переменные и связи между ними не только внутри одного среза, но и между переменными различных срезов, которые реализуют транзитивные связи между временными этапами функционирования некоторого процесса или объекта. Построение структуры транзитивных связей между срезами является достаточно сложным и проблемным этапом почти всех существующих алгоритмов. В данной статье в рамках оптимизации алгоритмов построения динамических байесовских сетей с транзитивными связями между срезами представлен алгоритм обучения структуры динамической байесовской сети, базирующийся на методе Левенберга – Марквардта. Dynamic Bayesian networks are used quite effectively for modeling complex stochastic processes of modern multi-user information and communication systems. Dynamic Bayesian networks are graphical probabilistic models that reflect topology and stochastic cause and effect relationships between elements of the handled simulated information processes. The construction of topologies of dynamic Bayesian networks that appropriately reflect the probabilistic and functional relationships between the elements of such processes is a main factor in the simulation using this tool. Network topology usually built either by expert means or be means of training. Training mechanisms allow to get spanning tree of the network, as well as to determine the conditional connections and their direction between the individual vertices of the network. In this article regard the usage of mathematical apparatus for testing statistical hypotheses based on conditional independency tests between random variables with the Pearson criteria, Schwartz, Akaike and Bayes-Dirichlet metrics. Unlike static Bayesian networks, when determining the structure of dynamic Bayesian networks, it is necessary to determine variables and relations between them not only within one slice, but also between variables of different slices, which implement transitive connections between the time slices that reflect functioning of a certain process or object. The construction of structure of transitive links between slices is a rather complex and problematic step in almost all existing algorithms. This article presents an algorithm for learning the structure of a dynamic Bayesian network based on the Levenberg- Marquardt method within the optimization of algorithms for constructing dynamic Bayesian networks with transitive links between slices.