Точное оценивание линейных регрессионных моделей методом наименьших модулей на основе спуска по узловым прямым

Abstract

При построении линейных моделей во многих случаях приходится сталкиваться со стохастической неоднородностью экспериментальных данных. Это проявляется в нарушении условий теоремы Гаусса–Маркова, в частности наблюдения могут быть засорены грубыми ошибками. В этих условиях оценивание параметров моделей требуется выполнять с помощью устойчивых методов. К их числу относят метод наименьших модулей. Однако известные алгоритмы его реализации являются достаточно эффективными лишь для малых размерностей моделей и ограниченного объема выборок. Цель данного исследования – разработка эффективных вычислительных алгоритмов реализации метода наименьших модулей, не имеющих ограничений на порядок моделей и объем экспериментальных данных. Описаны алгоритмы точного решения задачи оценивания параметров линейных регрессионных моделей методом наименьших модулей. Они основаны на спуске по узловым прямым. Для снижения вычислительных затрат использована особенность узловых прямых – все расположенные на каждой такой прямой узловые точки являются пересечением набора гиперплоскостей, из которых различными является только одна гиперплоскость. Данные алгоритмы значительно выигрывают по сравнению с известным переборным алгоритмом и могут эффективно использоваться на практике. Получена оценка вычислительной сложности алгоритма спуска по узловым прямым. Приведена схема алгоритма. When building linear models, in many cases one has to deal with stochastic nonhomogeneity of experimental data. This manifests itself in violation of the assumptions of the Gauss–Markov theorem, in particular, observations can contain outliers. Under these circumstances the estimation of the parameters of models is required to be performed using resistant methods. Among those is the least absolute deviations method. However, the known algorithms for its implementation are sufficiently effective only for small dimensions of models and a limited volume of samples. The purpose of this study is the development of effective computational algorithms for implementation of the least absolute deviations method, which have no limitations as to the order of models, and the amount of experimental data. Algorithms for the exact solution of the problem on estimating the parameters of linear regression models by the least absolute deviations method are described. They are based on the descent through the nodal straight lines. To reduce computational costs, the particular feature of nodal straight lines is used – all nodes located on each such straight line are intersections of a set of hyperplanes, of which only one hyperplane is different. These algorithms significantly outperform the best-known brute-force search and can be effectively used in practice. The computational complexity of the descent algorithm for nodal straight lines is assessed. The scheme of the algorithm is provided.