Prediction of the integrated indicator of quality of a new object under the conditions of multicollinearity of reference data

Abstract

Prediction of a new object state at a lack of the known characteristics and estimates of quality indicators of a number of studied objects (a set of reference data) often leads to the problem of multicollinearity of basic data. We propose the following three ways to overcome this problem relating to the sphere of data mining: use a ridge regression, train with the teacher a two-layer neural network, consecutive adapt a single-layer neural network. Also, we compare characteristics of the proposed ways. In the ridge regression method, the introduction of a regularizing term into the LMS equation gives an approximate solution with a sufficient degree of accuracy. A disadvantage of use of the two-layer neural network “feed-forward backprop” and the procedure of training with the teacher “train” is that adjusted weights of the neural network take chaotic (and even negative) values that contradicts a common practice of examination. The following features are revealed: considerable dispersion of weights and shifts of a neural network, ambiguity of the solution due to the choice of random initial conditions, strong dependence on a training algorithm. In order to overcome this shortcoming, we propose a transition to consecutive adaptation of a single-layer neural network with fixing shifts of neurons at zero level. Предсказание состояния нового объекта при недостатке известных характеристик и оценок показателей качества ряда изученных объектов (множества референтных данных) зачастую приводит к проблеме мультиколлинеарности исходных данных. Предлагаются три способа преодоления этой проблемы, относящиеся к сфере data mining: использование гребневой (ridge) регрессии, обучение с учителем двухслойной нейронной сети, последовательная адаптация однослойной нейронной сети и сравниваются их характеристики. В методе гребневой регрессии введение регуляризирующего слагаемого в уравнение МНК дает приближенное решение с достаточной степенью точности. Недостатком использования двухслойной нейронной сети ≪feed-forward backprop≫ и процедуры обучения с учителем ≪train≫ является то, что настроенные веса нейронной сети принимают хаотичные (и даже отрицательные) значения, что противоречит обычной практике экспертизы. Выявлены следующие особенности: значительный разброс весов и смещений нейронной сети, неоднозначность решения за счет выбора случайных начальных условий, сильная зависимость от алгоритма обучения. Для преодоления этого недостатка предложен переход к последовательной адаптации однослойной нейронной сети с фиксацией смещений нейронов на нулевом уровне.