Реклама на сайте (разместить):



Реклама и пожертвования позволяют нам быть независимыми!

Факторный анализ

Материал из Викизнание
Перейти к: навигация, поиск
Эвентология
Открытый Helgus~µастер~Kласс — H~µ~K
Это незавершённая статья из области эвентологии и её применений, редактируемая при участии Мастера

Факторный анализ представляет собой раздел многомерного статистического анализа, объединяющий методы оценки размерности множества наблюдаемых переменных посредством исследования структуры ковариационных или корреляционных матриц. Основное предположение факторного анализа заключается в том, что корреляционные связи между большим числом наблюдаемых переменных определяются существованием меньшего числа гипотетических наблюдаемых переменных или факторов. На сегодняшний день существует ряд методов факторного анализа, основное различие между которыми заключается в способах оценки факторной структуры и факторной нагрузки.


История[править]

Факторный анализ своими корнями связан с научным мировоззрением второй половины XIX столетия. Но началом современного этапа в развитии факторного анализа принято считать статью Спирмэна, опубликованную в 1904 г. под названием: <<General intelligence objectively determined and measured>>.

Спирмэн исходил из того, что один генеральный фактор, обозначенный им буквой g, и один характерный фактор оказывают решающее влияние на все интеллектуальные возможности. Он пытался проверить эту психологическую теорию с помощью своей простой факторной модели. Корреляции между различными психологическими тестами, с помощью которых контролировались интеллектуальные возможности, он объяснял генеральным фактором g и для каждого теста выделял один дополнительный характерный фактор. Эта так называемая двухфакторная теория через некоторое время, когда психологи начали работать с большими наборами психологических тестов, оказалась несовершенной.

В первые десятилетия XX столетия на развитие факторного анализа оказали влияние работы С. Барта, К. Пирсона, Г. Томсона, Д. Гарнетта и К. Хользингера. Хользингер в своей бифакторной теории пытался преодолеть недостатки, присущие двухфакторной теории. В свою модель кроме генерального и характерных факторов он включил групповые.

Однако концепция одного генерального фактора оказалась несостоятельной, и дальнейшее развитие теории привело, наконец, к так называемому многофакторному анализу Тэрстоуна. Тэрстоун не был первым, кто выделил несколько факторов из корреляционной матрицы. Но он внес значительный вклад в развитие теории, указав, что минимально необходимое число факторов соответствует рангу корреляционной матрицы. Использование Тэрстоуном матричной алгебры явилось переломным моментом в истории факторного анализа, позволив по-новому трактовать основные его положения.

В последние десятилетия на развитие факторного анализа оказывает сильное влияние математическая статистика и применение ЭВМ. Современный этап развития факторного анализа характеризуется исследованием многих частных проблем с различными моделями.

Схема решения и основные проблемы факторного анализа[править]

Проведение факторного анализа предполагает определенный базис статистических знаний, например умение вычислять среднее значение и стандартное отклонение, использовать статистические критерии, а также знакомство с корреляционным и регрессионным анализом. В этом пункте кратко описываются основные понятия корреляционного и регрессионного анализа.

Факторный анализ исходит непосредственно из коэффициентов корреляции, поэтому мы начнем с обсуждения метода их вычисления. При решении задачи измерения, у группы, состоящей из n лиц, или у n объектов, измеряются два признака или переменные x и y. В результате имеем отдельные значения x_{1},x_{2},...,x_{j},...,x_{n} и y_{1},y_{2},...,y_{j},...,y_{n} Вначале оба ряда наблюдения рассматриваем раздельно и для каждого из них вычисляем статистические характеристики. Важнейшей из этих характеристик является среднее значение x, которое получают, разделив сумму отдельных значений на n:

{\bar  x}={\frac  1n}\sum _{{j}}x_{j},\qquad \qquad {\bar  y}={\frac  1n}\sum _{{j}}y_{j}.

Кроме среднего значения вычисляют меру отклонения значений каждой переменной от этой средней. Для этого сначала определяют так называемую сумму квадратов отклонений отдельных значений от среднего:

\ S_{{xx}}=\sum _{{j}}(x_{j}-{\bar  x})^{2}=\sum _{{j}}x_{j}^{2}-{\frac  {(\sum x_{j})^{2}}{n}},
\ S_{{yy}}=\sum _{{j}}(y_{j}-{\bar  y})^{2}=\sum _{{j}}y_{j}^{2}-{\frac  {(\sum y_{j})^{2}}{n}}.

Если разделить сумму квадратов отклонений на n-1, так называемое число степеней свободы, то получим дисперсию:

\ s_{x}^{2}={\frac  {S_{{xx}}}{(n-1)}},\qquad \qquad \ s_{y}^{2}={\frac  {S_{{yy}}}{(n-1)}}.

Извлекая корень квадратный из дисперсии, получим характеристику, называемую стандартным отклонением:

\ s_{x}={\sqrt  {{\frac  {S_{{xx}}}{(n-1)}}}},\qquad \qquad \ s_{y}={\sqrt  {{\frac  {S_{{yy}}}{(n-1)}}}}.

Стандартное отклонение является мерой среднего отклонения отдельных значений от их средней.

До этого момента каждая переменная рассматривалась отдельно, по значениям каждой были вычислены среднее значение и стандартное отклонение. Вопрос, заключающийся в том, как по величине x судить о величине y, является задачей регрессионного исчисления.

Допустима другая постановка задачи, при которой не интересуются направлением и формой зависимости, а хотели бы знать, как сильна связь между двумя рядами наблюдений, относящихся к одним и тем же объектам. Это уже задача корреляционного исчисления.

Коэффициент корреляции служит мерой линейной взаимосвязи между двумя измеряемыми величинами. Он может принимать значения между +1 и -1. Если он равен нулю, то линейная связь между x и y отсутствует. Если он равен +1 или -1, то связь строго линейная. Формулы для вычисления коэффициента корреляции:

\ r_{{xy}}={\frac  {S_{{xy}}}{{\sqrt  {S_{{xx}}\cdot S_{{yy}}}}}}={\frac  {s_{{xy}}}{s_{x}\cdot s_{y}}},

где S_{{xy}} - сумма произведений отклонений:

\ S_{{xy}}=\sum _{{j}}(x_{j}-{\bar  x})(y_{j}-{\bar  y})=\sum _{{j}}x_{j}y_{j}-{\frac  {\sum x_{j}\sum y_{j}}{n}}

и s_{{xy}} - ковариация:

\ s_{{xy}}={\frac  {S_{{xy}}}{(n-1)}}.

При проведении факторного анализа все расчеты носят последовательный характер. Процедура выполнения вычислительных операций схематично представлена на рис. 1.


Shemafa.jpg
Рис. 1: Схема факторного анализа.

При этом приводится подробное описание важнейших матриц. Вертикальные стрелки соответствуют основным проблемам, возникающим при проведении факторного анализа в тех местах схемы, куда указывают эти стрелки.

Любой метод факторного анализа начинается с Y матрицы исходных данных. По ней вычисляется корреляционная матрица R. По главной диагонали корреляционной матрицы затем проставляют оценки общностей и получают R_{h}=(r_{{ik}}^{{h}}). Это составляет проблему общности , которая состоит в установлении оценок общностей h_{i}^{2}. Это самая первая проблема, которая возникает в ходе факторного анализа. Для ее решения в качестве общностей выбираем наибольшие значения элементов в каждом столбце матрицы R. Стрелка между R_{h} и A указывает на проблему факторов. Из R_{h} с помощью определенных способов извлекают факторы, получая в результате матрицу A. Столбцы матрицы A ортогональны и занимают произвольную позицию в отношении переменных,определяемую методом выделения факторов. Матрица A воспроизводит R_{h} по равенству R_{h}=A\cdot A^{{'}}.

Метод главных компонент[править]

Геометрическая интерпретация[править]


Glkom.jpg
Рис. 2: Трехмерное распределение точек с соответствующими главными осями.

При решении задачи измерения трех нормально распределенных параметров у n индивидуумов, получается ситуация, изображенная на рис.2, где n точек сосредоточены в трехмерном пространстве с тремя осями переменными X,Y,Z в облаке вокруг общего центра тяжести. Это облако точек наблюдений в общем случае имеет овальную форму и называется эллипсоидом. В частном случае, когда во всех трех направлениях дисперсия одинакова по величине, получают шар.

На рис.2 изображено овальное тело с тремя секущими плоскостями (различно заштрихованными), проходящими через центр тяжести. Оси координат исходных, переменных X, Y, Z являются более или менее произвольными. Вполне очевидно, что имеется бесконечно много систем координат, в которых можно изобразить наблюдаемые точки. Но одна из них представляет особый интерес. Это система координат главных осей:

  • первой главной осью \lambda _{1} является самый длинный диаметр овального тела,
  • второй главной осью \lambda _{2} является самый длинный диаметр в плоскости, ортогональной к первой главной оси и проходящей через центр тяжести системы (заштрихована вертикально),
  • третья главная ось \lambda _{3} в трехмерном случае перпендикулярна к первой и второй главным осям и проходит через центр тяжести.


В геометрическом плане метод главных факторов состоит в том, что:

  1. определяют самую длинную ось эллипсоида Она является первой главной осью, которая должна пройти через центр тяжести, на рис.1 эта ось обозначена буквой \lambda _{1}.
  2. устанавливают подпространство - в данном случае плоскость, - которое перпендикулярно к первой главной оси и которое проходит через центр тяжести (на рис.1 заштриховано вертикально).В этом подпространстве находится следующая по величине ось скопления точек и т. д., пока не будут определены последовательно все главные оси.


Длины главных осей пропорциональны величинам дисперсий в направлении соответствующей главной оси. С помощью метода главных факторов устанавливаются направления этих осей относительно первоначальной системы координат. Главные оси соответствуют факторам, которые должны быть лишь надлежащим образом пронормированы, чтобы выполнялось требование единичной дисперсии факторов.

Переход от системы координат XYZ к системе \lambda _{1}\lambda _{2}\lambda _{3} соответствует геометрическому решению задачи выделения факторов, осуществляемому с помощью метода главных факторов. Этот переход от одной системы координат к другой без потери информации на практике большей частью возможен лишь тогда, когда определяются все главные компоненты, т. е. для m переменных определяют m главных компонент. При благоприятных обстоятельствах, а на практике это встречается довольно часто, довольствуются меньшим числом главных осей, но достаточным, чтобы воспроизвести большую часть дисперсии. При применении метода главных факторов исходят большей частью не из тестового пространства, к которому здесь прибегают ради наглядности, а из корреляционной матрицы. Как будет далее показано, каждой главной оси соответствует собственный вектор \alpha и собственное значение \lambda корреляционной матрицы. Собственное значение \lambda имеет порядок величины дисперсии, корень из него соответствует поэтому длинам главных осей.

Алгебраическое решение[править]

Рассмотрим подход к выделению главных осей, который исходит из максимизации дисперсии в одном направлении при введении дополнительных условий. Классическая модель факторного анализа имеет вид:

\ R-U^{2}=ACA',

где С - матрица коэффициентов корреляции между факторами, U - диагональная матрица с характерностями \ u_{i}^{2} на главной диагонали (\ u_{i}^{2}=1-h_{i}^{2}), A - матрица отображения. Если принять \ C=I, то факторы должны быть ортогональны. Считаем известной \ U^{2} и для вывода приравниваем \ U^{2} нулевой матрице. Однако метод пригоден также для оценки характерностей в матрице \ U^{2}. Таким образом, классическая модель факторного анализа упрощается и принимает вид:

\ R={AA'}

Эта система уравнений имеет однозначное решение с вводом дополнительных условий, а именно: сумма квадратов нагрузок первого фактора должна составлять максимум от полной дисперсии; сумма квадратов нагрузок второго фактора должна составлять максимум оставшейся дисперсии и т. д., т. е. максимизирует функцию

\ S_{1}=\sum _{{i=1}}^{m}a_{{i1}}^{2}=max

при {\frac  {m(m-1)}{2}} независимых друг от друга условиях

\ r_{{ik}}=a_{{i1}}\cdot a_{{k1}}\qquad (i,k=1,...,m,i<k).

Для максимизирования функции, связанной некоторым числом дополнительных условий, пользуются методом множителей Лагранжа. В результате приходят к системе m однородных уравнений с m неизвестными \ a_{{i1}}:

\ (1-\lambda )a_{{11}}+r_{{12}}a_{{21}}+...+r_{{1m}}a_{{m1}}=0
\ r_{{21}}a_{{11}}+(1-\lambda )a_{{21}}+...+r_{{2m}}a_{{m1}}=0

..............................................................................

\ r_{{m1}}a_{{11}}+r_{{m2}}a_{{21}}+...+(1-\lambda )a_{{m1}}=0

Необходимым и достаточным условием существования нетривиального решения этой системы является равенство нулю детерминанта матрицы коэффициентов этих уравнений. Детерминант (определитель) называют характеристическим, а в развернутом виде - характеристическим уравнением. Все m корней этого уравнения действительны, т. е. \lambda _{1}\geq \lambda _{2}\geq ...\geq \lambda _{m}\geq 0 являются возможными, иногда совпадающими решениями. Если в систему подставить найденное значение \lambda _{1} то получим вектор решения (\alpha _{{11}},...,\alpha _{{m1}}), который удовлетворяет указанным дополнительным условиям и имеет максимум при \sum _{{i=1}}^{m}\alpha _{{i1}}^{2}. То же самое имеет место для \lambda _{2}, т. е. получаем в качестве решения вектор (\alpha _{{22}},...,\alpha _{{m2}}), причем \sum _{{i=1}}^{m}\alpha _{{i2}}^{2} является максимумом в отношении оставшейся дисперсии и т. д. Эта система равенств составляет так называемую проблему собственных значений действительной симметрической матрицы. В общем она записывается в следующем виде:

\ R\alpha _{l}=\lambda _{l}\alpha _{l}

или

\ (R-\lambda _{l}I)\alpha _{l}=0,

где \lambda _{l} - собственные значения, они соответствуют собственным векторам \alpha _{l} матрицы R. Тот факт, что максимизация функции приводит к классической проблеме собственных значений, облегчает численное решение системы уравнений, так как проблема собственных значений достаточно разработана. Факторы пропорциональны собственным векторам матрицы R. Путем нормирования получим искомые значения \ a_{{il}} матрицы A по компонентам собственных векторов матрицы R:

\ a_{{il}}=\alpha _{{il}}\cdot {\frac  {{\sqrt  {\lambda _{l}}}}{{\sqrt  {\alpha _{{1l}}^{2}+\alpha _{{2l}}^{2}+...+\alpha _{{ml}}^{2}}}}}.

Центроидный метод[править]

Синонимом названия <<центроидный метод>> является <<метод центра тяжести>>. Это название объясняет принцип метода. Положение первой координатной оси должно быть определено так, чтобы она проходила через центр тяжести скопления точек. Как уже упоминалось, факторное отображение можно рассматривать как размещение m точек-переменных в r-мерном пространстве, причем отдельные точки или векторы представляют переменные.


Cenmet.jpg
Рис. 3: Определение положения координатных осей с помощью центроидного метода.

На рис.3.А схематично изображены несколько точек-переменных в двумерной системе координат. Кроме того, указана нулевая точка, в которой начинаются все векторы. Это соответствует типичной ситуации перед началом выделения факторов. Переменные представлены m точками в r-мерном пространстве, положение нулевой точки известно. Разумеется, точное значение необходимой размерности пространства неизвестно. Точки можно изобразить в очень многих ортогональных системах координат, из которых на рис.3.А представлены две - F_{1}F_{2} и F_{{1}}^{{'}}F_{{2}}^{{'}} Чтобы получить однозначное положение системы координат, уславливаются, что первая ось должна проходить через центр тяжести S скопления точек-переменных. Вторая ось F_{2} перпендикулярна к первой. Это положение осей соответствует позиции факторов в центроидном решении.

В методе главных факторов для определения предпочтительной системы координат требовалось, чтобы вдоль первой оси лежал максимум дисперсии. В центройдном методе требуется, чтобы первая ось проходила через центр тяжести. Назначение обоих требований - попытаться однозначно определить положение системы координат.

Проекции точек на оси координат на рис.3.Б определяют факторные нагрузки a_{{il}}, которые рассчитываются по корреляционной матрице.

\ a_{{k1}}=t\cdot \sum _{{i}}r_{{ik}}\qquad (k=1,...,m)

По этой вычисляются нагрузки первого центроидного фактора.После вычисления нагрузок первого фактора по (1.6) определяют остаточные корреляции:R_{h}-a_{1}\cdot a_{{1}}^{{'}}=R_{1}, где a_{1} является вектор-столбцом факторных нагрузок. Матрица a_{1}\cdot a_{{1}}^{{'}}=R^{+} содержит так называемые воспроизведенные корреляции. R_{1} дает остаточные корреляции, которые остаются после выделения первого фактора (R_{1}- остаточная матрица). Если принимают решение выделить второй фактор, то повторяется та же самая вычислительная процедура по матрице остатков R_{1}. Предположим, второй фактор выделен. Затем опять определяется остаточная матрица R_{2}=R_{1}-a_{2}a_{{2}}^{{'}} и принимается решение, выделять ли следующий фактор и т.д., пока последняя остаточная матрица не будет достаточно точно соответствовать нулевой матрице.


См. также[править]

Статью можно улучшить?
✍ Редактировать 💸 Спонсировать 🔔 Подписаться 📩 Переслать 💬 Обсудить
Позвать друзей
Вам также может быть интересно: