Снижение размерности и отбор наиболее информативных переменных. Оценка методов уменьшения размерности данных, применяемых для преобразования видеопотока при идентификации личности. Преимущества уменьшения размерности

Цель исследования:

Оценка эффективности методик уменьшения размерности данных для оптимизации их применения на практике распознавания (идентификации).

Задачи исследования:

1. Обзор литературных источников о существующих методах уменьшения размерности данных.

2. Проведение исследований (экспериментов) для сравнения эффективности применяемых на практике алгоритмов уменьшения размерности данных в задачах классификации

Методы исследования (программные средства):

Язык программирования С++, библиотека OpenCV

Восприятие данных высокой размерности для человека трудно, а порой невозможно. В связи с этим, вполне закономерным стало желание перейти от многомерной выборки к данным небольшой размерности, чтобы «на них можно было посмотреть», оценить и использовать, в том числе для достижения задач распознавания. Кроме наглядности, уменьшение размерности позволяет избавиться от факторов (информации), которые мешают статистическому анализу, удлиняя время сбора информации, увеличивая дисперсию оценок параметров и характеристик распределений.

Уменьшение размерности - это преобразование исходных данных с большой размерностью в новое представление меньшей размерности, сохраняющее основную информацию. В идеальном случае размерность преобразованного представления соответствует внутренней размерности данных. Внутренняя размерность данных - это минимальное число переменных, необходимое, чтобы выразить все возможные свойства данных. Аналитическая модель, построенная на основе сокращенного множества данных, должна стать проще для обработки, реализации и понимания, чем модель, построенная на исходном множестве.

Решение о выборе метода сокращения размерности основывается на знании об особенностях решаемой задачи и ожидаемых результатах, а также ограниченности временных и вычислительных ресурсов. По данным литературных обзоров к наиболее часто используемым методам снижения размерности относятся Principal Component Analisys (PCA), Independent Component Analisys (ICA) и Singular Value Decomposition (SVD).

Анализ главных компонент (PCA) - самый простой метод уменьшения размерности данных. Он широко применяется для преобразования признаков при уменьшении размерности данных в задачах классификации. Метод основан на проецировании данных на новую координатную систему меньшей размерности, которая определяется собственными векторами и собственными числами матрицы. С точки зрения математики метод главных компонент представляет собой ортогональное линейное преобразование.

Основная идея метода заключается в вычислении собственных чисел и собственных векторов ковариационной матрицы данных с целью минимизации дисперсии. Матрица ковариации используется для определения разброса относительно среднего по отношению друг к другу. Ковариация двух случайных величин (размерностей) – мера их линейной зависимости:

где – математическое ожидание случайной величины X, – математическое ожидание случайной величины Y. Также мы можем записать формулу (1) в виде:

где – среднее Х, где – среднее Y, N – размерность данных.

После вычисления собственных векторов и собственных чисел их значения сортируются в порядке убывания. Таким образом, компоненты получаются в порядке уменьшения значимости. Собственный вектор с самым большим собственным числом и есть главная компонента набора данных. Главные компоненты получаются умножением строк из собственных векторов на отсортированные собственные значения. Для нахождения оптимального пространства меньшей размерности используется формула (3), по которой рассчитывают минимальную ошибку между исходным набором данных и полученным по следующему критерию:

где P – размерность нового пространства, N – размерность исходной выборки, – собственные числа, – пороговое значение. В ходе работы алгоритма получаем матрицу с данными MP, линейно преобразованную из MN, после чего PCA находит линейное отображение M, минимизирующее оценочную функцию:

где – евклидово расстояние между точками и ,– евклидово расстояние между точками и , , . Минимум этой оценочной функции можно вычислить, выполнив спектральное разложение матрицы Грама и умножив собственные вектора этой матрицы на корень из соответствующих собственных чисел.

Анализ независимых компонент ( ICA ) , в отличие от PCA - достаточно новый, но быстро набирающий популярность метод. В его основе лежит идея линейного преобразования данных в новые компоненты, которые максимально статистически независимы и необязательно ортогональны друг другу. Для исследований в настоящей работе был выбран алгоритм FastICa, подробно описанный в статье . Основными задачами данного метода являются центрирование(вычитание среднего из данных) и «отбеливание»(линейное преобразование вектора x в вектор с некоррелированными координатами, дисперсия которых равна единице).

Критерием независимости в FastICA является негауссовость, которая измеряется с помощью коэффициента эксцесса:

Для гауссовских случайных величин эта величина равна нулю, поэтому FastICA максимизирует её значение. Если – «отбеленные» данные, то матрица ковариации «отбеленных» данных – единичная матрица.

Подобное преобразование всегда возможно. Популярный метод «отбеливания» использует спектральное разложение матрицы ковариации , где – ортогональная матрица собственных векторов, а – диагональная матрица собственных чисел,. Выходит, что «отбеливание» можно представить в виде:

где матрица вычисляется покомпонентной операцией:

Эксперименты

Для экспериментального исследования предложенных методов использовались раскадрированные видеопоследовательности из базы данных CASIA GAIT. База содержит последовательности бинарных изображений, соответствующих отдельным кадрам видеопоследовательности, на которых уже выполнено выделение движущихся объектов.

Из всего множества видеопоследовательностей были случайным образом взяты 15 классов, в которых угол съемки составляет 90 градусов, люди изображены в обычной не зимней одежде и без сумок. В каждом классе было 6 последовательностей. Длина каждой последовательности составляла не менее 60 кадров. Классы были разделены на обучающую и тестовую выборки по 3 последовательности каждая.

Полученные в результате методов PCA и ICA признаки использовались для обучения классификатора, в качестве которого в настоящей работе выступала машина опорных векторов (Support Vector Machines, SVM).

Для определения качества работы метода оценивалась точность классификации, определяемая как доля правильно классифицированных объектов. Во время проведения эксперимента также фиксировалось время, затрачиваемое в режиме обучения и тестирования.

Рисунок 1. а) Метод главных компонент (PCA) б) Метод независимых компонент (ICA)

На рисунке 1(а,б) представлена зависимость точности классификации от значения выходной размерности данных после преобразования. Видно, что в PCA точность классификации при увеличении количества компонент изменяется незначительно, а при использовании ICA точность, начиная с некоторого значения, начинает падать.

Рисунок 2. Зависимость времени классификации от количества компонент а) PCA , б) ICA

На рисунке 2(а,б) представлена зависимость времени классификации от количества компонент PCA и ICA. Рост размерности в обоих случаях сопровождался линейным возрастанием времени обработки. Из графиков видно, что классификатор SVM работал быстрее после снижения размерности с помощью метода главных компонент (PCA).

Методы Principal Component Analisys (PCA), Independent Component Analisys (ICA) работали достаточно быстро и при определенных параметрах были получены высокие результаты в задаче классификации. Но с данными со сложной структурой эти методы не всегда позволяют достичь желаемого результата. Поэтому в последнее время всё больше уделяется внимания локальным нелинейным методам, которые совершают проекцию данных на некоторое многообразие, позволяющее сохранить структуру данных.

В будущем планируется расширить как список алгоритмов, используемых для формирования признакового описания, так и список используемых методов классификации. Другим важным направлением исследований представляется снижение времени обработки.

Список литературы:

Jolliffe, I.T, Principal Component Analysis, Springer, 2002
Hyvärinen and Erkki Oja, Independent Component Analysis: Algorithms and Applications, Neural Networks, 13, 2000
Josiński, H. Feature Extraction and HMM-Based Classification of Gait Video Sequences for the Purpose of Human Identification/ Springer, 2013 - Vol 481.

Понижение размерности (Data reduction)

В аналитических технологиях под понижением размерности данных понимается процесс их преобразования в форму, наиболее удобную для анализа и интерпретации. Обычно оно достигается за счёт уменьшения их объема, сокращения количества используемых признаков и разнообразия их значений.

Часто анализируемые данные являются неполными, когда они плохо отображают зависимости и закономерности исследуемых бизнес-процесов . Причинами этого могут быть недостаточное количество наблюдений, отсутствие признаков, которые отражают существенные свойства объектов. В этом случае применяется обогащение данных .

Понижение размерности применяется в противоположном случае, когда данные избыточны. Избыточность возникает тогда, когда задачу анализа можно решить с тем же уровнем эффективности и точности, но используя меньшую размерность данных. Это позволяет сократить время и вычислительные затраты на решение задачи, сделать данные и результаты их анализа более интерпретируемыми и понятными для пользователя.

Сокращение числа наблюдений данных применяется если решение сравнимого качества можно получить на выборке меньшего объема, сократив, тем самым, вычислительные и временные затраты. Особенно это актуально для алгоритмов, не являющихся масштабируемыми , когда даже небольшое сокращение числа записей приводит к существенному выигрышу в вычислительных временных затратах.

Сокращение числа признаков имеет смысл проводить тогда, когда информация, необходимая для качественного решения задачи, содержится в некотором подмножестве признаков и необязательно использовать их все. Особенно это актуально для коррелирующих признаков. Например, признаки "Возраст" и "Стаж работы", по сути, несут одну и ту же информацию, поэтому один из них можно исключить.

Наиболее эффективным средством сокращения числа признаков является факторный анализ и метод главных компонент .

Сокращение разнообразия значений признаков имеет смысл, например, если точность представления данных избыточна и вместо вещественных значений можно использовать целые без ухудшения качества модели. Но при этом уменьшится занимаемый данными объем памяти и вычислительные затраты.

Подмножество данных, полученное в результате сокращения размерности, должно унаследовать от исходного множества столько информации, сколько необходимо для решения задачи с заданной точностью, а вычислительные и временные затраты на сокращение данных не должны обесценивать полученные от него преимущества.

Аналитическая модель, построенная на основе сокращенного множества данных, должна стать проще для обработки, реализации и понимания, чем модель, построенная на исходном множестве.

Решение о выборе метода сокращения размерности основывается на априорном знании об особенностях решаемой задачи и ожидаемых результатах, а также ограниченности временных и вычислительных ресурсов.

В результате изучения материала главы 5 обучающийся должен:

знать

основные понятия и задачи снижения размерности:
подходы к решению задачи трансформации признакового пространства;

уметь

использовать метод главных компонент для перехода к стандартизованным ортогональным признакам;
оценивать уменьшение информативности данных при снижении размерности признакового пространства;
решать задачу построения оптимальных многомерных шкал для исследования объектов;

владеть

методами снижения размерности для решения прикладных задач статистического анализа;
навыками интерпретации переменных в преобразованном признаковом пространстве.

Основные понятия и задачи снижения размерности

На первый взгляд, чем больше информации об объектах исследования в виде совокупности характеризующих их признаков будет использовано для создания модели, тем лучше. Однако чрезмерный объем информации может привести к снижению эффективности анализа данных. Существует даже термин "проклятие размерности" (curse of dimensionality ), характеризующий проблемы работы с высокоразмерными данными. С необходимостью снижения размерности в той или иной форме связано решение различных статистических проблем.

Неинформативные признаки являются источником дополнительного шума и влияют на точность оценки параметров модели. Кроме того, наборы данных с большим числом признаков могут содержать группы коррелированных переменных. Наличие таких групп признаков означает дублирование информации, которое может искажать спецификацию модели и влиять на качество оценки ее параметров. Чем выше размерность данных, тем выше объем вычислений при их алгоритмической обработке.

Можно выделить два направления в снижении размерности признакового пространства по принципу используемых для этого переменных: отбор признаков из имеющегося исходного набора и формирование новых признаков путем трансформации первоначальных данных. В идеальном случае сокращенное представление данных должно иметь размерность, соответствующую размерности, внутренне присущей данным (intrinsic dimensionality).

Поиск наиболее информативных признаков, характеризующих исследуемое явление, представляет собой очевидное направление снижения размерности задачи, не требующее преобразования исходных переменных. Это позволяет сделать модель более компактной и избежать потерь, связанных с мешающим действием малоинформативных признаков. Отбор информативных признаков состоит в поиске наилучшего подмножества из множества всех исходных переменных. Критериями понятия "наилучшее" могут служить либо наиболее высокое качество моделирования при заданной размерности признакового пространства, либо наименьшая размерность данных, при которой возможно построение модели заданного качества.

Прямое решение задачи создания наилучшей модели связано с перебором всех возможных сочетаний признаков, что обычно представляется чрезмерно трудоемким. Поэтому, как правило, прибегают к прямой или обратной селекции признаков. В процедурах прямого отбора производится последовательное добавление переменных из исходного набора до достижения необходимого качества модели. В алгоритмах последовательной редукции исходного признакового пространства (обратной селекции) производится поэтапное удаление наименее информативных переменных до допустимого снижения информативности модели.

Следует учитывать, что информативность признаков относительна. Отбор должен обеспечить высокую информативность набора признаков, а не суммарную информативность составляющих его переменных. Так, наличие корреляции между признаками снижает их общую информативность вследствие дублирования общей для них информации. Поэтому добавление нового признака к уже отобранным обеспечивает прирост информативности в той степени, в которой он содержит полезную информацию, отсутствующую в ранее выбранных переменных. Наиболее простой является ситуация отбора взаимно ортогональных признаков, в которой алгоритм отбора реализуется предельно просто: переменные ранжируются по информативности, и используется такой состав первых в этом рейтинге признаков, который обеспечивает заданную информативность.

Ограниченность методов отбора признаков с целью снижения размерности пространства связана с предположением о непосредственном присутствии необходимых признаков в исходных данных, что обычно оказывается неверным. Альтернативный подход к снижению размерности предусматривает преобразование признаков в сокращенный набор новых переменных . В отличие от отбора исходных признаков формирование нового признакового пространства предполагает создание новых переменных, которые обычно являются функциями исходных признаков. Эти переменные, непосредственно не наблюдаемые, часто называют скрытыми, или латентными. В процессе создания эти переменные могут быть наделены различными полезными свойствами, такими как ортогональность. На практике исходные признаки обычно взаимосвязаны, поэтому трансформация их пространства в ортогональное порождает новые координаты-признаки, в которых отсутствует эффект дублирования информации об исследуемых объектах.

Отображение объектов в новом ортогональном признаковом пространстве создает возможность наглядно представить полезность каждого из признаков с точки зрения различий между этими объектами. Если координаты нового базиса упорядочить по дисперсии, характеризующей разброс значений по ним для рассматриваемых наблюдений, то становится очевидной ненужность с практической точки зрения некоторых признаков с малыми значениями дисперсий, так как объекты по этим признакам практически неразличимы по сравнению с их различиями по более информативным переменным. В такой ситуации можно говорить о так называемом вырождении исходного признакового пространства из k переменных, и реальная размерность этого пространства т может быть меньше исходной (m < k ).

Редукция признакового пространства сопровождается определенным снижением информативности данных, но уровень допустимого снижения может быть определен заранее. Выделение признаков проецирует набор исходных переменных в пространство меньшей размерности. Сжатие признакового пространства до двух-трехмерного может быть полезным для визуализации данных. Таким образом, процесс формирования нового признакового пространства обычно приводит к меньшему набору реально информативных переменных. На их базе может быть построена более качественная модель как основанная на меньшем числе наиболее информативных признаков.

Формирование новых переменных на основе исходных используется для латентно-семантического анализа, сжатия данных, классификации и распознавания образов, повышения скорости и эффективности процессов обучения . Сжатые данные обычно применяются для дальнейшего анализа и моделирования .

Одним из важных приложений трансформации признакового пространства и снижения размерности является построение синтетических латентных категорий на основе измеряемых значений признаков. Эти латентные признаки могут характеризовать общие определенные черты изучаемого явления, интегрирующие частные свойства наблюдаемых объектов, что позволяет строить интегральные индикаторы различных уровней обобщения информации.

Существенна роль методов редукции признакового пространства в исследовании проблемы дублирования информации в исходных признаках, приводящего к "разбуханию" дисперсии оценок коэффициентов регрессионных моделей . Переход к новым, в идеальном случае ортогональным и содержательно интерпретируемым, переменным является эффективным средством моделирования в условиях мультиколлинеарности исходных данных .

Преобразование исходного признакового пространства в ортогональное удобно для решения задач классификации, так как позволяет обоснованно применять определенные меры близости или различий объектов, такие как евклидово расстояние либо квадрат евклидова расстояния. В регрессионном анализе построение уравнения регрессии на главных компонентах позволяет решить проблему мультиколлинеарности.

Глава 13. МЕТОД ГЛАВНЫХ КОМПОНЕНТ

13.1. Сущность проблемы снижения размерности и различные методы ее решения

В исследовательской и практической статистической работе приходится сталкиваться с ситуациями, когда общее число признаков регистрируемых на каждом из множества обследуемых объектов (стран, городов, предприятий, семей, пациентов, технических или экологических систем), очень велико - порядка ста и более. Тем не менее имеющиеся многомерные наблюдения

следует подвергнуть статистической обработке, осмыслить либо ввести в базу данных для того, чтобы иметь возможность их использовать в нужный момент.

Желание статистика представить каждое из наблюдений (13.1) в виде вектора Z некоторых вспомогательных показателей с существенно меньшим (чем ) числом компонент рбывает обусловлено в первую очередь следующими причинами:

необходимостью наглядного представления (визуализации) исходных данных (13.1), что достигается их проецированием на специально подобранное трехмерное пространство плоскость или числовую прямую (задачам такого типа посвящен раздел IV);

стремлением к лаконизму исследуемых моделей, обусловленному необходимостью упрощения счета и интерпретации полученных статистических выводов;

необходимостью существенного сжатия объемов хранимой статистической информации (без видимых потерь в ее информативности), если речь идет о записи и хранении массивов типа (13.1) в специальной базе данных.

При этом новые (вспомогательные) признаки могут выбираться из числа исходных или определяться по какому-либо правилу по совокупности исходных признаков, например как их линейные комбинации. При формировании новой системы признаков к последним предъявляв юте я разного рода требования, такие, как наибольшая информативность (в определенном смысле), взаимная некоррелированность, наименьшее искажение геометрической структуры множества исходных данных и т. п. В зависимости от варианта формальной конкретизации этих требований (см. ниже, а также раздел IV) приходим к тому или иному алгоритму снижения размерности. Имеется, по крайней мере, три основных типа принципиальных предпосылок, обусловливающих возможность перехода от большого числа исходных показателей состояния (поведения, эффективности функционирования) анализируемой системы к существенно меньшему числу наиболее информативных переменных. Это, во-первых, дублирование информации, доставляемой сильно взаимосвязанными признаками; во-вторых, неинформативность признаков, мало меняющихся при переходе от одного объекта к другому (малая «вариабельность» признаков); в-третьих, возможность агрегирования, т. е. простого или «взвешенного» суммирования, по некоторым признакам.

Формально задача перехода (с наименьшими потерями в информативности) к новому набору признаков может быть описана следующим образом. Пусть - некоторая р-мерная вектор-функция исходных переменных и пусть - определенным образом заданная мера информативности -мерной системы признаков Конкретный выбор функционала зависит от специфики решаемой реальной задачи и опирается на один из возможных критериев: критерий автоинформативности, нацеленный на максимальное сохранение информации, содержащейся в исходном массиве относительно самих исходных признаков; и критерий внешней информативности, нацеленный на максимальное «выжимание» из информации, содержащейся в этом массиве относительно некоторых других (внешних) показателей.

Задача заключается в определении такого набора признаков Z, найденного в классе F допустимых преобразований исходных показателей что

Тот или иной вариант конкретизации этой постановки (определяющий конкретный выбор меры информативности ) и класса допустимых преобразований) приводит к конкретному методу снижения размерности: к методу главных компонент, факторному анализу, экстремальной группировке параметров и т. д.

Поясним это на примерах.

13.1.1. Метод главных компонент (см. § 13.2-§ 13.6).

Именно к первым главным компонентам придет исследователь, если в качестве класса допустимых преобразований F определит всевозможные линейные ортогональные нормированные комбинации исходных показателей, т. е.

(здесь ) - математическое ожидание а в качестве меры информативности -мерной системы показателей выражение

(здесь D, как и ранее, знак операции вычисления дисперсии соответствующей случайной величины).

13.1.2. Факторный анализ (см. гл. 14).

Как известно (см. § 14.1), модель факторного анализа объясняет структуру связей между исходными показателями тем, что поведение каждого из них статистически зависит от одного и того же набора так называемых общих факторов т. е.

где - «нагрузка» общего фактора на исходный показатель - остаточная «специфическая» случайная компонента, причем - попарно некоррелированы.

Оказывается, если F определить как класс всевозможных линейных комбинаций с учетом упомянутых ограннченнй на а в качестве меры информативности -мерной системы показателей выбрать величину то решение оптимизационной задачи (13.2) совпадает с вектором общих факторов в модели факторного анализа. Здесь - корреляционная матрица исходных показателей корреляционная матрица показателей - евклидова норма матрицы А.

13.1.3. Метод экстремальной группировки признаков (см. п. 14.2.1).

В данном методе речь идет о таком разбиении совокупности исходных показателей на заданное число групп что признаки, принадлежащие одной группе, были бы взанмокоррелнрованы сравнительно сильно, в то время как признаки, принадлежащие к разным группам, были бы коррелнрованы слабо. Одновременно решается задача замены каждой группы сильно взаимокоррелированных исходных показателей одним вспомогательным «равнодействующим» показателем который, естественно, должен быть в тесной корреляционной связи с признаками своей группы. Определив в качестве класса допустимых преобразований F исходных показателей все нормированные линейные комбинации ищем решение максимизируя (по S и ) функционал

где - коэффициент корреляции между переменными .

13.1.4. Многомерное шкалирование (см. гл. 16).

В ряде ситуаций и в первую очередь в ситуациях, когда исходные статистические данные получают с помощью специальных опросов, анкет, экспертных оценок, возможны случаи, когда элементом первичного наблюдения является не состояние объекта, описываемого вектором а характеристика попарной близости (отдаленности) двух объектов (или признаков) соответственно с номерами

В этом случае исследователь располагает в качестве массива исходных статистических данных матрицей размера (если рассматриваются характеристики попарной близости объектов) или (если рассматриваются характеристики попарной близости признаков) вида

где величины интерпретируются либо как расстояния между объектами (признаками) i и либо как ранги, задающие упорядочение этих расстояний. Задача многомерного шкалирования состоит в том, чтобы «погрузить» наши объекты (признаки) в такое -мерное пространство , т. е. так выбрать координатные оси чтобы исходная геометрическая конфигурация совокупности анализируемых точек-объектов (или точек-признаков), заданных с помощью (13.1) или (13.5), оказалась бы наименее искаженной в смысле некоторого критерия средней «степени искажения» взаимных попарных расстояний.

Одна из достаточно общих схем многомерного шкалирования определяется критерием

где - расстояние между объектами в исходном пространстве, - расстояние между теми же объектами в искомом пространстве меньшей размерности - свободные параметры, выбор конкретных значений которых производится по усмотрению исследователя.

Определив меру информативности искомого набора признаков Z, например, как величину, обратную упомянутой выше величине степени искажения геометрической структуры исходной совокупности точек, сведем эту задачу к общей постановке (13.2), полагая

13.1.5. Отбор наиболее информативных показателей в моделях дискриминантного анализа (см. § 1.4; 2.5).

Приведенные выше функционалы являются измерителями автоинформативности соответствующей системы признаков. Приведем теперь примеры критериев внешней информативности. В частности, нас будет интересовать информативность системы показателей с точки зрения правильности классификации объектов по этим показателям в схеме дискриминантного анализа. При этом класс допустимых преобразований F определим исходя из требований, что в качестве могут рассматриваться лишь представители набора исходных показателей, т. е.

Распространенным исходным тезисом при решении задачи выявления наиболее информативных показателей из исходного набора является утверждение, что вектор показателей заданной размерности тем более информативен, чем больше различие в законах его вероятностного распределения, определенных в разных классах в рассматриваемой задаче классификации. Если ввести меру попарного различия законов описывающих распределение вероятностей вектора признаков в классах с номерами то можно формализовать вышеприведенный принцип отбора наиболее информативных показателей определяя их из условия максимизации (по ) величины

Наиболее употребительные меры различия между законами распределения вероятностей - это расстояние информационного типа (расстояние Кульбака, расстояние Махаланобиса), а также «расстояние по вариации» (подробнее об этом см. в .

13.1.6. Отбор наиболее информативных переменных в моделях регрессии (см. ).

При построении зависимостей регрессионного типа одним из центральных оказывается вопрос выявления сравнительно небольшого числа переменных (из априорного набора наиболее существенно влияющих на поведение исследуемого результирующего признака у.

Таким образом, как и в предыдущем пункте, класс F состоит из всевозможных наборов переменных отобранных из исходного множества факторов-аргументов и имеем дело с критерием внешней информативности таких наборов. Его вид обычно задается с помощью множественного коэффициента детерминации - характеристики степени тесноты связи показателя у с набором переменных При этом для фиксированной размерности набор переменных будет, очевидно, считаться наиболее информативным (с точки зрения точности описания поведения показателя у), если значение меры информативности на этом наборе достигает максимума.

В статистике, машинном обучении и теории информации снижение размерности - это преобразование данных, состоящее в уменьшении числа переменных путём получения главных переменных. Преобразование может быть разделено на отбор признаков и выделение признаков.

Связанные понятия

Упоминания в литературе

– загрузка и предобработка входных данных, – ручная и автоматическая разметка стимульных материалов (выделение зон интереса), – алгоритм вычисления матрицы представления преемника, – построение расширенной таблицы данных со значениями входных переменных, необходимых для последующего анализа, – метод снижения размерности пространства признаков (метод главных компонент), – визуализация компонентных нагрузок для выбора интерпретируемых компонент, – алгоритм обучения дерева решений, – алгоритм оценки предсказательной способности дерева, – визуализация дерева решений.

Связанные понятия (продолжение)

Техники спектральной кластеризации используют спектр (собственные значения) матрицы сходства данных для осуществления понижения размерности перед кластеризацией в пространствах меньших размерностей. Матрица сходства подаётся в качестве входа и состоит из количественных оценок относительной схожести каждой пары точек в данных.

Спектральные методы - это класс техник, используемых в прикладной математике для численного решения некоторых дифференциальных уравнений, возможно, вовлекая Быстрое преобразование Фурье. Идея заключается в переписи решения дифференциальных уравнений как суммы некоторых «базисных функций» (например, как ряды Фурье являются суммой синусоид), а затем выбрать коэффициенты в сумме, чтобы удовлетворить дифференциальному уравнению, насколько это возможно.

Математи́ческий ана́лиз (классический математический анализ) - совокупность разделов математики, соответствующих историческому разделу под наименованием «анализ бесконечно малых», объединяет дифференциальное и интегральное исчисления.

Дифференциа́льная эволю́ция (англ. differential evolution) - метод многомерной математической оптимизации, относящийся к классу стохастических алгоритмов оптимизации (то есть работает с использованием случайных чисел) и использующий некоторые идеи генетических алгоритмов, но, в отличие от них, не требует работы с переменными в бинарном коде.

Метод дискретного элемента (DEM, от англ. Discrete element method) - это семейство численных методов предназначенных для расчёта движения большого количества частиц, таких как молекулы, песчинки, гравий, галька и прочих гранулированных сред. Метод был первоначально применён Cundall в 1971 для решения задач механики горных пород.