В данной серии 10 статей , на уровне доступном для начинающих, рассмотрены цели и направления метода логистической регрессии. В частности, приводятся пояснения, какие надёжные результаты этого метода могут быть использованы для поставленных целей медицинских и биологических исследований. На примерах реальных медицинских массивов данных, поясняется специфика использования данного метода. Объяснено, что метод имеет много алгоритмов оценки уравнений логистической регрессии, что позволяет находить для использования во врачебной практике самые удобные и надёжные методы лечения. Рассмотрено использование метода к массивам данных, содержащим несколько сотен признаков разной природы. Показано, что корректное создание таких массивов, и их анализ, возможны лишь при участии биостатистиков на самых первых этапах таких исследований. Рассмотрена связь логистической регрессии и ROC-анализа. Приведены многочисленные уравнения логистической регрессии и ROC-кривые, полученные при анализе реальных данных. Объяснена целесообразность использования вместе с методом логистической регрессии набора методов анализа парных взаимосвязей между различными признаками, а также использование более сложных методов многомерной статистики. На странице "Примеры отличных результатов статистического анализа в диссертациях, дипломных работах и статьях, полученных с нашей помощью" приведено много диссертаций и статей, для авторов которых мы в НЦ БИОСТАТИСТИКА произвели продуктивные методы статистического анализа, включая и разные алгоритмы логистической регрессии.

Введение. 

       Эта вводная статья, с доступным описанием возможностей логистической регрессии, написана через пару лет после создания серии из 9 статей по этому методу. Данные статьи являются самыми посещаемыми читателями сайта БИОМЕТРИКА. При этом по ним приходит немало вопросов как от читателей этой серии статей, так и от многих заказчиков, которые получают результаты логистической регрессии при анализе их массивов данных. Именно поэтому было решено написать ещё одну вводную статью об этом методе. В которой без описания основ его теории, рассказать об основных возможностях использования метода логит-регрессии в биомедицинских исследованиях. А также использования этого метода статистического анализа в психологии, экономике, геологии, социологии, почвоведении, гидрологии, и т.д. Метод логистической регрессии всё активнее вводится в практику мировой медицинской науки, являясь примерами продуктивных исследований в доказательной медицине. Это объясняется наличием следующих основных возможностей данного метода.

........

В наших статьях "Проценты - статистический анализ? Или проценты - арифметический анализ?" и "Сравниваем средние, а также и ... " достаточно подробно описаны методы оценки количества всех пар признаков, для которых можно (и нужно!) производить анализ наличия/отсутствия и направленности причинно-следственной взаимосвязи.  Например, для 5 признаков VAR1, VAR2, VAR3, VAR4, VAR5 имеется 10 парных взаимосвязей, показанные ниже на рисунке.

Это следующие 10 парных зависимостей: VAR1-VAR2; VAR1-VAR3; VAR1-VAR4; VAR1-VAR5; VAR2-VAR3; VAR2-VAR4; VAR2-VAR5; VAR3-VAR4; VAR3-VAR5; VAR4-VAR5.

В общем случае при наличии V признаков, количество таких парных зависимостей будет равно числу сочетаний (неупорядоченных комбинаций) из V по 2:

Так при значении V=5 получаем, Z = 5! / ((5-2)!*2!) = 5*4*3*2*1 / (3!*2!) = 5*4*3*2*1 / (3*2*1*2*1) = 20/2=10.

......

Таблица 3

В данной таблице показано, что третье уравнение также было получено при анализе 281 наблюдения. При этом из 103 наблюдений 1-й группы уравнение отнесло в эту же группу 101 наблюдение, из 87 наблюдений 2-й группы - 86 наблюдений, и из 91 наблюдения 3-й группы - 90 наблюдений. Общее количество наблюдений, отнесённых уравнением логит-регрессии в иные группы, равно 2+1+1=4. Значит доля неверно отнесённых наблюдений равно 4 / 281 = 1,4% . По сравнению с уравнением по таблице 2, в уравнение по таблице 3 также было введено в 2 раза больше признаков-предикторов.

....

(далее ...)

1. Логистическая регрессия. Основные понятия и возможности метода.

    Данная статья посвящена методу логистической регрессии и особенностям его применения в медицине и смежных науках. Теория логистической регрессии достаточно сложна, поэтому мы рассмотрели ниже лишь основные понятия этого метода, а также привели небольшой обзор решений, полученных автором в последнее время при анализе реальных данных. Статья  имеет  3 основных цели. Во-первых, познакомить с основными понятиями и возможностями данного метода. Во-вторых, рассмотреть специфику подхода к постановке и решению таких задач, которые могут быть решены с помошью этого метода. В-третьих, продемонстрировать на примере анализа реальных массивов данных типичные результаты, получаемые при использовании этого метода.

.....

В разделе «ДОКАЗАТЕЛЬНАЯ МЕДИЦИНА И СТАТИСТИКА»  (http://www.biometrica-tomsk.ru/kuzbass2.htm ) нашего обзора «Доказательная или сомнительная? Медицинская наука Кузбасса: статистические аспекты» мы уже частично касались возможностей данного метода. Большинство используемых на практике статистических методов можно рассматривать как способы оценки статистической взаимосвязи между двумя или более признаками, переменными. Например, при сравнении средних значений одного количественного признака двух или более групп пациентов (контроль, больные и т.п.), мы изучаем статистическую взаимосвязь между одним группирующим признаком, и одним количественным признаком. В том случае, когда такая взаимосвязь оказывается статистически значимой, возможно оценить также и силу, интенсивность этой связи. Для этого могут быть использованы различные показатели интенсивности такой связи. Как правило, такие показатели имеют значения в интервале от 0 до 1.

....

Рассмотрим набор данных, в котором зависимой переменной будет бинарный признак «Исход лечения» с градациями «1=выздоровление», и «2=пациент умер».  Обозначим вероятность выздоровления пациента как «р». Поскольку сумма вероятностей этих двух исходов должна равняться 1, то вероятность летального исхода равна «1- р».

(далее ...)

2. Логистическая регрессия. Анализ массивов большой размерности.

В данной серии статей, на уровне доступном для начинающих, рассмотрены цели и направления метода логистической регрессии. В частности, приводятся пояснения, какие надёжные результаты этого метода могут быть использованы для поставленных целей медицинских и биологических исследований. На примерах реальных медицинских массивов данных, поясняется специфика использования данного метода. Объяснено, что метод имеет много алгоритмов оценки уравнений логистической регрессии, что позволяет назходить для использования во врачебной практике самые удобные и надёжные методы лечения. Рассмотрено использование метода к массивам данных, содержащим несколько сотен признаков разной природы. Показано, что корректное создание таких массивов, и их анализ, возможны лишь при участии биостатистиков на самых первых этапах таких исследований. Рассмотрена связь логистической регрессии и ROC-анализа. Приведены многочисленные уравнения логистической регрессии и ROC-кривые, полученные при анализе реальных данных. Объяснена целесообразность использования вместе с методом логистической регрессии набора методов анализа парных взаимосвязей между различными признаками, а также использование более сложных методов многомерной статистики.

Наиболее интересны, и в то же время наиболее сложны и трудоёмки, оценки уравнений логистической регрессии для массивов большой размерности, т.е. для данных, содержащих по несколько сотен переменных. С двумя примерами анализа таких объёмных матриц можно познакомиться в статьях «Логистическая регрессия в анализе связи артериальной гипертонии и психических расстройств». Н.П.Гарганеева, В.П.Леонов. Сибирский медицинский журнал, № 3-4, 2001, с.42-48.  (http://www.biometrica-tomsk.ru/lib/psycho3.htm ) и «Артериальная гипертония как психосоматическая проблема». Н.П. Гарганеева, Ф.Ф. Тетенев, В.Я. Семке, В.П. Леонов. Клиническая медицина, № 1, 2004, с. 35-41 (http://www.biometrica-tomsk.ru/lib/psycho2.htm ). Рассмотрим несколько таких массивов и обсудим специфику работы с ними. Первый массив, созданный Евдокимовой Т.А. при изучении аллергии, содержит более 1200 наблюдений и более 400 признаков. Ниже приведён перечень этих признаков.

....

Рис. 1 Схема парных связей между предикторами и зависимой переменной

На рис. 1 стрелками представлены возможные парные связи между этими признаками. Число парных связей внутри 1-го уровня равно
[4*(4-1)/2]=6. Число парных связей внутри 2-го уровня равно [3*(3-1)/2]=3. Число парных связей между 1 и 2 уровнями равно 4*3=12. И число парных связей между зависимой переменной Z и предикторами 1 и 2 уровней равно соответственно 4 и 3.

Итого мы имеем 28 парных связей. Эту же самую оценку можно получить и иным способом: 8*(8-1)/2= 28, (где 8 – общее число анализируемых признаков). Несложно аналогичным образом подсчитать число тройных связей, в каждой из которых обязательно должен присутствовать зависимый признак Z.

....

(далее ...)

3. Логистическая регрессия. Примеры анализа реальных данных.

Для иллюстрации возможностей использования метода логистической регрессии ниже приведём описания небольшого набора наиболее интересных реальных массивов и полученных при этом результатов.   Массив VERA, созданный кардиологом В.В. К., содержал в себе  более 90 признаков. Вот эти признаки:  NUMBER="Номер наблюдения" , GRUPPA="Группа" , VAR2A="Пол" , VAR3="Возраст" , ........,

VAR4913="VAR49/VAR13" , VAR4950="VAR49-(VAR50/VAR49" .

Программа работы по данному массиву содержала в себе более 50 пунктов, среди которых несколько пунктов были посвящены анализу взаимосвязи ряда дискретных признаков с наборами предикторов методом логистической регрессии. Среди этих задач в качестве зависимых признаков выступали такие показатели, как VAR47A="Расширение аорты",  VAR60A="Трикуспидальная регургитация степень" и VAR61A="Аортальная регургитация степень", имеющие по 2-3 градации. В процессе анализа этих данных было получено порядка 50 статистически значимых уравнений, в которых показатели конкордации находились в интервал 88 – 97,9%.

....

Следующий массив, созданный Е.К. (г. Сургут) при изучении метаболического синдрома у женщин в менопаузе, состоял из 248 наблюдений и включал в себя 71 признак, которые приведены ниже.

Зависимым признаком выступал показатель GR="Состояние здоровья пациентов", имеющий 2 уровня: 1="Здоровые", 2="Больные". Ниже приведена одна из оценок уравнения логит-регрессии, которая обеспечивала показатель конкордации равный 99,4%.

....

(далее ...)

4. Логистическая регрессия и ROC-анализ.

Как уже говорилось выше, логистической регрессии имманентно присуща поливариантность решений. Она позволяет исследователю отобрать те решения, которые наиболее интересны высокими значениями показателя конкордации, а также возможностью убедительной интерпретации и практического использования. Не менее важным достоинством такой поливариантности решений является возможность использования всех этих решений в ROC-анализе. (см. нашу статью «Основные понятия ROC. URL: http://www.biometrica-tomsk.ru/ROC-analysis.pdf ) Напомним, что ROC-кривая (Receiver Operator Characteristic), называемая также ещё операционной  характеристикой приёмника, пришла в медицину из радиолокации, где она использовалась как инструмент при обработке сигналов. Наиболее разработан данный анализ для случая бинарной классификации. Хотя в настоящее время уже есть работы для классификации с тремя исходами.

....

Во втором уравнении в качестве предикторов используются уже 8 признаков. Данное уравнение обеспечивало показатель конкордации равный 100%. Ниже приведён рис. 4 с ROC-кривыми для второго уравнения. Показатель AUC для конечной модели в этом случае равен 1.

Рис. 4. ROC-кривые для 8 шагов отбора предикторов

....

(далее ...)

5. Особенности логистической регрессии в акушерстве.

В этом, и следующем разделе нашей статьи, мы остановимся на специфике использования метода логистической регрессии в двух отдельных направлениях научных исследований. Поводом к написанию этих двух разделов послужила переписка с двумя исследователями. Один из них работает акушером, а второй - психиатром. На примере этих двух работ мы и рассмотрим некоторые специфичные детали использования метода логистической регрессии в данных отраслях медицины.

Исследователь Н.Г. собрал уникальную базу данных по роженицам, содержащую около 2000 наблюдений и порядка 70 признаков. Ниже приведена таблица, содержащая набор основных переменных, использованных в анализе.

....

Рассматривая 2 группы признаков, качественных и количественных, получим 3 вида таких парных взаимосвязей: "Качественный" - "Качественный", "Качественный" - "Количественный" и "Количественный" - "Количественный". В первом случае для 60 качественных признаков имеем общее число парных взаимосвязей равное 60*(60-1)/2=30*59=1770. Отметим, что при изучении этих 1770 парных взаимосвязей с помощью анализа таблиц сопряжённости, важно получить не только ответ на вопрос "Если ли между двумя качественными признаками статистически значимая взаимосвязь?", но также и проанализировать детали таких статистически значимых связей

(далее ...)

6. Особенности логистической регрессии в психиатрии, психологии и социологии.

Сложность использования метода логистической регрессии, как и многих других статистических методов, в психиатрии и психологии во многом определяется спецификой анализируемых данных. В медицине и биологии в большинстве случаев используются количественные и качественные признаки, которые по своему содержанию таковыми и являются. Многие из количественных признаков имеют эталоны для используемых шкал. Например, есть эталоны массы, длины и т.д. Значения других количественных признаков получаются путём вычислений, с использованием величин, измеряемых в шкалах обладающих эталонами. Однако во всех случаях для таких величин, измеряемых в абсолютных шкалах, в шкалах отношений или в интервальных шкалах, допустимы не только отношения "Равно - Не равно" и "Больше - Меньше", но также и операции сложения, вычитания, умножения и деления.

....

Основоположником применения статистики в психологии, создателем психометрии, считается основатель биометрики Френсис Гальтон. В 1890 г. один из основателей психологической науки и психометрических шкал, Кеттел Джеймс Маккин написал книгу "Mental Test and Measurements". В послесловии к этой книге основоположник науки БИОМЕТРИИ Френсис Гальтон написал следующее: "Психология не может стать прочной и точной, как физические науки, если не будет основываться на эксперименте и измерении".

.....

При этом обращаем внимание читателей на главу 2 "Адекватность", и, в частности, на разделы 2.4. "Адекватная статистика" и 2.5. "Примеры адекватных и неадекватных статистик". Ниже приводим фрагмент текста данного раздела со стр. 43:

Т.е. порядковых шкалах нельзя выполнять операции сложения, вычитания, умножения и деления. Эти же проблемы подробно обсуждаются в книгах...

....

(далее ...)

7. Пример использования логистической регрессии для расчёта прогноза исхода оперативного лечения.

    Целью исследования было выявления факторов риска для определения прогноза развития неблагоприятных исходов хирургического лечения травматических повреждений поджелудочной железы. Какие из этих факторов позволяют определить прогноз развития послеоперационных осложнений и летальности после операций по поводу травмы поджелудочной железы, остаётся до конца не выясненным. В работе проводится анализ 35 количественных и 115 качественных признаков. База данных основана на 202 наблюдениях. Для каждого случая травматического повреждения поджелудочной железы учитывались следующие наборы признаков, из которой формировалась база данных (БД): 1) демографические данные; 2) вид, механизм и давность повреждений; 3) степень тяжести состояния пациента; 4) степень тяжести повреждений; 5) количество повреждённых органов; 6) объём кровопотери; 7) способ хирургического лечения; 8) осложнения; 9) летальность; 10) данные лабораторного исследования при поступлении и в динамике послеоперационного периода (ферменты поджелудочной железы, глюкоза, лейкоцитоз, ЛИИ и др.), и многие другие.  Оценку тяжести состояния больных и степени тяжести повреждений проводили по шкале комы Глазго (GCS), шкалам  APACHE II и  SAPS II, физиологическому показателю тяжести травмы (RTS), анатомическому показателю тяжести травмы NISS, шкале повреждений AIS, шкале комплексной оценки тяжести состояния «ВПХ–СП» и шкале оценки тяжести повреждений «ВПХ–П».

....

Например, для выяснения факторов риска развития послеоперационных осложнений было получено около 100 уравнений. Ниже приведены три из полученных уравнений.

Первое уравнение:

Процент конкордации уравнения равен 97,5%. В это уравнение вошли 4 предиктора. Два из них управляемые – это продолжительность операции и тактические ошибки. При этом наибольшие значения стандартизованные коэффициенты имеют у признаков VAR41A и VAR74A. Однако недостатком этого уравнения является наличие у признаков VAR41A и VAR44A пропущенных значений в большом количестве наблюдений. Кроме того, в этом уравнении отсутствуют признаки, определяющие исходное состояние пациента, но его можно использовать для оценки прогноза в динамике, например в 1 сутки послеоперационного периода.

....

(далее ...)

8. Логистическая регрессия - "вершина пирамиды". А в "фундаменте" - что?

Статистика вербальная и статистика математическая.
"Вершина" и "фундамент".
"Мойте руки перед едой".
Много измерений - много уравнений. Мало измерений - ещё больше уравнений.
Упрощаем и усложняем предикторы.
Цель определяет средства.
Заключение.
Литература.

Любое ЗНАНИЕ содержит в себе результат концентрации опытных ДАННЫХ. Например, обучаясь в медуниверситете, студент получает знания о методиках диагностирования заболеваний и их лечении. Все эти методики представлены в словесном (вербальном) формате, и концентрируют в себе результаты работы с больными пациентами (опытные данные). В том числе содержат информацию об использовании фармпрепаратов, операционных вмешательствах, методах терапии, и т.д. Фактически эти методики есть словесные алгоритмы увеличения вероятности достижения благоприятных исходов лечения (не летальный исход, возврат организма пациента в здоровое состояние, и т.п.). Однако такие вербальные алгоритмы не имеют возможности оценки числовых значений вероятности этих благоприятных исходов. При этом в самих методиках используются количественные показатели (дозы лекарственных препаратов, длительность и интенсивность лечебных процедур, значения показателей полученных при анализе крови, мочи, ЭКГ, и т.д.). Вместе с этими показателями используются во всех методиках и качественные показатели. Например, пол, генотип, тип инфекции во время беременности, наличие эндемического зоба, форма комплекса QRS, и т.д. Именно сочетание различных видов информации о пациенте, а также информации о самом лечении, и позволяют медику определять возможность благоприятного исхода лечения.

....

Рассмотрим наиболее простой вариант оценки уравнения логистической регрессии для случая двух альтернативных исходов. То есть оценка уравнения производится с использованием выборки наблюдений по двум сравниваемым группам. При этом с помощью полученного уравнения оценивается вероятность благоприятного исхода (выздоровление пациента). Поскольку рассматриваются только 2 исхода, то сумма вероятностей этих двух исходов равна 1. Обозначим через P₁ вероятность первого исхода - выздоровления. Тогда вероятность второго альтернативного исхода P₂ =1- P₁. Напомним, что вероятность  P₁ для конкретного пациента вычисляется с помощью следующего выражения:

      (1),

где величина BETA вычисляется с помощью полученного уравнения логистической регрессии: 

,       (2)

....

Используя модель логистической регрессии следует обязательно вначале сформулировать цель получения такой модели. Такая цель всегда имеет как минимум 2 уровня. На первом уровне устанавливается сама структура модели - состав отдельных элементов, интенсивность и направленность связей этих элементов, надёжность и точность модели, и т.п. Второй уровень содержит оценку возможностей продуктивного использования модели для достижения конкретных, практических целей. Например, использования уравнения логистической регрессии для повышения вероятности благоприятного исхода лечения. Получаемые наборы моделей образно можно представить в виде сети, или некой паутины. В этих сетях узел можно представить как связующее звено. А сетевые нити как отдельные признаки, переменные. Представим полученное уравнение логит-регрессии в следующем виде:

   Как видно из этой схемы величина вероятности "Р" определяется параметром

,

который, в свою очередь, определяется слагаемыми. А величины слагаемых определяются значениями сомножителей.

....

(далее ...)

9. Как повысить качество уравнений логистической регрессии.

     В предыдущей нашей статье "Логистическая регрессия - "вершина пирамиды". А в "фундаменте" - что? " речь шла о тех методах статистического анализа, которые позволяют более результативно и осмысленно интерпретировать получаемые уравнения логистической регрессии. Целью настоящей статьи является объяснение мотивов предварительного использования некоторых методов анализа, которые позволяют существенно улучшить качество получаемых уравнений логистической регрессии.

В восьми предыдущих статьях о логистической регрессии мы объясняли основную цель использования этого метода. Напомним, что доминирующий в медицинских публикациях критерий Стьюдента, который был предложен более 100 лет тому назад, позволяет лишь сравнивать две групповые средние. Например, образно выражаясь, сравнить средние температуры больных и здоровых пациентов. Либо средние систолические давления больных и здоровых пациентов, и т.п. Если в этих двух группах сравнения фиксируется, например, 20 количественных признаков (вес, рост, возраст, результаты анализа крови, и т.д.), то с помощью критерия Стьюдента авторы могут проверить гипотезы равенста средних значений отдельно для каждого из этих 20 признаков. Однако при этом следует помнить, что одновременно два ограничения для корректного использования этого критерия выполняются крайне редко, в нескольких процентах случаев. Поэтому чаще всего выводы, получаемые в результате использования критерия Стьюдента, весьма сомнительны. В результате авторы исследований дезинформируют не только себя, но и своих читателей, в том числе и врачей, тем самым отрицательно влияя на здоровье больных пациентов, которых лечат читатели-врачи. По сути подобное доминирование некорректного использования критерия Стьюдента является СТАТИСТИЧЕСКОЙ ВАМПУКИЗАЦИЕЙ со стороны авторов.

....

Ниже приведена таблица со значениями вкладов отдельных клеток, строк и столбцов в установленную взаимосвязь двух группировок. Значения приведены в процентах; в последнем столбце приведены суммы вкладов по строкам, а в самой нижней строке приведена сумма вкладов по столбцам.

Другое важное отличие последнего варианта уравнения логистической регрессии от первичного заключается в том, что в нём дисперсия модулей стандартизованных коэффициентов предикторов была примерно в 4 раза больше, чем в первом варианте уравнения. То есть существенно увеличились чувствительности взаимосвязи включённых в уравнение предикторов. А это означает возможность выделения предикторов, в полученном уравнении, наиболее сильно влияющих на изменение параметра beta, а значит, и на изменение вероятности перевода наблюдения (пациента) из подгруппы до приёма фармпрепарата в подгруппу после приёма, или в контрольную подгруппу здоровых.

(далее ...)

Френсис Гальтон (16.02.1822-17.01.1911)

Вальтер Уэлдон (15.03.1860-13.04.1906)

Карл Пирсон (27.03.1857-27.04.1936)