Анализ медицинских данных в Python: пошаговый пример на pandas
В этой статье разберём полный цикл анализа небольшого набора медицинских данных на Python: от загрузки таблицы до графика и итогового отчёта в Excel. Пример рассчитан на тех, кто знает основы синтаксиса и хочет увидеть, как выглядит реальная работа с данными. Если вы только присматриваетесь к Python, начните со статьи «Python для врачей: зачем медику программирование и с чего начать».
Все данные в примере вымышленные. Реальные данные пациентов перед анализом обязательно обезличивают.
Исходные данные
Представим, что у нас есть файл patients.csv с результатами наблюдения за пациентами с артериальной гипертензией, которые получали одну из двух схем терапии. В таблице такие столбцы:
patient_id: условный код пациента;
age: возраст, лет;
sex: пол;
group: схема терапии, A или B;
sbp_before и sbp_after: систолическое давление до и после курса, мм рт. ст.;
los_days: длительность госпитализации, дней;
complication: было ли осложнение, «да» или «нет».
Понадобятся библиотеки pandas, SciPy, Matplotlib и openpyxl. Установить их можно одной командой: pip install pandas scipy matplotlib openpyxl.
Шаг 1. Загрузка и первый взгляд
import pandas as pd
df = pd.read_csv("patients.csv", sep=";", encoding="utf-8") print(df.shape) # число строк и столбцов print(df.head()) # первые пять записей df.info() # типы данных и число заполненных значений
Уже на этом шаге видно, правильно ли прочитались столбцы, не превратились ли числа в текст и много ли пропусков. Если данные лежат в Excel, вместо read_csv используйте pd.read_excel("patients.xlsx").
Шаг 2. Очистка данных
Реальные выгрузки почти всегда содержат дубли, пропуски, опечатки и невозможные значения. Разберёмся с ними по очереди.
# повторные записи одного пациента df = df.drop_duplicates(subset="patient_id")
# сколько пропусков в каждом столбце print(df.isna().sum())
# приводим обозначения пола к единому виду df["sex"] = df["sex"].str.strip().str.upper() df["sex"] = df["sex"].replace({"МУЖ": "М", "ЖЕН": "Ж"})
# убираем физиологически невозможные значения давления mask = df["sbp_before"].between(60, 260) & df["sbp_after"].between(60, 260) print("Исключено записей:", (~mask).sum()) df = df[mask]
Обратите внимание: исключённые записи не удаляются молча, а подсчитываются. Число исключённых наблюдений и причины исключения потом указывают в методах исследования.
Шаг 3. Новые показатели
# на сколько снизилось давление за курс df["sbp_delta"] = df["sbp_before"] - df["sbp_after"]
# распределение по возрастным группам в процентах shares = pd.crosstab(df["age_group"], df["group"], normalize="columns") print((shares * 100).round(1))
Одна строка с groupby заменяет сводную таблицу: мы получаем число пациентов, среднее, стандартное отклонение и медиану снижения давления в каждой группе.
Шаг 5. Сравнение групп
Проверим, различается ли снижение давления между схемами терапии. Сначала оценим распределение критерием Шапиро-Уилка, затем выберем подходящий критерий сравнения.
from scipy import stats
a = df.loc[df["group"] == "A", "sbp_delta"].dropna() b = df.loc[df["group"] == "B", "sbp_delta"].dropna()
print(f"Уэлч: p = {welch.pvalue:.4f}") print(f"Манн-Уитни: p = {mw.pvalue:.4f}")
Если распределение в обеих группах близко к нормальному, в отчёт идёт результат критерия Уэлча, если нет, используют критерий Манна-Уитни. Выбор метода фиксируют до того, как посмотрели на p-значения, а не после.
Если минимальная ожидаемая частота меньше 5, для таблицы 2 на 2 лучше применить точный критерий Фишера: stats.fisher_exact(table).
Шаг 6. Связь между показателями
res = stats.spearmanr(df["age"], df["los_days"], nan_policy="omit") print(f"Спирмен: rho = {res.statistic:.2f}, p = {res.pvalue:.4f}")
Коэффициент Спирмена подходит для данных, распределение которых далеко от нормального, как у длительности госпитализации. Положительное значение rho означает, что с возрастом пребывание в стационаре в среднем увеличивается.
Шаг 7. Визуализация
import matplotlib.pyplot as plt
ax = df.boxplot(column="sbp_delta", by="group", grid=False) ax.set_title("Снижение САД по схемам терапии") ax.set_xlabel("Группа") ax.set_ylabel("мм рт. ст.") plt.suptitle("") plt.savefig("sbp_delta.png", dpi=150, bbox_inches="tight")
Диаграмма размаха показывает медиану, квартили и выбросы в каждой группе, поэтому её часто используют в публикациях вместо столбиков со средними.
В итоге получился воспроизводимый конвейер: при поступлении новой выгрузки достаточно заменить файл patients.csv и запустить скрипт заново. Все шаги, от очистки до статистики, выполнятся одинаково.
Что делать дальше
Вынести повторяющиеся шаги в функции, чтобы применять их к разным таблицам.
Добавить логирование: записывать в файл, сколько записей исключено и по какой причине.
Освоить регрессионный анализ, чтобы учитывать возраст, пол и сопутствующие заболевания одновременно.
Сверить результаты статистических критериев в Jamovi, особенно перед публикацией.
Подойдут открытые учебные наборы медицинских данных или собственные таблицы после обезличивания. На курсе слушатели работают с подготовленными медицинскими кейсами.
Почему не посчитать всё в Excel?
Для одной таблицы и простых расчётов Excel удобен. Скрипт выигрывает, когда обработку нужно повторять, когда данных много или когда нужны методы, которых в Excel нет.
Обязательно ли проверять нормальность распределения?
Это помогает выбрать критерий. На больших выборках критерий Шапиро-Уилка находит отклонения даже там, где они не важны, поэтому результат проверки дополняют гистограммой или Q-Q графиком.