Блог

Анализ медицинских данных в Python: пошаговый пример на pandas

Анализ медицинских данных в Python: пошаговый пример на pandas
В этой статье разберём полный цикл анализа небольшого набора медицинских данных на Python: от загрузки таблицы до графика и итогового отчёта в Excel. Пример рассчитан на тех, кто знает основы синтаксиса и хочет увидеть, как выглядит реальная работа с данными. Если вы только присматриваетесь к Python, начните со статьи «Python для врачей: зачем медику программирование и с чего начать».
Все данные в примере вымышленные. Реальные данные пациентов перед анализом обязательно обезличивают.

Исходные данные

Представим, что у нас есть файл patients.csv с результатами наблюдения за пациентами с артериальной гипертензией, которые получали одну из двух схем терапии. В таблице такие столбцы:
  • patient_id: условный код пациента;
  • age: возраст, лет;
  • sex: пол;
  • group: схема терапии, A или B;
  • sbp_before и sbp_after: систолическое давление до и после курса, мм рт. ст.;
  • los_days: длительность госпитализации, дней;
  • complication: было ли осложнение, «да» или «нет».
Понадобятся библиотеки pandas, SciPy, Matplotlib и openpyxl. Установить их можно одной командой: pip install pandas scipy matplotlib openpyxl.

Шаг 1. Загрузка и первый взгляд

import pandas as pd

df = pd.read_csv("patients.csv", sep=";", encoding="utf-8")
print(df.shape) # число строк и столбцов
print(df.head()) # первые пять записей
df.info() # типы данных и число заполненных значений
Уже на этом шаге видно, правильно ли прочитались столбцы, не превратились ли числа в текст и много ли пропусков. Если данные лежат в Excel, вместо read_csv используйте pd.read_excel("patients.xlsx").

Шаг 2. Очистка данных

Реальные выгрузки почти всегда содержат дубли, пропуски, опечатки и невозможные значения. Разберёмся с ними по очереди.
# повторные записи одного пациента
df = df.drop_duplicates(subset="patient_id")

# сколько пропусков в каждом столбце
print(df.isna().sum())

# приводим обозначения пола к единому виду
df["sex"] = df["sex"].str.strip().str.upper()
df["sex"] = df["sex"].replace({"МУЖ": "М", "ЖЕН": "Ж"})

# убираем физиологически невозможные значения давления
mask = df["sbp_before"].between(60, 260) & df["sbp_after"].between(60, 260)
print("Исключено записей:", (~mask).sum())
df = df[mask]
Обратите внимание: исключённые записи не удаляются молча, а подсчитываются. Число исключённых наблюдений и причины исключения потом указывают в методах исследования.

Шаг 3. Новые показатели

# на сколько снизилось давление за курс
df["sbp_delta"] = df["sbp_before"] - df["sbp_after"]

# возрастные группы
df["age_group"] = pd.cut(df["age"], bins=[17, 44, 59, 74, 120], labels=["18-44", "45-59", "60-74", "75+"])

Шаг 4. Описательная статистика по группам

summary = df.groupby("group")["sbp_delta"].agg(["count", "mean", "std", "median"]).round(1)
print(summary)

# распределение по возрастным группам в процентах
shares = pd.crosstab(df["age_group"], df["group"], normalize="columns")
print((shares * 100).round(1))
Одна строка с groupby заменяет сводную таблицу: мы получаем число пациентов, среднее, стандартное отклонение и медиану снижения давления в каждой группе.

Шаг 5. Сравнение групп

Проверим, различается ли снижение давления между схемами терапии. Сначала оценим распределение критерием Шапиро-Уилка, затем выберем подходящий критерий сравнения.
from scipy import stats

a = df.loc[df["group"] == "A", "sbp_delta"].dropna()
b = df.loc[df["group"] == "B", "sbp_delta"].dropna()

print("Шапиро-Уилк, p:", stats.shapiro(a).pvalue, stats.shapiro(b).pvalue)

# критерий Уэлча: t-критерий без предположения о равных дисперсиях
welch = stats.ttest_ind(a, b, equal_var=False)
# непараметрическая альтернатива
mw = stats.mannwhitneyu(a, b, alternative="two-sided")

print(f"Уэлч: p = {welch.pvalue:.4f}")
print(f"Манн-Уитни: p = {mw.pvalue:.4f}")
Если распределение в обеих группах близко к нормальному, в отчёт идёт результат критерия Уэлча, если нет, используют критерий Манна-Уитни. Выбор метода фиксируют до того, как посмотрели на p-значения, а не после.

Сравнение долей

table = pd.crosstab(df["group"], df["complication"])
chi2, p, dof, expected = stats.chi2_contingency(table)
print(table)
print(f"Хи-квадрат: p = {p:.4f}")
print("Минимальная ожидаемая частота:", expected.min().round(1))
Если минимальная ожидаемая частота меньше 5, для таблицы 2 на 2 лучше применить точный критерий Фишера: stats.fisher_exact(table).

Шаг 6. Связь между показателями

res = stats.spearmanr(df["age"], df["los_days"], nan_policy="omit")
print(f"Спирмен: rho = {res.statistic:.2f}, p = {res.pvalue:.4f}")
Коэффициент Спирмена подходит для данных, распределение которых далеко от нормального, как у длительности госпитализации. Положительное значение rho означает, что с возрастом пребывание в стационаре в среднем увеличивается.

Шаг 7. Визуализация

import matplotlib.pyplot as plt

ax = df.boxplot(column="sbp_delta", by="group", grid=False)
ax.set_title("Снижение САД по схемам терапии")
ax.set_xlabel("Группа")
ax.set_ylabel("мм рт. ст.")
plt.suptitle("")
plt.savefig("sbp_delta.png", dpi=150, bbox_inches="tight")
Диаграмма размаха показывает медиану, квартили и выбросы в каждой группе, поэтому её часто используют в публикациях вместо столбиков со средними.

Шаг 8. Отчёт в Excel

writer = pd.ExcelWriter("report.xlsx")
summary.to_excel(writer, sheet_name="Снижение САД")
table.to_excel(writer, sheet_name="Осложнения")
df.to_excel(writer, sheet_name="Очищенные данные", index=False)
writer.close() # файл сохраняется при закрытии
В итоге получился воспроизводимый конвейер: при поступлении новой выгрузки достаточно заменить файл patients.csv и запустить скрипт заново. Все шаги, от очистки до статистики, выполнятся одинаково.

Что делать дальше

  • Вынести повторяющиеся шаги в функции, чтобы применять их к разным таблицам.
  • Добавить логирование: записывать в файл, сколько записей исключено и по какой причине.
  • Освоить регрессионный анализ, чтобы учитывать возраст, пол и сопутствующие заболевания одновременно.
  • Сверить результаты статистических критериев в Jamovi, особенно перед публикацией.

Как научиться такому анализу с наставником

Именно этот путь, от первых строк кода до полного аналитического конвейера, проходят слушатели курса «Анализ медицинских данных с помощью Python» в Центре обучения Кодемия.
  • Онлайн, 68 академических часов, 70% практики, поддержка наставников.
  • Основы Python, работа с файлами, JSON и логированием.
  • Очистка, анализ и визуализация медико-биологических данных в pandas.
  • Биостатистика в Jamovi, корреляционный и регрессионный анализ в Python.
  • Итоговый проект: аналитический конвейер обработки медицинских данных.
  • Удостоверение о повышении квалификации установленного образца.

Частые вопросы

Где взять данные для тренировки?

Подойдут открытые учебные наборы медицинских данных или собственные таблицы после обезличивания. На курсе слушатели работают с подготовленными медицинскими кейсами.

Почему не посчитать всё в Excel?

Для одной таблицы и простых расчётов Excel удобен. Скрипт выигрывает, когда обработку нужно повторять, когда данных много или когда нужны методы, которых в Excel нет.

Обязательно ли проверять нормальность распределения?

Это помогает выбрать критерий. На больших выборках критерий Шапиро-Уилка находит отклонения даже там, где они не важны, поэтому результат проверки дополняют гистограммой или Q-Q графиком.