В этой статье разберём полный цикл анализа небольшого набора медицинских данных на Python: от загрузки таблицы до графика и итогового отчёта в Excel. Пример рассчитан на тех, кто знает основы синтаксиса и хочет увидеть, как выглядит реальная работа с данными. Если вы только присматриваетесь к Python, начните со статьи «Python для врачей: зачем медику программирование и с чего начать».
Все данные в примере вымышленные. Реальные данные пациентов перед анализом обязательно обезличивают.
Исходные данные
Представим, что у нас есть файл patients.csv с результатами наблюдения за пациентами с артериальной гипертензией, которые получали одну из двух схем терапии. В таблице такие столбцы:
- patient_id: условный код пациента;
- age: возраст, лет;
- sex: пол;
- group: схема терапии, A или B;
- sbp_before и sbp_after: систолическое давление до и после курса, мм рт. ст.;
- los_days: длительность госпитализации, дней;
- complication: было ли осложнение, «да» или «нет».
Понадобятся библиотеки pandas, SciPy, Matplotlib и openpyxl. Установить их можно одной командой: pip install pandas scipy matplotlib openpyxl.
Шаг 1. Загрузка и первый взгляд
import pandas as pd
df = pd.read_csv("patients.csv", sep=";", encoding="utf-8")
print(df.shape) # число строк и столбцов
print(df.head()) # первые пять записей
df.info() # типы данных и число заполненных значений
df = pd.read_csv("patients.csv", sep=";", encoding="utf-8")
print(df.shape) # число строк и столбцов
print(df.head()) # первые пять записей
df.info() # типы данных и число заполненных значений
Уже на этом шаге видно, правильно ли прочитались столбцы, не превратились ли числа в текст и много ли пропусков. Если данные лежат в Excel, вместо read_csv используйте pd.read_excel("patients.xlsx").
Шаг 2. Очистка данных
Реальные выгрузки почти всегда содержат дубли, пропуски, опечатки и невозможные значения. Разберёмся с ними по очереди.
# повторные записи одного пациента
df = df.drop_duplicates(subset="patient_id")
# сколько пропусков в каждом столбце
print(df.isna().sum())
# приводим обозначения пола к единому виду
df["sex"] = df["sex"].str.strip().str.upper()
df["sex"] = df["sex"].replace({"МУЖ": "М", "ЖЕН": "Ж"})
# убираем физиологически невозможные значения давления
mask = df["sbp_before"].between(60, 260) & df["sbp_after"].between(60, 260)
print("Исключено записей:", (~mask).sum())
df = df[mask]
df = df.drop_duplicates(subset="patient_id")
# сколько пропусков в каждом столбце
print(df.isna().sum())
# приводим обозначения пола к единому виду
df["sex"] = df["sex"].str.strip().str.upper()
df["sex"] = df["sex"].replace({"МУЖ": "М", "ЖЕН": "Ж"})
# убираем физиологически невозможные значения давления
mask = df["sbp_before"].between(60, 260) & df["sbp_after"].between(60, 260)
print("Исключено записей:", (~mask).sum())
df = df[mask]
Обратите внимание: исключённые записи не удаляются молча, а подсчитываются. Число исключённых наблюдений и причины исключения потом указывают в методах исследования.
Шаг 3. Новые показатели
# на сколько снизилось давление за курс
df["sbp_delta"] = df["sbp_before"] - df["sbp_after"]
# возрастные группы
df["age_group"] = pd.cut(df["age"], bins=[17, 44, 59, 74, 120], labels=["18-44", "45-59", "60-74", "75+"])
df["sbp_delta"] = df["sbp_before"] - df["sbp_after"]
# возрастные группы
df["age_group"] = pd.cut(df["age"], bins=[17, 44, 59, 74, 120], labels=["18-44", "45-59", "60-74", "75+"])
Шаг 4. Описательная статистика по группам
summary = df.groupby("group")["sbp_delta"].agg(["count", "mean", "std", "median"]).round(1)
print(summary)
# распределение по возрастным группам в процентах
shares = pd.crosstab(df["age_group"], df["group"], normalize="columns")
print((shares * 100).round(1))
print(summary)
# распределение по возрастным группам в процентах
shares = pd.crosstab(df["age_group"], df["group"], normalize="columns")
print((shares * 100).round(1))
Одна строка с groupby заменяет сводную таблицу: мы получаем число пациентов, среднее, стандартное отклонение и медиану снижения давления в каждой группе.
Шаг 5. Сравнение групп
Проверим, различается ли снижение давления между схемами терапии. Сначала оценим распределение критерием Шапиро-Уилка, затем выберем подходящий критерий сравнения.
from scipy import stats
a = df.loc[df["group"] == "A", "sbp_delta"].dropna()
b = df.loc[df["group"] == "B", "sbp_delta"].dropna()
print("Шапиро-Уилк, p:", stats.shapiro(a).pvalue, stats.shapiro(b).pvalue)
# критерий Уэлча: t-критерий без предположения о равных дисперсиях
welch = stats.ttest_ind(a, b, equal_var=False)
# непараметрическая альтернатива
mw = stats.mannwhitneyu(a, b, alternative="two-sided")
print(f"Уэлч: p = {welch.pvalue:.4f}")
print(f"Манн-Уитни: p = {mw.pvalue:.4f}")
a = df.loc[df["group"] == "A", "sbp_delta"].dropna()
b = df.loc[df["group"] == "B", "sbp_delta"].dropna()
print("Шапиро-Уилк, p:", stats.shapiro(a).pvalue, stats.shapiro(b).pvalue)
# критерий Уэлча: t-критерий без предположения о равных дисперсиях
welch = stats.ttest_ind(a, b, equal_var=False)
# непараметрическая альтернатива
mw = stats.mannwhitneyu(a, b, alternative="two-sided")
print(f"Уэлч: p = {welch.pvalue:.4f}")
print(f"Манн-Уитни: p = {mw.pvalue:.4f}")
Если распределение в обеих группах близко к нормальному, в отчёт идёт результат критерия Уэлча, если нет, используют критерий Манна-Уитни. Выбор метода фиксируют до того, как посмотрели на p-значения, а не после.
Сравнение долей
table = pd.crosstab(df["group"], df["complication"])
chi2, p, dof, expected = stats.chi2_contingency(table)
print(table)
print(f"Хи-квадрат: p = {p:.4f}")
print("Минимальная ожидаемая частота:", expected.min().round(1))
chi2, p, dof, expected = stats.chi2_contingency(table)
print(table)
print(f"Хи-квадрат: p = {p:.4f}")
print("Минимальная ожидаемая частота:", expected.min().round(1))
Если минимальная ожидаемая частота меньше 5, для таблицы 2 на 2 лучше применить точный критерий Фишера: stats.fisher_exact(table).
Шаг 6. Связь между показателями
res = stats.spearmanr(df["age"], df["los_days"], nan_policy="omit")
print(f"Спирмен: rho = {res.statistic:.2f}, p = {res.pvalue:.4f}")
print(f"Спирмен: rho = {res.statistic:.2f}, p = {res.pvalue:.4f}")
Коэффициент Спирмена подходит для данных, распределение которых далеко от нормального, как у длительности госпитализации. Положительное значение rho означает, что с возрастом пребывание в стационаре в среднем увеличивается.
Шаг 7. Визуализация
import matplotlib.pyplot as plt
ax = df.boxplot(column="sbp_delta", by="group", grid=False)
ax.set_title("Снижение САД по схемам терапии")
ax.set_xlabel("Группа")
ax.set_ylabel("мм рт. ст.")
plt.suptitle("")
plt.savefig("sbp_delta.png", dpi=150, bbox_inches="tight")
ax = df.boxplot(column="sbp_delta", by="group", grid=False)
ax.set_title("Снижение САД по схемам терапии")
ax.set_xlabel("Группа")
ax.set_ylabel("мм рт. ст.")
plt.suptitle("")
plt.savefig("sbp_delta.png", dpi=150, bbox_inches="tight")
Диаграмма размаха показывает медиану, квартили и выбросы в каждой группе, поэтому её часто используют в публикациях вместо столбиков со средними.
Шаг 8. Отчёт в Excel
writer = pd.ExcelWriter("report.xlsx")
summary.to_excel(writer, sheet_name="Снижение САД")
table.to_excel(writer, sheet_name="Осложнения")
df.to_excel(writer, sheet_name="Очищенные данные", index=False)
writer.close() # файл сохраняется при закрытии
summary.to_excel(writer, sheet_name="Снижение САД")
table.to_excel(writer, sheet_name="Осложнения")
df.to_excel(writer, sheet_name="Очищенные данные", index=False)
writer.close() # файл сохраняется при закрытии
В итоге получился воспроизводимый конвейер: при поступлении новой выгрузки достаточно заменить файл patients.csv и запустить скрипт заново. Все шаги, от очистки до статистики, выполнятся одинаково.
Что делать дальше
- Вынести повторяющиеся шаги в функции, чтобы применять их к разным таблицам.
- Добавить логирование: записывать в файл, сколько записей исключено и по какой причине.
- Освоить регрессионный анализ, чтобы учитывать возраст, пол и сопутствующие заболевания одновременно.
- Сверить результаты статистических критериев в Jamovi, особенно перед публикацией.
Как научиться такому анализу с наставником
Именно этот путь, от первых строк кода до полного аналитического конвейера, проходят слушатели курса «Анализ медицинских данных с помощью Python» в Центре обучения Кодемия.
- Онлайн, 68 академических часов, 70% практики, поддержка наставников.
- Основы Python, работа с файлами, JSON и логированием.
- Очистка, анализ и визуализация медико-биологических данных в pandas.
- Биостатистика в Jamovi, корреляционный и регрессионный анализ в Python.
- Итоговый проект: аналитический конвейер обработки медицинских данных.
- Удостоверение о повышении квалификации установленного образца.
Частые вопросы
Где взять данные для тренировки?
Подойдут открытые учебные наборы медицинских данных или собственные таблицы после обезличивания. На курсе слушатели работают с подготовленными медицинскими кейсами.
Почему не посчитать всё в Excel?
Для одной таблицы и простых расчётов Excel удобен. Скрипт выигрывает, когда обработку нужно повторять, когда данных много или когда нужны методы, которых в Excel нет.
Обязательно ли проверять нормальность распределения?
Это помогает выбрать критерий. На больших выборках критерий Шапиро-Уилка находит отклонения даже там, где они не важны, поэтому результат проверки дополняют гистограммой или Q-Q графиком.