Метрики качества моделей: MSE, MAE, R²

🎯 Зачем нужны метрики качества?

Представьте, что вы тренируетесь стрелять в мишень. После каждой серии вы хотите понять, насколько хорошо вы попали. Метрики качества в машинном обучении — это и есть такие "мишени". Они показывают, насколько точно наша модель предсказывает правильные значения.

Без метриок мы не сможем:

🤔 Сравнить разные модели между собой
📊 Оценить, улучшилась ли модель после доработок
🎯 Выбрать лучшую модель для решения задачи

💡 Совет: Всегда используйте несколько метрик для оценки! Одна метрика может дать неполную картину.

📏 MSE (Mean Squared Error) — Средняя квадратичная ошибка

MSE — одна из самых популярных метрик в регрессионном анализе. Она вычисляет среднее значение квадратов разностей между предсказанными и реальными значениями.

📘 Формула MSE:

MSE = (1/n) * Σ(y_i - ŷ_i)²

Где:

n — количество наблюдений
y_i — реальное значение
ŷ_i — предсказанное значение
Σ — сумма всех разностей

🔺 Особенности MSE:

➕ Штрафует за большие ошибки сильнее, чем за маленькие
➖ Чувствительна к выбросам (большие ошибки сильно влияют на результат)
📏 Всегда неотрицательна: чем ближе к 0, тем лучше

🧮 Пример вычисления MSE:

Допустим, у нас есть реальные значения: [3, 5, 2] и предсказанные: [2.5, 4.5, 2.5]

Шаг 1: Находим разности:

3 - 2.5 = 0.5
5 - 4.5 = 0.5
2 - 2.5 = -0.5

Шаг 2: Возводим в квадрат:

0.5² = 0.25
0.5² = 0.25
(-0.5)² = 0.25

Шаг 3: Суммируем и находим среднее:

MSE = (0.25 + 0.25 + 0.25) / 3 = 0.75 / 3 = 0.25

📐 MAE (Mean Absolute Error) — Средняя абсолютная ошибка

MAE вычисляет среднее значение абсолютных разностей между предсказанными и реальными значениями. Это более "справедливая" метрика, которая не так сильно штрафует за большие ошибки.

📘 Формула MAE:

MAE = (1/n) * Σ|y_i - ŷ_i|

🔺 Особенности MAE:

➕ Менее чувствительна к выбросам, чем MSE
➕ Легче интерпретировать (средняя ошибка в единицах целевой переменной)
➖ Не штрафует за большие ошибки так сильно, как MSE

🧮 Пример вычисления MAE:

Возьмем те же значения: реальные [3, 5, 2] и предсказанные [2.5, 4.5, 2.5]

Шаг 1: Находим абсолютные разности:

|3 - 2.5| = 0.5
|5 - 4.5| = 0.5
|2 - 2.5| = 0.5

Шаг 2: Суммируем и находим среднее:

MAE = (0.5 + 0.5 + 0.5) / 3 = 1.5 / 3 = 0.5

💡 Совет: Используйте MAE, когда хотите понять среднюю величину ошибки в "обычных" единицах измерения. Используйте MSE, когда большие ошибки критичны для вашей задачи.

🎯 R² (R-квадрат) — Коэффициент детерминации

R² показывает, насколько хорошо модель объясняет variance (разброс) данных относительно простого среднего значения. Это безразмерная метрика, которая очень полезна для сравнения моделей.

📘 Формула R²:

R² = 1 - (Σ(y_i - ŷ_i)² / Σ(y_i - ȳ)²)

Где ȳ — среднее значение реальных данных.

🔺 Особенности R²:

📊 Показывает долю объясненной дисперсии
📈 Лучшее значение = 1 (идеальное предсказание)
📉 Может быть отрицательным (если модель хуже, чем предсказание средним)
🔄 Легко сравнивать модели на разных данных

🧮 Пример вычисления R²:

Реальные значения: [3, 5, 2], предсказанные: [2.5, 4.5, 2.5]

Шаг 1: Находим среднее реальных значений:

ȳ = (3 + 5 + 2) / 3 = 10 / 3 ≈ 3.33

Шаг 2: Вычисляем MSE модели (как в предыдущем примере):

MSE_модели = 0.25

Шаг 3: Вычисляем MSE простого предсказания средним:

(3-3.33)² ≈ 0.11
(5-3.33)² ≈ 2.79
(2-3.33)² ≈ 1.77
MSE_среднего = (0.11 + 2.79 + 1.77) / 3 ≈ 4.67 / 3 ≈ 1.56

Шаг 4: Вычисляем R²:

R² = 1 - (MSE_модели / MSE_среднего) = 1 - (0.25 / 1.56) ≈ 1 - 0.16 ≈ 0.84

Это означает, что наша модель объясняет 84% дисперсии данных! 🎉

📊 Сравнение метрик

Метрика	Лучшее значение	Чувствительность к выбросам	Интерпретация
MSE	0	Высокая	Средний квадрат ошибок
MAE	0	Низкая	Средняя абсолютная ошибка
R²	1	Средняя	Доля объясненной дисперсии