## Описание

Этот документ задаёт набор из четырёх метрик для оценки эффективности работы системы генерации инженерных решений на основе ИИ. Каждая метрика имеет формулу, источник данных и целевой порог.

## Метрики

### 1. Доля корректных решений (Correctness Rate)

**Формула:**
$$ \text{Correctness Rate} = \frac{\text{Количество корректно сгенерированных решений}}{\text{Общее количество сгенерированных решений}} $$

**Источник данных:** Логи системы, проверка решений вручную (контрольная выборка)

**Периодичность:** Ежедневно

**Целевой порог:** 0.85 (85%)

**Текущее значение:** Нет данных

**Действие при отклонении:** Увеличение объёма обучающих данных, пересмотр промптов и алгоритма генерации

### 2. Время генерации одного решения (Generation Time)

**Формула:**
$$ \text{Average Generation Time} = \frac{\sum_{i=1}^{n} t_i}{n} $$

где $t_i$ — время генерации i-го решения.

**Источник данных:** Логи системы (логирование времени генерации)

**Периодичность:** Ежедневно

**Целевой порог:** 10 секунд на одно решение

**Текущее значение:** Нет данных

**Действие при отклонении:** Оптимизация алгоритма, использование более быстрых моделей ИИ или распределённой обработки

### 3. Доля уникальных решений (Uniqueness Rate)

**Формула:**
$$ \text{Uniqueness Rate} = \frac{\text{Количество уникальных решений}}{\text{Общее количество сгенерированных решений}} $$

**Источник данных:** Система сравнения решений (анализ на дубликаты)

**Периодичность:** Ежемесячно

**Целевой порог:** 0.90 (90%)

**Текущее значение:** Нет данных

**Действие при отклонении:** Повышение качества генерации через разнообразие промптов, использование техник дистрибуции решений

### 4. Количество инженерных решений в сутки (Daily Solution Volume)

**Формула:**
$$ \text{Daily Solution Volume} = \sum_{i=1}^{d} \text{Количество решений за день } i $$

где $d$ — количество дней в периоде.

**Источник данных:** Логи системы, агрегация по дням

**Периодичность:** Ежедневно

**Целевой порог:** 100 решений в день

**Текущее значение:** Нет данных

**Действие при отклонении:** Повышение масштабируемости системы, добавление ресурсов для обработки запросов

## Допущения

- Для расчёта метрик используются данные в формате JSON с логами генерации.
- Качество решений оценивается человеком (пользователем системы) по критериям, согласованным в спецификации #1.

## Исходные данные и зависимости

- Спецификация системы инженерных решений на основе ИИ (#1)
- Контракт API и алгоритмы генерации (#2)

## Проверка валидности метрик

Все метрики имеют конкретный источник данных, формулу для расчёта, целевой порог и действие при отклонении. Метрики не зависят от устных или непроверяемых оценок.