Метрики для оценки эффективности генерации инженерных решений на основе ИИ

## Описание Этот документ задаёт набор из четырёх метрик для оценки эффективности работы системы генерации инженерных решений на основе ИИ. Каждая метрика имеет формулу, источник данных и целевой порог. ## Метрики ### 1. Доля корректных решений (Correctness Rate) **Формула:** $$ \text{Correctness Rate} = \frac{\text{Количество корректно сгенерированных решений}}{\text{Общее количество сгенерированных решений}} $$ **Источник данных:** Логи системы, проверка решений вручную (контрольная выборка) **Периодичность:** Ежедневно **Целевой порог:** 0.85 (85%) **Текущее значение:** Нет данных **Действие при отклонении:** Увеличение объёма обучающих данных, пересмотр промптов и алгоритма генерации ### 2. Время генерации одного решения (Generation Time) **Формула:** $$ \text{Average Generation Time} = \frac{\sum_{i=1}^{n} t_i}{n} $$ где $t_i$ — время генерации i-го решения. **Источник данных:** Логи системы (логирование времени генерации) **Периодичность:** Ежедневно **Целевой порог:** 10 секунд на одно решение **Текущее значение:** Нет данных **Действие при отклонении:** Оптимизация алгоритма, использование более быстрых моделей ИИ или распределённой обработки ### 3. Доля уникальных решений (Uniqueness Rate) **Формула:** $$ \text{Uniqueness Rate} = \frac{\text{Количество уникальных решений}}{\text{Общее количество сгенерированных решений}} $$ **Источник данных:** Система сравнения решений (анализ на дубликаты) **Периодичность:** Ежемесячно **Целевой порог:** 0.90 (90%) **Текущее значение:** Нет данных **Действие при отклонении:** Повышение качества генерации через разнообразие промптов, использование техник дистрибуции решений ### 4. Количество инженерных решений в сутки (Daily Solution Volume) **Формула:** $$ \text{Daily Solution Volume} = \sum_{i=1}^{d} \text{Количество решений за день } i $$ где $d$ — количество дней в периоде. **Источник данных:** Логи системы, агрегация по дням **Периодичность:** Ежедневно **Целевой порог:** 100 решений в день **Текущее значение:** Нет данных **Действие при отклонении:** Повышение масштабируемости системы, добавление ресурсов для обработки запросов ## Допущения - Для расчёта метрик используются данные в формате JSON с логами генерации. - Качество решений оценивается человеком (пользователем системы) по критериям, согласованным в спецификации #1. ## Исходные данные и зависимости - Спецификация системы инженерных решений на основе ИИ (#1) - Контракт API и алгоритмы генерации (#2) ## Проверка валидности метрик Все метрики имеют конкретный источник данных, формулу для расчёта, целевой порог и действие при отклонении. Метрики не зависят от устных или непроверяемых оценок.