Sistema de Evaluación Académica de Manuales

1. Objetivo del Sistema

Desarrollar un sistema automatizado que evalúe manuales de cursos académicos mediante múltiples IAs, analizando calidad pedagógica, estructura y aplicación de taxonomías de aprendizaje.

Funcionalidades Principales

Extracción automática de manuales desde base de datos
Evaluación mediante 3 IAs: DeepSeek, ChatGPT, Claude
Dashboard interactivo para gestión de evaluaciones
Análisis basado en 6 parámetros académicos
Evaluación de Taxonomía de Bloom
Almacenamiento estructurado de resultados
Comparativa entre diferentes IAs

2. Arquitectura Técnica

Dashboard Web

Selección IA

Extracción BD

API IA

Almacenamiento

Visualización

Componentes del Sistema

Dashboard: Interfaz web completa
Endpoint Web: /evaluar-manual.php?id_curso=X&ia=Y
Base de Datos: MySQL con tabla única
APIs Externas: DeepSeek, OpenAI, Anthropic
Procesamiento: Evaluación multi-IA
Salida: JSON + HTML Dashboard

3. Proveedores de IA Soportados

🔵

DeepSeek

API: DeepSeek Chat

Costo: Gratuito

Límite: 1000 tokens/s

🟢

ChatGPT

API: OpenAI GPT-4

Costo: $0.03/1K tokens

Límite: 10K tokens

🟠

Claude

API: Anthropic Claude-2

Costo: $0.11/1K tokens

Límite: 100K tokens

Configuración de APIs

DeepSeek: API Key en variables de entorno
OpenAI: API Key con facturación habilitada
Anthropic: API Key con acceso a Claude
Timeouts: 60 segundos por defecto
Retry: 3 intentos por fallo

4. Dashboard Interactivo

📊 DASHBOARD DE EVALUACIÓN - CURSO #{$curso_id}

Evaluaciones Disponibles:

Historial de Evaluaciones:

ID	Fecha	IA	Puntuación	Nivel	Acciones
15	2024-01-15	DeepSeek	85/100	Avanzado	[Ver] [Comparar]
14	2024-01-10	ChatGPT	82/100	Intermedio	[Ver] [Comparar]
13	2024-01-05	Claude	88/100	Excelente	[Ver] [Comparar]

Comparativa entre IAs:

[Gráfico comparativo de puntuaciones]

[Análisis de consistencia entre evaluadores]

5. Parámetros de Evaluación

Sistema de puntuación basado en 6 dimensiones académicas con pesos específicos:

Estructura y Organización

Peso: 15%

Secuencia lógica de contenidos
División en módulos
Progresión de dificultad
Claridad en objetivos

Contenido Técnico

Peso: 20%

Exactitud científica
Actualidad de información
Profundidad adecuada
Ejemplos relevantes

Metodología Pedagógica

Peso: 15%

Enfoque didáctico
Variedad de recursos
Actividades de refuerzo
Adaptación a estilos

Claridad y Lenguaje

Peso: 10%

Redacción clara
Terminología apropiada
Estructura de párrafos
Legibilidad general

Aplicabilidad Práctica

Peso: 15%

Desarrollo de habilidades
Transferencia al mundo real
Casos de estudio
Impacto en estudiante

Taxonomía de Bloom

Peso: 25%

Distribución de niveles cognitivos
Equilibrio entre memorización y creación
Progresión cognitiva

6. Taxonomía de Bloom - Especificación Detallada

Recordar

Memorización, repaso, identificación

Comprender

Explicaciones, ejemplos, comparaciones

Aplicar

Ejercicios prácticos, casos de uso

Analizar

Descomposición, patrones, relaciones

Evaluar

Juicios críticos, argumentación

Crear

Proyectos, diseños, soluciones originales

Distribución Ideal por Nivel del Curso

Básico: 40% Recordar, 30% Comprender, 20% Aplicar, 10% superiores
Intermedio: 25% Recordar, 25% Comprender, 25% Aplicar, 25% superiores
Avanzado: 15% Recordar, 20% Comprender, 25% Aplicar, 40% superiores

7. Estructura de Base de Datos

                    CREATE TABLE evaluaciones_manuales (

                      id_evaluacion INT PRIMARY KEY AUTO_INCREMENT,

                      id_curso INT NOT NULL,

                      fecha_evaluacion TIMESTAMP DEFAULT CURRENT_TIMESTAMP,

                      fecha_actualizacion TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,

                      proveedor_ia ENUM('deepseek','chatgpt','claude') NOT NULL DEFAULT 'deepseek',

                      puntuacion_global DECIMAL(5,2) NOT NULL,

                      nivel_adecuacion ENUM('Básico','Intermedio','Avanzado','Excelente') NOT NULL,

                      puntuacion_estructura DECIMAL(5,2) NOT NULL,

                      puntuacion_contenido_tecnico DECIMAL(5,2) NOT NULL,

                      puntuacion_metodologia DECIMAL(5,2) NOT NULL,

                      puntuacion_claridad DECIMAL(5,2) NOT NULL,

                      puntuacion_aplicabilidad DECIMAL(5,2) NOT NULL,

                      puntuacion_taxonomia_bloom DECIMAL(5,2) NOT NULL,

                      bloom_recordar DECIMAL(5,2) NOT NULL,

                      bloom_comprender DECIMAL(5,2) NOT NULL,

                      bloom_aplicar DECIMAL(5,2) NOT NULL,

                      bloom_analizar DECIMAL(5,2) NOT NULL,

                      bloom_evaluar DECIMAL(5,2) NOT NULL,

                      bloom_crear DECIMAL(5,2) NOT NULL,

                      analisis_estructura TEXT,

                      analisis_contenido_tecnico TEXT,

                      analisis_metodologia TEXT,

                      analisis_claridad TEXT,

                      analisis_aplicabilidad TEXT,

                      analisis_taxonomia_bloom TEXT,

                      resumen_ejecutivo TEXT NOT NULL,

                      fortalezas_principales TEXT NOT NULL,

                      recomendaciones_mejora TEXT NOT NULL,

                      configuracion_prompt TEXT,

                      estado ENUM('completada','error','procesando') DEFAULT 'completada',

                      modelo_ia_utilizado VARCHAR(50) DEFAULT 'DeepSeek',

                      version_evaluador VARCHAR(20) DEFAULT '1.0',

                      tokens_utilizados INT DEFAULT 0,

                      costo_evaluacion DECIMAL(10,4) DEFAULT 0,

                      INDEX idx_curso (id_curso),

                      INDEX idx_fecha (fecha_evaluacion),

                      INDEX idx_proveedor (proveedor_ia),

                      INDEX idx_puntuacion_global (puntuacion_global),

                      INDEX idx_nivel (nivel_adecuacion),

                      FOREIGN KEY (id_curso) REFERENCES cursos(id_curso) ON DELETE CASCADE

                    );

8. Prompt de Evaluación Multi-IA

// PROMPT BASE PARA TODAS LAS IAs
Evalúa el siguiente manual de curso académico considerando estos parámetros:

MANUAL: [CONTENIDO_DEL_MANUAL]

PARÁMETROS DE EVALUACIÓN CON PESOS:
1. Estructura y Organización (15%)
2. Contenido Técnico (20%) 
3. Taxonomía de Bloom (25%)
4. Metodología Pedagógica (15%)
5. Claridad y Lenguaje (10%)
6. Aplicabilidad Práctica (15%)

ESPECÍFICAMENTE PARA TAXONOMÍA DE BLOOM:
Analiza la distribución porcentual de actividades según los 6 niveles:
- Recordar (memorización, identificación)
- Comprender (explicaciones, ejemplos)  
- Aplicar (ejercicios prácticos, casos)
- Analizar (descomposición, relaciones)
- Evaluar (juicios críticos, argumentos)
- Crear (proyectos, soluciones originales)

// ADAPTACIONES ESPECÍFICAS POR IA:
// DEEPSEEK: Mantener prompt base
// CHATGPT: Agregar "Eres un experto en pedagogía universitaria"
// CLAUDE: Agregar "Como especialista en evaluación educativa"

FORMATO DE RESPUESTA EXACTO (JSON):
{
  "puntuacion_global": 85,
  "nivel_adecuacion": "Avanzado",
  "evaluacion_parametros": {
    "estructura": {"puntuacion": 80, "analisis": "texto aquí"},
    "contenido_tecnico": {"puntuacion": 90, "analisis": "texto aquí"},
    "taxonomia_bloom": {"puntuacion": 75, "analisis": "texto aquí"},
    "metodologia": {"puntuacion": 85, "analisis": "texto aquí"},
    "claridad": {"puntuacion": 80, "analisis": "texto aquí"},
    "aplicabilidad": {"puntuacion": 85, "analisis": "texto aquí"}
  },
  "distribucion_bloom": {
    "recordar": 30, "comprender": 25, "aplicar": 20, 
    "analizar": 15, "evaluar": 7, "crear": 3
  },
  "resumen_ejecutivo": "texto resumen aquí",
  "fortalezas_principales": ["fortaleza1", "fortaleza2", "fortaleza3"],
  "recomendaciones_mejora": ["recomendacion1", "recomendacion2", "recomendacion3"]
}

IMPORTANTE: La suma de distribucion_bloom debe ser 100. Usa solo este formato JSON.
                

9. Endpoint API y Flujo de Procesamiento

GET /evaluar-manual.php?id_curso=[ID_CURSO]&ia=[deepseek|chatgpt|claude]

GET /dashboard-evaluaciones.php?id_curso=[ID_CURSO]

Flujo de Ejecución Multi-IA

Usuario selecciona IA en dashboard
Validar parámetros id_curso y proveedor_ia
Conectar a BD y extraer campo 'manual'
Aplicar prompt específico para la IA seleccionada
Llamar a API correspondiente con timeout de 60 segundos
Calcular costo basado en tokens utilizados
Validar y parsear respuesta JSON
Insertar resultados en tabla con proveedor_ia
Actualizar dashboard con nueva evaluación

Manejo de Errores Multi-IA

IA no disponible: HTTP 503
Límite de tokens excedido: HTTP 413
API Key inválida: HTTP 401
Costo excedido: HTTP 402

10. Ejemplo de Respuesta del Sistema

Respuesta JSON Exitosa (Multi-IA):

{
  "success": true,
  "evaluacion_id": 45,
  "proveedor_ia": "chatgpt",
  "data": {
    "puntuacion_global": 82.5,
    "nivel_adecuacion": "Avanzado",
    "evaluacion_parametros": {
      "estructura": {"puntuacion": 85, "analisis": "Estructura bien organizada..."},
      "contenido_tecnico": {"puntuacion": 90, "analisis": "Contenido actualizado..."},
      "taxonomia_bloom": {"puntuacion": 75, "analisis": "Buen equilibrio pero..."},
      "metodologia": {"puntuacion": 80, "analisis": "Metodología adecuada..."},
      "claridad": {"puntuacion": 85, "analisis": "Lenguaje claro y..."},
      "aplicabilidad": {"puntuacion": 80, "analisis": "Buenos casos prácticos..."}
    },
    "distribucion_bloom": {
      "recordar": 25, "comprender": 30, "aplicar": 25,
      "analizar": 12, "evaluar": 5, "crear": 3
    },
    "resumen_ejecutivo": "Manual de calidad con contenido sólido...",
    "fortalezas_principales": [
      "Contenido técnico actualizado",
      "Estructura clara y lógica", 
      "Ejemplos prácticos relevantes"
    ],
    "recomendaciones_mejora": [
      "Aumentar actividades de creación",
      "Incluir más evaluaciones críticas",
      "Diversificar recursos didácticos"
    ]
  },
  "metadatos": {
    "modelo_ia": "gpt-4",
    "proveedor": "chatgpt",
    "tokens_utilizados": 1250,
    "costo_estimado": 0.0375,
    "tiempo_procesamiento": "4.2s"
  }
}
                    