Resultados de la evaluación comparativa de modelos de IA en AWS Bedrock Foundation

 

TL;DR

  • Este primer informe presenta una comparación directa de los modelos GPT frente a los de Anthropic en 10 tareas, que van desde texto a SQL y generación de código hasta resumen y análisis de sentimientos.
  • Los modelos de Anthropic producen sistemáticamente resultados más claros y concisos, especialmente en SQL (formato correcto), resúmenes (incluidas las decisiones y acciones) y análisis de datos no estructurados a estructurados.
  • Con nuestra herramienta de conversión de prompts, los resultados de Anthropic siguen mejorando, ofreciendo respuestas más precisas, un contexto mejorado y una menor sobrecarga de tokens.
  • Para las tareas de código, ambas familias corrigen errores, pero Anthropic normalmente devuelve solo el código corregido, lo que reduce la verbosidad y el costo.
  • Se trata de una pasada de un solo ejemplo por tarea; las próximas partes se ampliarán a conjuntos de datos más grandes y métricas más estrictas para obtener conclusiones más profundas y estadísticamente sólidas.

A medida que la IA continúa evolucionando, es crucial evaluar y comparar el rendimiento de diferentes modelos en diversas tareas para garantizar que ofrecemos las mejores soluciones a nuestros clientes. Este informe es el primero de una serie de evaluación comparativa de 3 partes, donde realizamos una comparación exhaustiva entre los modelos GPT y Anthropic en una variedad de tareas simples y difíciles.

Recopilamos resultados (utilizando el prompt de OpenAI, así como prompts convertidos para los modelos de Anthropic) para las siguientes tareas:

  • Análisis de sentimiento de tuits
  • Extracción de palabras clave
  • Generación de código
  • Conversión de texto a SQL
  • Resumen de notas de reuniones
  • Redacción de planes de lecciones
  • Corrección gramatical
  • Análisis de datos no estructurados
  • Corrección de errores de Python
  • Función a partir de la especificación

Si bien este informe inicial ofrece un ejemplo por tarea para ilustrar la comparación, las siguientes partes de la serie ampliarán el alcance incorporando conjuntos de datos más grandes y métricas de evaluación más complejas.

Texto a SQL

La conversión de texto a SQL es importante porque permite a los usuarios sin conocimientos técnicos consultar bases de datos sin esfuerzo, haciendo que el acceso a los datos sea más inclusivo y eficiente.

Ejemplos tomados del archivo de prueba de WikiSQL

Tabla usada en el ejemplo:
CREATE TABLE SupersportWorldChampionship2007 (

No FLOAT,

Date VARCHAR(255),

Round VARCHAR(255),

Circuit VARCHAR(255),

PolePosition VARCHAR(255),

FastestLap VARCHAR(255),

Racewinner VARCHAR(255),

Report VARCHAR(255)

);

 

{question} GPT 3.5 Haiku 3.0 Haiku 3.0 + herramienta de conversión
¿Cuándo fueron botados los barcos cuya quilla se colocó el 1 de septiembre de 1964? Claro, aquí tienes la consulta SQL que puedes usar para calcular cuándo fueron botados los barcos cuya quilla se colocó el 1 de septiembre de 1964: `sql SELECT Launched FROM ShipInformation WHERE Laiddown = ‘September 1, 1964’ SELECT Launched FROM ShipInformation WHERE Laiddown = ‘1964-09-01 SELECT Launched FROM ShipInformation WHERE Laiddown = ‘1964-09-01’

 

GPT-3.5 usa el formato ‘September 1, 1964’, a diferencia de Haiku 3.0, que usa un formato de fecha estandarizado como ‘1964-09-01’. Usar el formato estandarizado puede evitar problemas de formato de datos y mejorar el rendimiento de las consultas, ya que las bases de datos suelen almacenar las fechas en formato AAAA-MM-DD, lo que permite un filtrado e indexado más rápido y preciso.

Tabla usada en el ejemplo:

CREATE TABLE RaptorsRoster (

Player VARCHAR(100),

JerseyNumber VARCHAR(10),

Nationality VARCHAR(50),

Position VARCHAR(50),

YearsInToronto VARCHAR(20),

SchoolOrClubTeam VARCHAR(100)

);

 

{question} GPT 4-Turbo Sonnet 3.5 Sonnet 3.5 + herramienta de conversión
¿Qué club estaba en Toronto durante la temporada 1995-96? Parece que hay cierta confusión respecto a la tarea planteada y los datos disponibles en la estructura de la tabla que compartiste. La tabla `RaptorsRoster` no contiene información directa sobre clubes y sus temporadas o años de actividad. En cambio, esta tabla proporciona detalles sobre los jugadores, incluidos sus nombres, números de camiseta, nacionalidades, posiciones, duración con los Toronto Raptors, y la escuela o equipo de club con el que estuvieron asociados antes de unirse a los Raptors.

Si tu intención es averiguar dónde estuvo cada jugador durante la temporada 1995-96 según la tabla `RaptorsRoster`, necesitaríamos datos sobre los años en que cada jugador se unió al club y sus años de experiencia. Esta información no está actualmente en la tabla, por lo que la consulta podría no ser posible de manera directa con el esquema dado.

Sin embargo, suponiendo que quieras cualquier dato disponible que pueda informarnos indirectamente sobre los clubes durante esa época (asumiendo que los jugadores estuvieron en esos clubes antes de unirse a los Raptors), puedo escribir una consulta que obtenga todos los equipos de club únicos de los que formaron parte los jugadores antes de unirse a los Raptors, y podrías necesitar verificar en otra fuente si esto incluye la temporada 1995-96.

Aquí tienes un ejemplo de consulta SQL para listar todos los equipos escolares o de club únicos de `RaptorsRoster`:

“sql

SELECT DISTINCT SchoolOrClubTeam

FROM RaptorsRoster

“

Esta consulta te dará una lista de todos los clubes o equipos escolares únicos de los que provienen los jugadores. Para determinar si estos clubes estuvieron activos específicamente en Toronto durante la temporada 1995-96, se necesitarían datos adicionales relacionados con fechas o información externa no proporcionada en `RaptorsRoster`.

SELECT COUNT(*) FROM SupersportWorldChampionship2007 WHERE Racewinner = ‘Kevin Curtain’

SELECT COUNT(*) AS race_won

FROM SupersportWorldChampionship2007 WHERE Racewinner = ‘Kevin Curtain’

GPT describe cómo se podría obtener la información relacionada, pero su solución es demasiado cautelosa y poco clara. Afirma incorrectamente que la tabla “no contiene información directa sobre clubes y sus temporadas o años de actividad”, lo cual es contradictorio ya que ambas entradas están presentes. En cambio, Sonnet 3.5 manejó la pregunta con claridad y proporcionó una consulta SQL precisa sin ambigüedades.

Resumidor de notas de reuniones

Resumir las notas de reuniones es esencial para capturar rápidamente decisiones y tareas pendientes, ahorrando tiempo y mejorando la productividad de los equipos. Referencia tomada de qsum-processed de Hugging Face

 

Resumen humano (referencia) GPT 3.5 Haiku 3.0 Haiku 3.0 + herramienta de conversión
Según el Diseño Industrial, podría haber solo unas pocas opciones para la fuente de energía y los materiales del fabricante actual, por lo que sugirió que sería mejor buscar otro fabricante para obtener más alternativas. Marketing propuso diseñar una interfaz fácil de usar, mientras que Interfaz de Usuario propuso la idea de incluir el sistema de reconocimiento de voz en el control remoto para ofrecer una mejor comunicación con los usuarios. Además, se sugirieron ruedas giratorias en el iPod y programación segura. 1 La reunión se centró en decisiones de diseño conceptual para un prototipo de control remoto, incluyendo componentes, fuente de energía, opciones de carcasa, conceptos de interfaz y tendencias de mercado.

2 Puntos clave discutidos:

◦ El gerente de proyecto destacó la importancia de llegar a decisiones finales sobre el diseño del prototipo y aclaró los roles para la reunión.

◦ El diseñador industrial presentó opciones para el diseño de componentes, incluyendo fuentes de energía, materiales de carcasa, forma, grosor y opciones de placa de circuito.

◦ El gerente de proyecto y marketing discutieron la viabilidad de explorar otros fabricantes para las opciones de placa de circuito, haciendo énfasis en las limitaciones de tiempo.

◦ Marketing destacó las tendencias actuales del mercado y sugirió incorporar diseños orgánicos y elegantes con colores naturales y opciones de carcasa flexible.

3 Decisiones tomadas:

◦ El equipo reconoció el uso potencial de señalización por luz visible en el control remoto como una característica innovadora.

◦ Se consideraron opciones de fuente de energía, con preferencia por la opción de batería solar, más amigable con el medioambiente.

4 Tareas pendientes/próximos pasos:

◦ El equipo de marketing propuso realizar pruebas piloto de mercado e investigar tendencias en opciones de carcasa para ayudar en la toma de decisiones antes del lanzamiento.

◦ El diseñador de interfaz de usuario presentó conceptos para reconocimiento de voz, interfaz de pantalla táctil y carcasas intercambiables, señalando posibles direcciones para el diseño del control remoto.

El propósito de la reunión fue discutir el diseño conceptual y finalizar decisiones sobre el prototipo de un control remoto. Puntos clave discutidos:

• Limitaciones en componentes y materiales según lo ofrecido por el fabricante

• Consideración de varias fuentes de energía, incluyendo baterías, celdas solares y energía cinética

• Exploración de diferentes materiales y diseños de carcasa, como plástico, caucho y madera

• Incorporación de una función de señalización por luz visible como elemento de diseño único

• Tendencias en el mercado de controles remotos, incluyendo una preferencia por diseños orgánicos, elegantes y personalizables

• Exploración de conceptos de interfaz, incluyendo reconocimiento de voz, botones de desplazamiento y pantalla táctil

Decisiones tomadas:

• Probablemente se opte por una batería solar para alinearse con una temática ecológica

• Consideración de una carcasa de caucho con una textura esponjosa, similar a una pelota antiestrés

• Incorporación de una opción de carcasa intercambiable para permitir la personalización

Tareas pendientes/próximos pasos:

• Investigar la viabilidad de usar señalización por luz visible

• Explorar pruebas piloto de marketing para evaluar las preferencias de los clientes respecto a las opciones de carcasa

• Desarrollar más a fondo el concepto de interfaz de usuario, incluyendo reconocimiento de voz y botones dedicados

Los puntos clave de la reunión son:

1 Discutir el diseño conceptual y el prototipo de un control remoto.

2 Explorar varias opciones para los componentes del control remoto, como la fuente de energía, la carcasa y los botones.

3 Considerar las tendencias del mercado y el diseño de la interfaz de usuario, incluyendo reconocimiento de voz, pantalla táctil y carcasas intercambiables.

4 Llegar a decisiones sobre el diseño final, incluyendo un tamaño más grande, carcasa de plástico duro, interfaz de pantalla táctil y sistema de comandos de voz.

GPT 4-Turbo Sonnet 3.5 Sonnet 3.5 + herramienta de conversión
1 Resumen de la reunión:
La reunión se centró en el diseño conceptual de un prototipo de control remoto. La discusión tuvo como objetivo refinar las ideas y tomar decisiones clave sobre las características y componentes del control remoto. 2 Puntos clave discutidos: ◦ El diseñador industrial comentó sobre las limitaciones derivadas de lo ofrecido por el fabricante, particularmente en torno a componentes como la fuente de energía y los materiales. ◦ Se mencionaron varias opciones de energía: baterías estándar, celdas solares, energía cinética y posiblemente litio, aunque esta última podría requerir un fabricante diferente. ◦ Las opciones de material de carcasa incluían plástico, caucho y madera, con diferentes formas como plana estándar, curva y doble curva. ◦ El grosor del control remoto debería estar dentro de los límites estándar (3-4 milímetros). ◦ La elección de botones depende del material de la carcasa; las carcasas de caucho requerirán botones de caucho. ◦ Incluir pantalla táctil aumentaría significativamente los costos debido a la cantidad de chips necesarios. ◦ Se sugirió una característica innovadora que consiste en la emisión de luz visible desde el control remoto como un detalle divertido, con opciones de control por parte del usuario.

◦ Las opciones actuales de chip/placa de circuito son limitadas, lo que generó una discusión sobre si buscar fabricantes alternativos para obtener más flexibilidad.

3 Decisiones tomadas:

◦ Se deben explorar múltiples opciones de material para la carcasa, a fin de atender las distintas preferencias de los usuarios.

◦ Se prefieren las celdas solares como fuente de energía para alinearse con una temática ecológica.

◦ La función de luz visible debe incluirse como un detalle distintivo para el control remoto.

◦ Realizar pruebas piloto de marketing para evaluar cómo se reciben los diferentes diseños antes de la producción a gran escala.

4 Tareas pendientes/próximos pasos:

◦ Marketing debe realizar más investigación sobre las tendencias actuales del mercado en el diseño de controles remotos, especialmente en relación con la estética y funcionalidad de la carcasa.

◦ Explorar la posibilidad de incorporar un sistema de reconocimiento de voz e interfaces de botones personalizables por el usuario, según lo sugerido por Interfaz de Usuario.

◦ Investigar la viabilidad y las implicaciones de costo de obtener componentes de fabricantes alternativos, especialmente si se opta por baterías de litio o chips especializados.

◦ Considerar características de diseño que puedan integrar materiales o formas orgánicas y naturales, reflejando las tendencias actuales en varios campos del diseño.

Propósito de la reunión: Discutir el diseño conceptual para un prototipo de control remoto.

Puntos clave:
• Opciones de componentes: fuentes de energía, materiales de carcasa, botones, placas de circuito
• Tendencias de mercado: diseños orgánicos, sensación esponjosa, características innovadoras
• Conceptos de interfaz: reconocimiento de voz, pantalla táctil, carcasas intercambiables
• Énfasis en características ecológicas y únicas

Decisiones:
• Inclinación hacia la batería solar como fuente de energía
• Consideración de diseño de carcasa de caucho, doble curva
• Exploración de la señalización por luz visible como característica única

Tareas pendientes:
• Investigar la viabilidad de la opción de batería de litio
• Considerar pruebas piloto de marketing para diferentes diseños de carcasa
• Desarrollar más los conceptos de reconocimiento de voz e interfaz de pantalla táctil

Puntos clave:

• Se discutieron los componentes del control remoto: fuentes de energía, materiales de carcasa, botones y opciones de placa de circuito

• Se exploraron las tendencias actuales del mercado: diseños orgánicos, sensación esponjosa, características innovadoras

• Se consideraron conceptos de interfaz: reconocimiento de voz, pantalla táctil, carcasas intercambiables

• Se debatieron opciones de fabricación y consideraciones ambientales

Tareas pendientes:

• Decidir la fuente de energía (posiblemente solar)

• Elegir el material y diseño de la carcasa (posiblemente caucho, doble curva)

• Determinar las características de la interfaz (pantalla táctil vs. botones)

• Considerar pruebas piloto de marketing para diferentes diseños

Participantes:

• Gerente de proyecto

• Diseñador industrial (Nathan)

• Representante de marketing

• Diseñador de interfaz de usuario

 

La preferencia entre resúmenes puede variar según la experiencia del usuario; sin embargo, los resultados muestran que los modelos de Anthropic presentan:

  1. Concisión: los resúmenes en los modelos son más directos y enfocados.
  2. Claridad en Decisiones y Acciones: destaca las decisiones tomadas y los elementos de acción.
  3. Mejor legibilidad y organización

Función a partir de la especificación

Automatizar la generación de funciones a partir de especificaciones es clave para mejorar la velocidad de desarrollo y reducir el error humano al traducir los requisitos a código.

Problemas de especificación tomados de Leetcode.

 

Especificación GPT 3.5 Haiku 3.0 Haiku 3.0 + herramienta de conversión
Escriba una función de Python que tome como entrada una lista de enteros no negativos que representen el mapa de elevación de un terreno donde el ancho de cada barra es 1. La función debe devolver la cantidad de agua que puede quedar atrapada entre las barras después de que llueva. Debe intentar implementar esta solución con una complejidad temporal de O(n). Aquí hay una función de Python que calcula la cantidad de agua que puede quedar atrapada entre las barras con una complejidad temporal de O(n):

def trap_water(elevation_map):

left_max = [0] * len(elevation_map)

right_max = [0] * len(elevation_map)

max_water = 0

# Calcula la altura máxima a la izquierda de cada barra

left_max[0] = elevation_map[0]

for i in range(1, len(elevation_map)):

left_max[i] = max(left_max[i-1], elevation_map[i])

# Calcula la altura máxima a la derecha de cada barra

right_max[len(elevation_map)-1] = elevation_map[len(elevation_map)-1]

for i in range(len(elevation_map)-2, -1, -1):

right_max[i] = max(right_max[i+1], elevation_map[i])

# Calcula la cantidad de agua atrapada entre las barras

for i in range(len(elevation_map)):

max_water += min(left_max[i], right_max[i]) – elevation_map[i]

return max_water

Puede usar esta función trap_water para calcular la cantidad de agua que puede quedar atrapada entre las barras pasando una lista de enteros no negativos que representen el mapa de elevación. Por ejemplo:

elevation_map = [0,1,0,2,1,0,1,3,2,1,2,1]

water_trapped = trap_water(elevation_map)

print(water_trapped) # Salida: 6

Aquí está la función de Python que cumple con la especificación dada:

def trap(height):
left, right, water = 0, len(height)-1, 0
left_max, right_max = 0, 0
while left < right:
if height[left] < height[right]: if height[left] >= left_max:
left_max = height[left]
else:
water += left_max – height[left]
left += 1
else:
if height[right] >= right_max:
right_max = height[right]
else:
water += right_max – height[right]
right -= 1
return water

def trap(height):
left, right = 0, len(height) – 1
left_max, right_max = 0, 0
water = 0
while left < right:
if height[left] < height[right]: if height[left] >= left_max:
left_max = height[left]
else:
water += left_max – height[left]
left += 1
else:
if height[right] >= right_max:
right_max = height[right]
else:
water += right_max – height[right]
right -= 1
return water

 

Las columnas resaltadas son mejores debido a su complejidad temporal y espacial optimizada. Utilizan un enfoque de dos punteros para calcular el agua atrapada en una sola pasada (O(n)) sin almacenamiento adicional para las alturas máximas, lo que hace que la solución sea más eficiente y concisa en comparación con la referencia. Este enfoque reduce la redundancia manteniendo la claridad y la corrección.

 

Especificación GPT 4 Turbo Sonnet 3.5 Sonnet 3.5 + herramienta de conversión
Escriba una función de Python que tome como entrada una lista de enteros donde cada entero aparece dos veces, excepto uno. La función debe devolver el entero que aparece solo una vez. Debe implementar la solución en tiempo lineal y con complejidad espacial constante. Para cumplir con los criterios de complejidad temporal lineal (O(n)) y complejidad espacial constante (O(1)), un enfoque eficiente es usar la operación XOR a nivel de bits. Las propiedades de la operación XOR son particularmente útiles para este problema:

1 a ^ a = 0: Cualquier número XOR consigo mismo resulta en cero.

2 a ^ 0 = a: Cualquier número XOR con cero permanece sin cambios.

3 XOR es conmutativa y asociativa, lo que significa que el orden en que se aplica XOR a los números no importa.

Dadas estas propiedades, si se aplica XOR a todos los números de la lista, los números que aparecen dos veces se cancelarán (porque (x \text{ XOR } x = 0)), dejando solo el número que aparece una vez.

Aquí está la función de Python que implementa esta lógica:

def find_single_number(nums):

result = 0

for num in nums:

result ^= num

return result

# Ejemplo de uso:

nums = [4, 1, 2, 1, 2]

print(find_single_number(nums)) # Salida: 4

Esta función itera a través de la lista de números una vez (por lo tanto, complejidad temporal O(n)), y utiliza una única variable ‘result’ para almacenar los resultados intermedios, lo que garantiza que la complejidad espacial sea O(1).

def find_single_occurrence(nums):
result = 0
for num in nums:
result ^= num
return result
def find_single_occurrence(nums):
“””
Encuentra el entero que aparece solo una vez en una lista donde todos los demás aparecen dos veces.Args:nums (List[int]): Lista de enterosReturns:int: El entero que aparece solo una vez“””result = 0for num in nums:result ^= numreturn result

 

Aquí, los modelos de Anthropic funcionan mejor para:

  • Eficiencia espacial: Este modelo utiliza dos punteros (izquierda, derecha) y rastrea dinámicamente left_max y right_max, asegurando una complejidad espacial constante O(1). A diferencia del primer modelo, no requiere precalcular arreglos para los máximos de izquierda y derecha.
  • Flujo lógico: Los punteros izquierdo y derecho convergen dinámicamente mientras actualizan las alturas máximas en ambos lados, lo que permite que el algoritmo calcule eficientemente el agua atrapada.

Salidas concisas

Analizar datos no estructurados

El análisis de datos no estructurados es crucial porque permite a las organizaciones obtener información valiosa a partir de texto sin procesar, que a menudo constituye la mayor parte de los datos disponibles.

Los ejemplos se crearon manualmente.

 

Texto GPT 3.5 Haiku 3.0 Haiku 3.0 + herramienta de conversión
Las civilizaciones antiguas han dejado su huella en el mundo a través de sus increíbles logros. Los egipcios construyeron las Pirámides de Giza alrededor del 2580 a.C., que sirvieron como tumbas para sus faraones y son consideradas una de las Siete Maravillas del Mundo Antiguo. Los romanos diseñaron acueductos que transportaban agua dulce por todo su imperio, mejorando enormemente el saneamiento y la salud pública. La civilización china construyó la Gran Muralla China para defenderse de los invasores y garantizar la seguridad de la Ruta de la Seda. La civilización maya construyó impresionantes pirámides escalonadas y desarrolló uno de los sistemas calendáricos más precisos del mundo. Claro, puedo ayudar con eso. Aquí están los datos analizados en formato CSV:

civilización, logro, año
Egipcios, Pirámides de Giza, 2580 a.C.
Romanos, acueductos, desconocido
Chinos, Gran Muralla China, desconocido
Mayas, pirámides escalonadas, desconocido

Civilización,Logro,Año
Egipcios,Pirámides de Giza,2580 AC
Romanos,Acueductos,N/A
Chinos,Gran Muralla China,N/A
Mayas,Pirámides escalonadas,N/A
Mayas,Sistema Calendárico,N/A

Civilizaciones antiguas,Logros,Año
Egipcios,Pirámides de Giza,2580 AC
Romanos,Acueductos,
Chinos,Gran Muralla China,
Mayas,Pirámides escalonadas y sistema calendárico,
GPT 4-Turbo Sonnet 3.5 Sonnet 3.5 + herramienta de conversión
Aquí está la información proporcionada estructurada en formato CSV:

Civilización, Logro, Descripción, Fecha o Período

Egipcios, Pirámides de Giza, Tumbas para sus faraones y una de las Siete Maravillas del Mundo Antiguo, 2580 a.C.

Romanos, Acueductos, Transportaban agua dulce por todo el imperio, mejorando el saneamiento y la salud pública, N/A

Chinos, Gran Muralla China, Construida para defenderse de los invasores y garantizar la seguridad de la Ruta de la Seda, N/A

Mayas, Pirámides escalonadas y sistema calendárico, Desarrollaron impresionantes pirámides escalonadas y uno de los sistemas calendáricos más precisos, N/A

Este formato proporciona una forma clara y estructurada de presentar los logros de diferentes civilizaciones, junto con una breve descripción y las fechas o períodos relevantes cuando corresponda.

Civilización,Logro,Año
Egipcio,Pirámides de Giza,2580 AC
Romano,Acueductos,
Chino,Gran Muralla China,
Maya,Pirámides escalonadas y sistema calendárico,
Civilización,Logro,Año,Propósito
Egipcio,Pirámides de Giza,2580 AC,Tumbas para faraones
Romano,Acueductos,N/A,Transportar agua dulce
Chino,Gran Muralla China,N/A,Defensa y protección de la Ruta de la Seda
Maya,Pirámides escalonadas,N/A,N/A
Maya,Sistema calendárico,N/A,Medición precisa del tiempo

 

Para Haiku 3.0, la frase resaltada añade la palabra “aprobado”, proporcionando un contexto importante que falta en la segunda columna. Este detalle adicional hace que la declaración sea más completa e informativa.

 

Oración GPT 4-Turbo Sonnet 3.5 Sonnet 3.5 + herramienta de conversión
El efecto de los objetivos dud generalizados apunta a dos monstruos en posición de ataque boca arriba en el campo. El efecto apunta a dos monstruos en posición de ataque boca arriba en el campo. El efecto apunta a dos monstruos en posición de ataque boca arriba en el campo. El efecto de la destrucción generalizada apunta a dos monstruos boca arriba en posición de ataque en el campo.

 

Para ambos ejemplos, los modelos de Anthropic

  • Proporcionan una oración más precisa y completa. Mantienen el significado original al tiempo que mejoran la claridad y la estructura.
  • Sonnet 3.5 + el prompt convertido añade contexto (“destrucción generalizada”), haciendo la oración más descriptiva y precisa. Este modelo conserva los detalles técnicos y mejora la fluidez de la oración al ofrecer una estructura pulida, lo que facilita la comprensión para el usuario final.

Análisis de sentimiento de tuits

La clasificación es una tarea importante porque muchos casos de uso dependen de ella. Una aplicación común es el análisis de sentimiento, donde el objetivo es clasificar el sentimiento de los tuits.

Para esta tarea, utilizamos un conjunto de datos público de Kaggle.

 

Tuit GPT 3.5 Haiku 3.0 Haiku 3.0 + herramienta de conversión
Se ha producido una prohibición para el jugador de Battlefield 4 ItzAwwZy. VER DETALLES: bf4db.com/player/ban/117… Negativo Negativo Neutral

 

Aquí, podemos ver que nuestra herramienta de conversión clasifica el tuit con mayor precisión. Se clasifica como neutral, mientras que GPT lo clasifica como negativo. Como se puede leer en el tuit, es de hecho neutral.

 

Tuit GPT 4 Turbo Sonnet 3.5 Sonnet 3.5 + Herramienta
Se ha producido una prohibición para el jugador de Battlefield 4 ItzAwwZy. VER DETALLES: bf4db.com/player/ban/117… Neutral Neutral Neutral

 

Con mejores modelos obtenemos mejores resultados en todos los diferentes modelos.

Extracción de palabras clave

Para esta tarea, utilizamos resúmenes de artículos científicos y sus palabras clave. Pedimos a diferentes modelos que extraigan palabras clave específicamente de los resúmenes.

Resumen: Este artículo intenta analizar el origen y el progreso del feminismo global. El feminismo es un movimiento de masas iniciado por mujeres de todos los grupos para erradicar todas las formas de opresiones feministas por parte de los hombres que prevalecen en una sociedad patriarcal. Siempre lucha contra todo tipo de opresiones hacia las mujeres. Es un procedimiento que intenta comprender y conceptualizar los roles de género y aboga por la anexión de los intereses de las mujeres en la organización social. Intenta explicar el
fenómeno de la desigualdad de género. Se considera una política para lograr la igualdad de género en todas las esferas de la sociedad. Las feministas apoyan la garantía de la igualdad de derechos y libertades individuales para mujeres y hombres. Este estudio intenta discutir una comprensión integral del feminismo y las diferentes variantes del feminismo. Este artículo también intenta resaltar los principales desafíos que enfrentan las feministas y cuáles deberían ser los objetivos futuros del movimiento feminista.

 

Palabras clave del resumen: GPT 4.5 Turbo Sonnet 3.5 Sonnet 3.5 + conversión de herramienta
feminismo’, ‘movimiento femenino’, ‘patriarcado’, ‘explotación’, ‘liberación de género Aquí hay una lista de palabras clave extraídas del texto proporcionado:
  1. Feminismo global
  2. Feminismo
  3. Opresiones feministas
  4. Sociedad patriarcal
  5. Roles de género
  6. Desigualdad de género
  7. Igualdad de género
  8. Organización social
  9. Derechos individuales
  10. Movimiento feminista
  11. Feministas
  12. Desafíos
  13. Objetivos futuros
feminismo
derechos de las mujeres
igualdad de género
patriarcado
opresión
roles de género
organización social
desigualdad de género
derechos individuales
libertades
movimiento feminista
desafíos
objetivos futuros
desafíos, igualdad, feminismo, movimiento feminista, desigualdad de género, roles de género, feminismo global, libertades, movimiento de masas, opresión, sociedad patriarcal, derechos, organización social, intereses de las mujeres

 

Resumen:
Se enfoca en la importancia de las mujeres en relación con el medio ambiente y el desarrollo. El creciente deterioro del medio ambiente de la Tierra está teniendo un impacto en todos sus habitantes. Sin embargo, para las mujeres de todo el mundo, tiene un significado particular. El libro explica todos los principales problemas ambientales. Se centra en los roles de las mujeres como usuarias, productoras y gestoras de los recursos de la Tierra y muestra cómo la degradación ambiental afecta la salud y las necesidades básicas de las mujeres. También revela cómo las mujeres pueden ser una fuerza importante para el cambio ambiental, particularmente a través de sus importantes roles como educadoras y comunicadoras. Los capítulos tratan sobre: el medio ambiente, los principales procesos y problemas; el papel de las mujeres; los efectos del medio ambiente y su degradación; las mujeres como agentes de cambio, una fuerza influyente; y estudios de caso e implementación de proyectos. Se incluye un glosario de términos ambientales, así como una guía para la educación y la acción, una bibliografía y una guía de recursos, y una lista de organizaciones relevantes.

 

Palabras clave del resumen: GPT 3.5 Haiku 3.0 Haiku 3. + Conversión de herramienta
‘medio ambiente’, ‘roles’, ‘desarrollo rural’, ‘mujeres’ Algunas palabras clave del texto proporcionado son:
  • Mujeres
  • Medio ambiente
  • Desarrollo
  • Deterioro
  • Habitantes
  • Problemas ambientales
  • Roles
  • Recursos
  • Degradación
  • Salud
  • Necesidades
  • Cambio
  • Educadoras
  • Comunicadoras
  • Estudios de caso
  • Implementación de proyectos
  • Glosario
  • Términos
  • Educación
  • Acción
  • Bibliografía
  • Organizaciones
mujeres, medio ambiente, desarrollo, tierra, habitantes, problemas ambientales, recursos de la tierra, degradación ambiental, salud de las mujeres, necesidades básicas, cambio ambiental, educadoras, comunicadoras, estudios de caso, implementación de proyectos, términos ambientales, educación, acción mujeres, medio ambiente, desarrollo, degradación ambiental, roles de las mujeres, cambio ambiental, problemas ambientales, estudios de caso, implementación de proyectos

 

Podemos ver que los resultados de GPT son más extensos, pero esto no significa necesariamente que sean mejores. En este caso, las palabras clave deberían ser solo eso: palabras breves que capturen la esencia del texto. GPT nos está dando muchas palabras, algunas de las cuales no tienen relación con el resumen.

 

Código GPT 3.5 Haiku 3.5 Haiku 3.5 + conversión de herramienta
greeting = input(“¡Hola, posible pirata! ¿Cuál es la contraseña?) if greeting in [“¡Arrr!”): print(“Vete, pirata.”) elif print(“¡Saludos, enemigo de los piratas!”) ¡Claro! Aquí está el código Python corregido: “`python greeting = input(“¡Hola, posible pirata! ¿Cuál es la contraseña?”) if greeting in [“¡Arrr!”]: print(“Vete, pirata.”) else: print(“¡Saludos, enemigo de los piratas!”) “` Los problemas corregidos fueron: 1. Falta de comilla de cierre y paréntesis en la función `input`. 2. Uso incorrecto de `elif`, que debe reemplazarse por `else` ya que solo hay dos posibles resultados. 3. Falta de dos puntos después de `elif`. 4. Formato corregido para una mejor legibilidad. greeting = input(“¡Hola, posible pirata! ¿Cuál es la contraseña?”) if greeting == “¡Arrr!”: print(“Vete, pirata.”) else: print(“¡Saludos, odiador de piratas!”) greeting = input(“¡Hola, posible pirata! ¿Cuál es la contraseña?”) if greeting == “¡Arrr!”: print(“Vete, pirata.”) else: print(“¡Saludos, odiador de piratas!”)
GPT 4-turbo Sonnet 3.5 Sonnet 3.5 + conversión de herramienta
Hay varios errores de sintaxis en el código Python proporcionado. A continuación, corregiré cada uno: 1. A la llamada inicial de la función input le falta una comilla de cierre para la cadena. 2. La lista dentro de la condición `if` también tiene una sintaxis incorrecta; debería cerrarse con `]` en lugar de `)`. 3. Hay un error de sintaxis con `elif`: o bien es innecesario ya que no hay ninguna condición después de él, o le falta su condición. 4. El bloque `elif` solo tiene un posible camino, por lo que es mejor usar `else` en su lugar. 5. Son necesarias las sangrías adecuadas para los bloques de código bajo `if` y `else` para definir correctamente los bloques lógicos previstos. Aquí está el código corregido: “`python # Obtener entrada del usuario greeting = input(“¡Hola, posible pirata! ¿Cuál es la contraseña? “) # Evaluar la entrada if greeting in [“¡Arrr!”]: print(“Vete, pirata.”) else: print(“¡Saludos, odiador de piratas!”) “` Este script corregido solicita correctamente la entrada, verifica si la entrada coincide con la cadena “¡Arrr!”, e imprime diferentes mensajes según si la condición es verdadera o no. Aquí está el código corregido: greeting = input(“¡Hola, posible pirata! ¿Cuál es la contraseña?”) if greeting in [“¡Arrr!”]: print(“Vete, pirata.”) else: print(“¡Saludos, odiador de piratas!”) greeting = input(“¡Hola, posible pirata! ¿Cuál es la contraseña?”) if greeting == “¡Arrr!”: print(“Vete, pirata.”) else: print(“¡Saludos, odiador de piratas!”)

 

Para la depuración de código, cualquiera de los modelos puede funcionar bien. Sin embargo, notamos que los modelos de Anthropic proporcionan solo el código corregido, lo que resulta en menores costos de salida de tokens, manteniendo al mismo tiempo buena precisión en el código corregido. Planificador de lecciones Seleccionamos algunas lecciones sobre diferentes temas. Aquí hay un ejemplo:

 

Lección GPT 3.5 Haiku 3.0 Haiku 3.0 + conversión de prompts
botánica, en particular la estructura de una flor” Título: Introducción a la Botánica: Comprendiendo la Estructura de una Flor

Objetivo:

  • Los estudiantes comprenderán las partes básicas y funciones de una flor.
  • Los estudiantes podrán identificar y etiquetar las partes de una flor.

Materiales:

  • Varios tipos de flores para observación
  • Blocs de dibujo y lápices
  • Diagramas de una flor
  • Lupas

Introducción (10 minutos):

  • Comience la clase discutiendo la importancia de las flores en el reino vegetal.

Presente el tema de la lección: la estructura de una flor y sus diferentes partes.

Actividad 1: Observación de flores (15 minutos):

  • Reparta flores y lupas a los estudiantes.
  • Indique a los estudiantes que observen cuidadosamente diferentes tipos de flores, prestando mucha atención a las diferentes partes como pétalos, sépalos, estambres y pistilos.
  • Anime a los estudiantes a tomar notas y hacer bocetos de las flores observadas.

Actividad 2: Etiquetado de las partes de una flor (20 minutos):

  • Proporcione a los estudiantes diagramas de una flor.
  • Explique las diferentes partes de una flor (pétalos, sépalos, estambres, pistilos) y sus funciones.
  • Guíe a los estudiantes en el etiquetado de las partes de una flor en los diagramas.
  • Discuta la función de cada parte de la flor y cómo contribuyen a la reproducción de la planta.

Actividad 3: Discusión grupal (15 minutos):

  • Divida la clase en grupos pequeños.
  • A cada grupo se le dará una flor específica para diseccionar y observar.
  • Los grupos discutirán sus observaciones y etiquetarán las partes de la flor según sus hallazgos.
  • Cada grupo presentará sus hallazgos a la clase, discutiendo la estructura y función de las partes de la flor que observaron.

Conclusión (10 minutos):

  • Repase los puntos principales de la lección, enfatizando las partes y funciones clave de una flor.
  • Anime a los estudiantes a continuar observando e identificando flores en su entorno natural.

Evaluación:

La evaluación informal se basará en la participación de los estudiantes en las actividades de observación, su capacidad para etiquetar las partes de una flor y su comprensión de las funciones de estas partes.

Tarea:

  • Se les asignará a los estudiantes traer un espécimen de flor de su entorno y escribir un breve informe identificando y describiendo las partes de la flor
Plan de Lección para Clase Botánica Introductoria: Estructura de la Flor

Objetivos:

  • Comprender la estructura básica de una flor
  • Identificar las partes principales de una flor y sus funciones

Introducción (10 min):

Presentar el tema de la estructura de la flor

  • Explicar la importancia de comprender la anatomía de la flor

Estructura de la Flor (40 min):

  • Pétalo: Colorido, atrae polinizadores
  • Sépalo: Protege el botón de la flor
  • Estambre: Parte reproductiva masculina, produce polen
  • Pistilo: Parte reproductiva femenina, recibe polen
  • Receptáculo: Sostiene las partes de la flor
  • Actividad (10 min):
  • Diseccionar una flor e identificar las partes
  • Discutir la función de cada parte

Conclusión (5 min):

Resuma los puntos clave sobre la estructura de la flor

Fomente una mayor exploración de temas botánicos

I. Introducción a la estructura de la flor

Proporcione una breve visión general de la importancia de comprender la estructura de la flor

Explique los componentes clave de una flor y sus funciones

II. Partes de la flor

Describa las partes principales de una flor, incluidos los sépalos, pétalos, estambres y pistilo

Explique el rol y la importancia de cada parte

III. Anatomía de la flor

Discuta la estructura interna de una flor, incluyendo el receptáculo, el ovario y otros órganos reproductivos

Explique cómo las diferentes partes trabajan juntas para facilitar la polinización y la producción de semillas

IV. Diversidad de flores

Destaque la diversidad de formas, tamaños y colores de flores que se encuentran en el reino vegetal

Discuta cómo la estructura de la flor puede variar entre diferentes especies de plantas

V. Conclusión

Resuma los puntos clave tratados en la lección

Anime a los estudiantes a explorar más a fondo el fascinante mundo de la estructura de la flor y la botánica

 

GPT 4-Turbo Sonnet 3.5 Sonnet 3.5 + conversión de prompts
Plan de Lección: Introducción a la Botánica – La Estructura de una Flor

Objetivo:

Al final de esta lección, los estudiantes podrán identificar y describir las partes principales de una flor y explicar sus funciones.

Nivel de Grado:

Biología de Secundaria, Grados 9-12

Materiales Necesarios:

Diagramas de flores

Microscopios o lupas

Flores frescas (una variedad que incluya tanto monocotiledóneas como dicotiledóneas)

Hojas de trabajo

Etiquetas y marcadores

Diapositivas de presentación

Una computadora y proyector para video y diapositivas

Duración:

1 hora

Esquema de la Lección:

19. Introducción (10 minutos)

– Comience con una breve introducción a la botánica y su importancia para comprender la vida biológica.

– Presente el tema del día: Estructura de la Flor.

– Muestre un breve video (3-4 minutos) que presente las partes básicas de la flor y sus funciones.

19. Discusión (5 minutos)

– Pregunte a los estudiantes qué saben sobre las flores y sus diferentes partes.

– Anote sus ideas en el pizarrón para evaluar el conocimiento previo y aclarar cualquier concepto erróneo.

19. Presentación (10 minutos)

– Usando una presentación de PowerPoint, presente las partes básicas de una flor:
– Pétalos
– Sépalos
– Estambres (Anteras y Filamentos)
– Carpelos (Estigma, Estilo y Ovario)

– Explique la función de cada parte en la reproducción y cómo contribuyen al ciclo de vida de una planta.

19. Actividad Interactiva (15 minutos)

– Divida la clase en grupos pequeños.

– Entregue las diferentes muestras de flores a cada grupo, junto con lupas o microscopios y herramientas de disección si es apropiado.

– Los estudiantes deben examinar sus flores e identificar las partes discutidas.

– Deben etiquetar estas partes usando los marcadores y etiquetas proporcionados.

19. Hoja de Trabajo (10 minutos)

– Distribuya hojas de trabajo que incluyan diagramas de flores para etiquetar y preguntas de respuesta corta sobre la función de cada parte.

– Permita que los estudiantes usen sus notas y muestras de flores para completar la hoja de trabajo.

19. Repaso y Preguntas y Respuestas (5 minutos)

– Repase las respuestas de la hoja de trabajo con toda la clase.

– Fomente las preguntas y proporcione explicaciones para asegurar la comprensión de cómo funciona e interactúa cada parte en una flor.

19. Conclusión (5 minutos)

– Resuma los puntos clave discutidos en clase.

– Destaque la importancia de las flores en la naturaleza, tocando brevemente temas como la polinización y el rol de las flores en el ecosistema.

– Asigne lectura sobre la diversidad y variación de flores entre diferentes especies de plantas para la próxima clase.

Evaluación:

Finalización y precisión de la hoja de trabajo

Participación en la discusión en clase y la actividad grupal

Extensiones:

Anime a los estudiantes a comenzar un diario de flores donde puedan dibujar y anotar observaciones de diferentes flores que encuentren en su vida diaria.

Organice una visita a un jardín botánico o vivero para ver una variedad más amplia de flores y plantas.

Este plan de lección está diseñado para despertar el interés y proporcionar conocimiento fundamental en botánica, enfocándose en el rol crucial de las flores. Es interactivo y usa una variedad de herramientas didácticas para adaptarse a diferentes estilos de aprendizaje.

Plan de Lección: Introducción a la Botánica – Estructura de la Flor

Objetivo: Los estudiantes aprenderán las partes básicas de una flor y sus funciones.

Materiales:

Flores frescas (varios tipos)

Lupas

Herramientas de disección

Diagrama de anatomía de la flor

Introducción (5 minutos):

Breve visión general de la anatomía de las plantas

Importancia de las flores en la reproducción de las plantas

Actividad Principal (30 minutos):

Reparta flores y herramientas a los estudiantes

Identifique las partes externas de la flor:
– Sépalos
– Pétalos
– Estambres
– Pistilo

Diseccione flores para observar las estructuras internas:
– Ovario
– Óvulos
– Filamento
– Antera

Práctica Guiada (15 minutos):

Los estudiantes etiquetan el diagrama de anatomía de la flor

Discuta la función de cada parte

Práctica Independiente (10 minutos):

Los estudiantes dibujan y etiquetan su flor diseccionada

Conclusión (5 minutos):

Repase las estructuras clave de la flor

Discuta la importancia en la reproducción de las plantas

Evaluación:

Diagrama de anatomía de la flor completado

Boceto etiquetado de la flor diseccionada

Extensión:

Compare las estructuras de flores entre diferentes especies

Secundaria (9°-10° grado)

60 minutos

Explique el rol de la estructura de la flor en la reproducción de las plantas. Destaque la diversidad en las formas de las flores y su importancia ecológica.

Partes básicas de la flor:
– Sépalos: Protegen el botón en desarrollo
– Pétalos: Atraen polinizadores
– Estambres: Partes reproductivas masculinas (filamento, antera)
– Pistilo: Parte reproductiva femenina (estigma, estilo, ovario)

Funciones:
– Proceso de polinización
– Fertilización
– Formación de semillas

Variaciones estructurales:
– Flores completas vs. incompletas
– Flores perfectas vs. imperfectas
– Flores simples vs. compuestas

Actividad práctica: Diseccionar flores reales, identificar partes

Repase las estructuras y funciones clave de la flor. Cuestionario rápido: Etiquetar diagrama de flor.

 

Aquí podemos ver las diferencias en los resultados. El resultado de cada modelo es aceptable; depende de cuál prefieras.

Iniciar una prueba de concepto de IA

Blog relacionado

Su migración, sin riesgos

¿Va a dejar Azure o está planeando su propia migración de IA empresarial?

Avahi lleva a las empresas desde la idea hasta la producción en AWS en cuestión de semanas, no meses, con una paridad validada y transiciones sin tiempo de inactividad. Permítanos evaluar su proyecto.