Tested prompt · Translation
A delivery message into Spanish: every AI model's reply, tested
We sent this everyday translation prompt to all 16 models in llmwise, the same way the app sends a message, and checked every reply the same way. Here's each one as it came, with whether it passed, what it cost and how long it took.
Based on 16 of our test runs on , through OpenRouter with the app's own prompt and settings. Updated .
Short answer
All 16 models passed this translation prompt's check (back-translation). The cheapest reply that passed was GLM 5.3 Flash's, at $0.000095; the fastest, DeepSeek V4.1 Flash's in 1.3 s. The dearest reply, Claude Fable 5.1's, cost 167 times as much ($0.0158).
The prompt, as sent, and its check
Checked by back-translation, the same way for every model.
A delivery message into Spanish (everyday)
Translate this message into Spanish. Keep names, numbers, codes and times exactly as they are.
Hi Marta, your order A-4471 left our warehouse on 3 October and should reach Valencia by Friday. The courier will call you on 612 448 190 about 30 minutes before arriving; deliveries run between 14:30 and 19:00. If nobody is home, the parcel goes to the pharmacy at Calle Colón 12, where you can pick it up within 7 days.
It must keep “Marta”, “A-4471”, “Valencia”, “612 448 190”, “30”, “14:30”, “19:00”, “Colón 12”, “7”, be in the language asked for, and read back close to the original (chrF of at least 0.4).
Exactly what this prompt's replies are checked against, with every other prompt of our test runs.
Every model's result
All 16 models on this prompt, in catalog order.
| Model | Result | Cost | Time | Reply |
|---|---|---|---|---|
| Claude Fable 5.1Anthropic | Passed: Back-translation chrF 0.82 (pass at 0.4). | $0.0158 | 4.2 s | 165 tokens |
| Claude Opus 5.5Anthropic | Passed: Back-translation chrF 0.81 (pass at 0.4). | $0.0064 | 3.2 s | 169 tokens |
| Claude Sonnet 5.5Anthropic | Passed: Back-translation chrF 0.83 (pass at 0.4). | $0.0032 | 1.5 s | 165 tokens |
| Claude Sonnet 5Anthropic | Passed: Back-translation chrF 0.83 (pass at 0.4). | $0.0029 | 2.7 s | 171 tokens |
| Claude Haiku 4.5Anthropic | Passed: Back-translation chrF 0.84 (pass at 0.4). | $0.0011 | 1.5 s | 131 tokens |
| GPT-6 AstraOpenAI | Passed: Back-translation chrF 0.80 (pass at 0.4). | $0.0116 | 3.8 s | 110 tokens |
| GPT-6 SolOpenAI | Passed: Back-translation chrF 0.80 (pass at 0.4). | $0.0026 | 3.2 s | 107 tokens |
| GPT-6 LunaOpenAI | Passed: Back-translation chrF 0.85 (pass at 0.4). | $0.000095 | 2.6 s | 102 tokens |
| Gemini 3.1 Pro (preview)Google | Passed: Back-translation chrF 0.84 (pass at 0.4). | $0.0157 | 11.8 s | 112 tokens |
| Gemini 3.8 FlashGoogle | Passed: Back-translation chrF 0.85 (pass at 0.4). | $0.00078 | 3.7 s | 112 tokens |
| DeepSeek V4.1 FlashDeepSeek | Passed: Back-translation chrF 0.82 (pass at 0.4). | $0.00020 | 1.3 s | 114 tokens |
| DeepSeek V4 ProDeepSeek | Passed: Back-translation chrF 0.82 (pass at 0.4). | $0.00092 | 4.3 s | 116 tokens |
| Grok 4.7xAI | Passed: Back-translation chrF 0.84 (pass at 0.4). | $0.0066 | 13.8 s | 102 tokens |
| Kimi K3Moonshot | Passed: Back-translation chrF 0.84 (pass at 0.4). | $0.0031 | 2.9 s | 137 tokens |
| GLM 5.3Z.ai | Passed: Back-translation chrF 0.84 (pass at 0.4). | $0.00023 | 1.5 s | 112 tokens |
| GLM 5.3 FlashZ.ai | Passed: Back-translation chrF 0.82 (pass at 0.4). | $0.000095 | 3.9 s | 112 tokens |
Cost: what OpenRouter charged us for the reply. Time: from sending to the whole reply. Reply: its length in tokens, thinking not counted. In llmwise you pay per message, not per token: each of these replies counted as one message on Pro.
Every reply
Every reply passed: here they are from the cheapest up.
GLM 5.3 Flash
Passed: Back-translation chrF 0.82 (pass at 0.4).
Hola Marta, tu pedido A-4471 salió de nuestro almacén el 3 de octubre y debería llegar a Valencia el viernes. El mensajero te llamará al 612 448 190 unos 30 minutos antes de llegar; las entregas se realizan entre las 14:30 y las 19:00. Si no hay nadie en casa, el paquete quedará en la farmacia de la Calle Colón 12, donde podrás recogerlo dentro de 7 días.
463 tokens in, 112 out · 3.9 s · $0.0001 · 1 message on Pro · answered by z-ai/glm-5.3-flash via AtlasCloud ·
GPT-6 Luna
Passed: Back-translation chrF 0.85 (pass at 0.4).
Hola Marta, tu pedido A-4471 salió de nuestro almacén el 3 October y debería llegar a Valencia el viernes. El mensajero te llamará al 612 448 190 unos 30 minutos antes de llegar; las entregas se realizan entre 14:30 y 19:00. Si no hay nadie en casa, el paquete se dejará en la farmacia de Calle Colón 12, donde podrás recogerlo en un plazo de 7 días.
443 tokens in, 102 out · 2.6 s · $0.0001 · 1 message on Pro · answered by openai/gpt-6-luna via OpenAI ·
DeepSeek V4.1 Flash
Passed: Back-translation chrF 0.82 (pass at 0.4).
Hola Marta, tu pedido A-4471 salió de nuestro almacén el 3 de octubre y debería llegar a Valencia el viernes. El mensajero te llamará al 612 448 190 unos 30 minutos antes de llegar; las entregas se realizan entre las 14:30 y las 19:00. Si no hay nadie en casa, el paquete se deja en la farmacia de Calle Colón 12, donde podrás recogerlo en un plazo de 7 días.
483 tokens in, 165 out (51 of them reasoning) · 1.3 s · $0.0002 · 1 message on Pro · answered by deepseek/deepseek-v4.1-flash via CoreWeave ·
GLM 5.3
Passed: Back-translation chrF 0.84 (pass at 0.4).
Hola Marta, tu pedido A-4471 salió de nuestro almacén el 3 de octubre y debería llegar a Valencia antes del viernes. El mensajero te llamará al 612 448 190 unos 30 minutos antes de llegar; las entregas se realizan entre las 14:30 y las 19:00. Si no hay nadie en casa, el paquete irá a la farmacia de la Calle Colón 12, donde puedes recogerlo dentro de 7 días.
462 tokens in, 112 out · 1.5 s · $0.0002 · 1 message on Pro · answered by z-ai/glm-5.3 via Baidu ·
Gemini 3.8 Flash
Passed: Back-translation chrF 0.85 (pass at 0.4).
Hola Marta, tu pedido A-4471 salió de nuestro almacén el 3 October y debería llegar a Valencia para el viernes. El repartidor te llamará al 612 448 190 unos 30 minutos antes de llegar; las entregas se realizan entre las 14:30 y las 19:00. Si no hay nadie en casa, el paquete irá a la farmacia en Calle Colón 12, donde podrás recogerlo en un plazo de 7 días.
481 tokens in, 112 out · 3.7 s · $0.0008 · 1 message on Pro · answered by google/gemini-3.8-flash via Google ·
DeepSeek V4 Pro
Passed: Back-translation chrF 0.82 (pass at 0.4).
Hola Marta, tu pedido A-4471 salió de nuestro almacén el 3 de octubre y debería llegar a Valencia el viernes. El mensajero te llamará al 612 448 190 unos 30 minutos antes de llegar; las entregas se realizan entre las 14:30 y las 19:00. Si no hay nadie en casa, el paquete se deja en la farmacia de la Calle Colón 12, donde podrás recogerlo en un plazo de 7 días.
456 tokens in, 137 out (21 of them reasoning) · 4.3 s · $0.0009 · 1 message on Pro · answered by deepseek/deepseek-v4-pro-0813 via GMICloud ·
Claude Haiku 4.5
Passed: Back-translation chrF 0.84 (pass at 0.4).
Hola Marta, tu pedido A-4471 salió de nuestro almacén el 3 October y debería llegar a Valencia el Friday. El mensajero te llamará al 612 448 190 aproximadamente 30 minutos antes de llegar; los envíos se realizan entre las 14:30 y las 19:00. Si no hay nadie en casa, el paquete va a la farmacia en Calle Colón 12, donde puedes recogerlo dentro de 7 días.
482 tokens in, 131 out · 1.5 s · $0.0011 · 1 message on Pro · answered by anthropic/claude-haiku-4.5 via Amazon Bedrock ·
GPT-6 Sol
Passed: Back-translation chrF 0.80 (pass at 0.4).
Hola Marta, tu pedido A-4471 salió de nuestro almacén el 3 de octubre y debería llegar a Valencia antes del viernes. El repartidor te llamará al 612 448 190 unos 30 minutos antes de llegar; las entregas se realizan entre las 14:30 y las 19:00. Si no hay nadie en casa, el paquete se dejará en la farmacia de Calle Colón 12, donde podrás recogerlo en un plazo de 7 días.
443 tokens in, 170 out (63 of them reasoning) · 3.2 s · $0.0026 · 1 message on Pro · answered by openai/gpt-6-sol via OpenAI ·
Claude Sonnet 5
Passed: Back-translation chrF 0.83 (pass at 0.4).
Hola Marta, tu pedido A-4471 salió de nuestro almacén el 3 de octubre y debería llegar a Valencia antes del viernes. El mensajero te llamará al 612 448 190 unos 30 minutos antes de llegar; las entregas se realizan entre las 14:30 y las 19:00. Si no hay nadie en casa, el paquete se entregará en la farmacia de la Calle Colón 12, donde podrás recogerlo dentro de un plazo de 7 días.
614 tokens in, 171 out · 2.7 s · $0.0029 · 1 message on Pro · answered by anthropic/claude-sonnet-5 via Claude Platform on AWS ·
Kimi K3
Passed: Back-translation chrF 0.84 (pass at 0.4).
Hola Marta, tu pedido A-4471 salió de nuestro almacén el 3 de octubre y debería llegar a Valencia el viernes. El mensajero te llamará al 612 448 190 unos 30 minutos antes de llegar; las entregas se realizan entre las 14:30 y las 19:00. Si no hay nadie en casa, el paquete irá a la farmacia de Calle Colón 12, donde podrás recogerlo en un plazo de 7 días.
532 tokens in, 150 out (13 of them reasoning) · 2.9 s · $0.0031 · 1 message on Pro · answered by moonshotai/kimi-k3 via Phala ·
Claude Sonnet 5.5
Passed: Back-translation chrF 0.83 (pass at 0.4).
Hola Marta, tu pedido A-4471 salió de nuestro almacén el 3 de octubre y debería llegar a Valencia el viernes. El mensajero te llamará al 612 448 190 unos 30 minutos antes de llegar; las entregas se realizan entre las 14:30 y las 19:00. Si no hay nadie en casa, el paquete se enviará a la farmacia de Calle Colón 12, donde podrás recogerlo en un plazo de 7 días.
618 tokens in, 165 out · 1.5 s · $0.0032 · 1 message on Pro · answered by anthropic/claude-sonnet-5.5 via Anthropic ·
Claude Opus 5.5
Passed: Back-translation chrF 0.81 (pass at 0.4).
Hola, Marta: tu pedido A-4471 salió de nuestro almacén el 3 de octubre y debería llegar a Valencia antes del viernes. El mensajero te llamará al 612 448 190 unos 30 minutos antes de llegar; las entregas se realizan entre las 14:30 y las 19:00. Si no hay nadie en casa, el paquete se dejará en la farmacia de la Calle Colón 12, donde podrás recogerlo en un plazo de 7 días.
616 tokens in, 169 out · 3.2 s · $0.0064 · 1 message on Pro · answered by anthropic/claude-opus-5.5 via Claude Platform on AWS ·
Grok 4.7
Passed: Back-translation chrF 0.84 (pass at 0.4).
Hola Marta, tu pedido A-4471 salió de nuestro almacén el 3 de octubre y debería llegar a Valencia el viernes. El mensajero te llamará al 612 448 190 unos 30 minutos antes de llegar; las entregas son entre las 14:30 y las 19:00. Si no hay nadie en casa, el paquete irá a la farmacia de Calle Colón 12, donde puedes recogerlo en un plazo de 7 días.
1,677 tokens in, 1,099 out (997 of them reasoning) · 13.8 s · $0.0066 · 1 message on Pro · answered by x-ai/grok-4.7 via xAI ·
GPT-6 Astra
Passed: Back-translation chrF 0.80 (pass at 0.4).
Hola Marta, tu pedido A-4471 salió de nuestro almacén el 3 de octubre y debería llegar a Valencia a más tardar el viernes. El repartidor te llamará al 612 448 190 unos 30 minutos antes de llegar; las entregas se realizan entre las 14:30 y las 19:00. Si no hay nadie en casa, el paquete se dejará en la farmacia de Calle Colón 12, donde podrás recogerlo en un plazo de 7 días.
443 tokens in, 144 out (34 of them reasoning) · 3.8 s · $0.0116 · 1 message on Pro · answered by openai/gpt-6-astra via OpenAI ·
Gemini 3.1 Pro
Passed: Back-translation chrF 0.84 (pass at 0.4).
Hola Marta, tu pedido A-4471 salió de nuestro almacén el 3 de octubre y debería llegar a Valencia el viernes. El mensajero te llamará al 612 448 190 unos 30 minutos antes de llegar; las entregas se realizan entre las 14:30 y las 19:00. Si no hay nadie en casa, el paquete irá a la farmacia en Calle Colón 12, donde puedes recogerlo en un plazo de 7 días.
481 tokens in, 1,227 out (1,115 of them reasoning) · 11.8 s · $0.0157 · 1 message on Pro · answered by google/gemini-3.1-pro-preview via Google ·
Claude Fable 5.1
Passed: Back-translation chrF 0.82 (pass at 0.4).
Hola Marta, tu pedido A-4471 salió de nuestro almacén el 3 de octubre y debería llegar a Valencia el viernes. El mensajero te llamará al 612 448 190 unos 30 minutos antes de llegar; las entregas se realizan entre las 14:30 y las 19:00. Si no hay nadie en casa, el paquete se dejará en la farmacia de Calle Colón 12, donde podrás recogerlo en un plazo de 7 días.
616 tokens in, 165 out · 4.2 s · $0.0158 · 1 message on Pro · answered by anthropic/claude-fable-5.1 via Anthropic ·
More translation prompts
The other translation prompts, each with every model's reply, and the results across all five.
Questions
Which AI does best on “A delivery message into Spanish”?
All 16 models passed this translation prompt's check (back-translation). The cheapest reply that passed was GLM 5.3 Flash's, at $0.000095; the fastest, DeepSeek V4.1 Flash's in 1.3 s. The dearest reply, Claude Fable 5.1's, cost 167 times as much ($0.0158).
What does a reply to “A delivery message into Spanish” cost?
Through the models' APIs, what OpenRouter charged us ran from $0.000095 (GLM 5.3 Flash) to $0.0158 (Claude Fable 5.1) for this prompt. In llmwise you don't pay by the token: a reply like these counts as one message on Pro, whichever model answers.
Claude, GPT, Gemini, DeepSeek, Grok, Kimi, and GLM, in one chat.
See what a message costs before you send it. Free is 5 messages to try; sign in with an email link, no password or card.