Tested prompt · AI translator
A shipping notice into Spanish: every AI model's reply, tested
We ran this everyday AI translator test input on all 19 models in llmwise, the way the tool runs it, and checked every reply the same way. Here's each one as it came, with whether it passed, what it cost and how long it took.
Based on 19 of our test runs on , through OpenRouter with the tool's own instructions and the app's settings. Updated .
Short answer
All 19 models passed this AI translator test input's check (back-translation). The cheapest reply that passed was GPT-6 Luna's, at $0.000030; the fastest, GLM 5.3's in 0.6 s. The dearest reply, Claude Fable 5.1's, cost 307 times as much ($0.0091).
The prompt, as sent, and its check
Checked by back-translation, the same way for every model.
A shipping notice into Spanish (everyday)
Translate this text. Keep every name and link exactly as it is and every number at its value, and give only the translation. Translate it into Spanish. --- Your order 48213 has shipped and should arrive on Thursday, 9 October. You can track it at shop.example.com/track. If anything is wrong with it, reply to this email within 30 days and we'll sort it out.
Sent with the AI translator's own instructions as the system prompt, as a free run of the tool sends them.
It must keep “48213”, “shop.example.com/track”, “9”, “30”, be in the language asked for, and read back close to the original (chrF of at least 0.4).
How the AI translator's test inputs are scored, with every model's results on all five.
Every model's result
All 19 models on this test input, in catalog order.
| Model | Result | Cost | Time | Reply |
|---|---|---|---|---|
| Claude Fable 5.1Anthropic | Passed: Back-translation chrF 0.79 (pass at 0.4). | $0.0091 | 2.3 s | 99 tokens |
| Claude Opus 5.5Anthropic | Passed: Back-translation chrF 0.79 (pass at 0.4). | $0.0051 | 2.6 s | 101 tokens |
| Claude Sonnet 5.5Anthropic | Passed: Back-translation chrF 0.79 (pass at 0.4). | $0.0018 | 1.5 s | 97 tokens |
| Claude Sonnet 5Anthropic | Passed: Back-translation chrF 0.79 (pass at 0.4). | $0.0018 | 2.6 s | 95 tokens |
| Claude Haiku 5.5Anthropic | Passed: Back-translation chrF 0.81 (pass at 0.4). | $0.000088 | 1.6 s | 93 tokens |
| Claude Haiku 4.5Anthropic | Passed: Back-translation chrF 0.94 (pass at 0.4). | $0.00067 | 1.3 s | 68 tokens |
| GPT-6 AstraOpenAI | Passed: Back-translation chrF 0.79 (pass at 0.4). | $0.0030 | 1.5 s | 57 tokens |
| GPT-6.1 SolOpenAI | Passed: Back-translation chrF 0.79 (pass at 0.4). | $0.00060 | 1.7 s | 58 tokens |
| GPT-6 SolOpenAI | Passed: Back-translation chrF 0.76 (pass at 0.4). | $0.0013 | 2.4 s | 58 tokens |
| GPT-6 LunaOpenAI | Passed: Back-translation chrF 0.76 (pass at 0.4). | $0.000030 | 1.3 s | 56 tokens |
| Gemini 3.1 Pro (preview)Google | Passed: Back-translation chrF 0.76 (pass at 0.4). | $0.0054 | 7.3 s | 58 tokens |
| Gemini 3.8 FlashGoogle | Passed: Back-translation chrF 0.84 (pass at 0.4). | $0.00024 | 1.4 s | 60 tokens |
| DeepSeek V4.1 FlashDeepSeek | Passed: Back-translation chrF 0.76 (pass at 0.4). | $0.00044 | 1.3 s | 60 tokens |
| DeepSeek V4 ProDeepSeek | Passed: Back-translation chrF 0.92 (pass at 0.4). | $0.0022 | 5.8 s | 59 tokens |
| Grok 4.7xAI | Passed: Back-translation chrF 0.80 (pass at 0.4). | $0.0030 | 3.8 s | 55 tokens |
| Kimi K3Moonshot | Passed: Back-translation chrF 0.79 (pass at 0.4). | $0.0015 | 12.3 s | 83 tokens |
| GLM 5.3Z.ai | Passed: Back-translation chrF 0.81 (pass at 0.4). | $0.00062 | 0.6 s | 53 tokens |
| GLM 5.3 FlashZ.ai | Passed: Back-translation chrF 0.83 (pass at 0.4). | $0.000075 | 0.9 s | 52 tokens |
| Mistral Large 4Mistral | Passed: Back-translation chrF 0.80 (pass at 0.4). | $0.0085 | 35.4 s | 175 tokens |
Cost: what OpenRouter charged us for the reply. Time: from sending to the whole reply. Reply: its length in tokens, thinking not counted. In llmwise you pay per message, not per token: each of these replies counted as one message on Pro.
Every reply
Every reply passed: here they are from the cheapest up.
GPT-6 Luna
Passed: Back-translation chrF 0.76 (pass at 0.4).
Tu pedido 48213 se ha enviado y debería llegar el jueves, 9 de octubre. Puedes hacer el seguimiento en shop.example.com/track. Si hay algún problema, responde a este correo electrónico en un plazo de 30 días y lo solucionaremos.
313 tokens in, 56 out · 1.3 s · $0.0000 · 1 message on Pro · answered by openai/gpt-6-luna via OpenAI ·
GLM 5.3 Flash
Passed: Back-translation chrF 0.83 (pass at 0.4).
Su pedido 48213 ha sido enviado y debería llegar el jueves 9 de octubre. Puede seguirlo en shop.example.com/track. Si algo está mal, responda a este correo electrónico dentro de 30 días y lo resolveremos.
325 tokens in, 52 out · 0.9 s · $0.0001 · 1 message on Pro · answered by z-ai/glm-5.3-flash via Friendli ·
Claude Haiku 5.5
Passed: Back-translation chrF 0.81 (pass at 0.4).
Su pedido 48213 ha sido enviado y debería llegar el jueves 9 de octubre. Puede seguirlo en shop.example.com/track. Si algo no está bien, responda a este correo electrónico en un plazo de 30 días y lo solucionaremos.
414 tokens in, 93 out · 1.6 s · $0.0001 · 1 message on Pro · answered by anthropic/claude-haiku-5.5 via Anthropic ·
Gemini 3.8 Flash
Passed: Back-translation chrF 0.84 (pass at 0.4).
Su pedido 48213 ha sido enviado y debería llegar el jueves, 9 de octubre. Puede realizar el seguimiento en shop.example.com/track. Si algo no está bien, responda a este correo electrónico en un plazo de 30 días y lo solucionaremos.
331 tokens in, 60 out · 1.4 s · $0.0002 · 1 message on Pro · answered by google/gemini-3.8-flash via Google AI Studio ·
DeepSeek V4.1 Flash
Passed: Back-translation chrF 0.76 (pass at 0.4).
Tu pedido 48213 se ha enviado y debería llegar el jueves, 9 de octubre. Puedes seguirlo en shop.example.com/track. Si tiene algún problema, responde a este correo en un plazo de 30 días y lo solucionaremos.
340 tokens in, 281 out (221 of them reasoning) · 1.3 s · $0.0004 · 1 message on Pro · answered by deepseek/deepseek-v4.1-flash via Together ·
GPT-6.1 Sol
Passed: Back-translation chrF 0.79 (pass at 0.4).
--- Tu pedido 48213 ha sido enviado y debería llegar el jueves, 9 de octubre. Puedes seguirlo en shop.example.com/track. Si hay algún problema con él, responde a este correo electrónico en un plazo de 30 días y lo solucionaremos.
313 tokens in, 58 out · 1.7 s · $0.0006 · 1 message on Pro · answered by openai/gpt-6.1-sol via OpenAI ·
GLM 5.3
Passed: Back-translation chrF 0.81 (pass at 0.4).
Su pedido 48213 ha sido enviado y debería llegar el jueves 9 de octubre. Puede seguirlo en shop.example.com/track. Si algo no está bien, responda a este correo dentro de los 30 días y lo resolveremos.
325 tokens in, 53 out · 0.6 s · $0.0006 · 1 message on Pro · answered by z-ai/glm-5.3 via Friendli ·
Claude Haiku 4.5
Passed: Back-translation chrF 0.94 (pass at 0.4).
Tu pedido 48213 ha sido enviado y debe llegar el jueves, 9 de octubre. Puedes rastrearlo en shop.example.com/track. Si algo está mal con él, responde a este correo dentro de 30 días y lo resolveremos.
334 tokens in, 68 out · 1.3 s · $0.0007 · 1 message on Pro · answered by anthropic/claude-haiku-4.5 via Anthropic ·
GPT-6 Sol
Passed: Back-translation chrF 0.76 (pass at 0.4).
--- Tu pedido 48213 ya ha sido enviado y debería llegar el jueves 9 de octubre. Puedes seguirlo en shop.example.com/track. Si hay algún problema, responde a este correo electrónico en un plazo de 30 días y lo solucionaremos.
313 tokens in, 195 out (137 of them reasoning) · 2.4 s · $0.0013 · 1 message on Pro · answered by openai/gpt-6-sol via OpenAI ·
Kimi K3
Passed: Back-translation chrF 0.79 (pass at 0.4).
Tu pedido 48213 ha sido enviado y debería llegar el jueves, 9 de octubre. Puedes hacerle seguimiento en shop.example.com/track. Si hay algún problema con él, responde a este correo electrónico dentro de 30 días y lo solucionaremos.
399 tokens in, 130 out (47 of them reasoning) · 12.3 s · $0.0015 · 1 message on Pro · answered by moonshotai/kimi-k3 via Wafer ·
Claude Sonnet 5
Passed: Back-translation chrF 0.79 (pass at 0.4).
Su pedido 48213 ha sido enviado y debería llegar el jueves, 9 de octubre. Puede rastrearlo en shop.example.com/track. Si hay algún problema con él, responda a este correo electrónico dentro de 30 días y lo solucionaremos.
412 tokens in, 95 out · 2.6 s · $0.0018 · 1 message on Pro · answered by anthropic/claude-sonnet-5 via Anthropic ·
Claude Sonnet 5.5
Passed: Back-translation chrF 0.79 (pass at 0.4).
Tu pedido 48213 ha sido enviado y debería llegar el jueves 9 de octubre. Puedes seguirlo en shop.example.com/track. Si hay algún problema con él, responde a este correo electrónico en un plazo de 30 días y lo solucionaremos.
414 tokens in, 97 out · 1.5 s · $0.0018 · 1 message on Pro · answered by anthropic/claude-sonnet-5.5 via Anthropic ·
DeepSeek V4 Pro
Passed: Back-translation chrF 0.92 (pass at 0.4).
Tu pedido 48213 ha sido enviado y debería llegar el jueves, 9 de octubre. Puedes rastrearlo en shop.example.com/track. Si algo va mal con él, responde a este correo dentro de 30 días y lo resolveremos.
314 tokens in, 522 out (463 of them reasoning) · 5.8 s · $0.0022 · 1 message on Pro · answered by deepseek/deepseek-v4-pro-0813 via Wafer ·
GPT-6 Astra
Passed: Back-translation chrF 0.79 (pass at 0.4).
Tu pedido 48213 ha sido enviado y debería llegar el jueves, 9 de octubre. Puedes seguirlo en shop.example.com/track. Si hay algún problema con él, responde a este correo electrónico en un plazo de 30 días y lo solucionaremos.
313 tokens in, 57 out · 1.5 s · $0.0030 · 1 message on Pro · answered by openai/gpt-6-astra via OpenAI ·
Grok 4.7
Passed: Back-translation chrF 0.80 (pass at 0.4).
Tu pedido 48213 ha sido enviado y debería llegar el jueves, 9 de octubre. Puedes seguirlo en shop.example.com/track. Si algo no está bien, responde a este correo en un plazo de 30 días y lo solucionaremos.
1,550 tokens in, 272 out (217 of them reasoning) · 3.8 s · $0.0030 · 1 message on Pro · answered by x-ai/grok-4.7 via xAI ·
Claude Opus 5.5
Passed: Back-translation chrF 0.79 (pass at 0.4).
Tu pedido 48213 ha sido enviado y debería llegar el jueves 9 de octubre. Puedes hacer el seguimiento en shop.example.com/track. Si hay algún problema con él, responde a este correo electrónico en un plazo de 30 días y lo solucionaremos.
414 tokens in, 172 out (71 of them reasoning) · 2.6 s · $0.0051 · 1 message on Pro · answered by anthropic/claude-opus-5.5 via Google ·
Gemini 3.1 Pro
Passed: Back-translation chrF 0.76 (pass at 0.4).
Su pedido 48213 ha sido enviado y debería llegar el jueves 9 de octubre. Puede realizar el seguimiento en shop.example.com/track. Si hay algún problema, responda a este correo electrónico en un plazo de 30 días y lo solucionaremos.
331 tokens in, 847 out (789 of them reasoning) · 7.3 s · $0.0054 · 1 message on Pro · answered by google/gemini-3.1-pro-preview via Google AI Studio ·
Mistral Large 4
Passed: Back-translation chrF 0.80 (pass at 0.4).
Tu pedido 48213 ha sido enviado y debería llegar el jueves 9 de octubre. Puedes rastrearlo en shop.example.com/track. Si algo no está bien, responde a este correo electrónico dentro de 30 días y lo solucionaremos.
317 tokens in, 3,982 out (3,807 of them reasoning) · 35.4 s · $0.0085 · 1 message on Pro · answered by mistralai/mistral-large-4-0 via Mistral ·
Claude Fable 5.1
Passed: Back-translation chrF 0.79 (pass at 0.4).
Su pedido 48213 ha sido enviado y debería llegar el jueves 9 de octubre. Puede hacer el seguimiento en shop.example.com/track. Si hay algún problema con él, responda a este correo electrónico en un plazo de 30 días y lo solucionaremos.
414 tokens in, 99 out · 2.3 s · $0.0091 · 1 message on Pro · answered by anthropic/claude-fable-5.1 via Google ·
More AI translator test inputs
The other AI translator test inputs, each with every model's reply, and the results across all five.
Questions
Which AI does best on “A shipping notice into Spanish”?
All 19 models passed this AI translator test input's check (back-translation). The cheapest reply that passed was GPT-6 Luna's, at $0.000030; the fastest, GLM 5.3's in 0.6 s. The dearest reply, Claude Fable 5.1's, cost 307 times as much ($0.0091).
What does a reply to “A shipping notice into Spanish” cost?
Through the models' APIs, what OpenRouter charged us ran from $0.000030 (GPT-6 Luna) to $0.0091 (Claude Fable 5.1) for this test input. In llmwise you don't pay by the token: a reply like these counts as one message on Pro, whichever model answers.
Claude, GPT, Gemini, DeepSeek, Grok, Kimi, GLM, and Mistral, in one chat.
See what a message costs before you send it. Free is 5 messages to try; sign in with an email link, no password or card.