Tested prompt · AI translator
A formal apology into German: every AI model's reply, tested
We ran this hard AI translator test input on all 19 models in llmwise, the way the tool runs it, and checked every reply the same way. Here's each one as it came, with whether it passed, what it cost and how long it took.
Based on 19 of our test runs on , through OpenRouter with the tool's own instructions and the app's settings. Updated .
Short answer
All 19 models passed this AI translator test input's check (back-translation). The cheapest reply that passed was GPT-6 Luna's, at $0.000058; the fastest, Claude Haiku 5.5's in 1.0 s. The dearest reply, Claude Fable 5.1's, cost 192 times as much ($0.0112).
The prompt, as sent, and its check
Checked by back-translation, the same way for every model.
A formal apology into German (hard)
Translate this text. Keep every name and link exactly as it is and every number at its value, and give only the translation. Translate it into German. Make the translation formal. --- Dear Ms Keller, unfortunately we can't ship the replacement part before 3 November. As an apology, we will refund the €25 shipping fee to your card. Thank you for your patience, and please get in touch if you have any questions.
Sent with the AI translator's own instructions as the system prompt, as a free run of the tool sends them.
It must keep “3”, “25”, “sie”, be in the language asked for, and read back close to the original (chrF of at least 0.4).
How the AI translator's test inputs are scored, with every model's results on all five.
Every model's result
All 19 models on this test input, in catalog order.
| Model | Result | Cost | Time | Reply |
|---|---|---|---|---|
| Claude Fable 5.1Anthropic | Passed: Back-translation chrF 0.82 (pass at 0.4). | $0.0112 | 2.4 s | 140 tokens |
| Claude Opus 5.5Anthropic | Passed: Back-translation chrF 0.78 (pass at 0.4). | $0.0067 | 3.5 s | 132 tokens |
| Claude Sonnet 5.5Anthropic | Passed: Back-translation chrF 0.73 (pass at 0.4). | $0.0023 | 1.6 s | 141 tokens |
| Claude Sonnet 5Anthropic | Passed: Back-translation chrF 0.69 (pass at 0.4). | $0.0023 | 2.5 s | 149 tokens |
| Claude Haiku 5.5Anthropic | Passed: Back-translation chrF 0.74 (pass at 0.4). | $0.00011 | 1.0 s | 133 tokens |
| Claude Haiku 4.5Anthropic | Passed: Back-translation chrF 0.77 (pass at 0.4). | $0.00089 | 1.6 s | 109 tokens |
| GPT-6 AstraOpenAI | Passed: Back-translation chrF 0.79 (pass at 0.4). | $0.0032 | 1.8 s | 65 tokens |
| GPT-6.1 SolOpenAI | Passed: Back-translation chrF 0.79 (pass at 0.4). | $0.00064 | 1.5 s | 65 tokens |
| GPT-6 SolOpenAI | Passed: Back-translation chrF 0.73 (pass at 0.4). | $0.0013 | 2.1 s | 68 tokens |
| GPT-6 LunaOpenAI | Passed: Back-translation chrF 0.73 (pass at 0.4). | $0.000058 | 2.1 s | 67 tokens |
| Gemini 3.1 Pro (preview)Google | Passed: Back-translation chrF 0.76 (pass at 0.4). | $0.0075 | 10.2 s | 65 tokens |
| Gemini 3.8 FlashGoogle | Passed: Back-translation chrF 0.82 (pass at 0.4). | $0.00025 | 2.6 s | 65 tokens |
| DeepSeek V4.1 FlashDeepSeek | Passed: Back-translation chrF 0.73 (pass at 0.4). | $0.00039 | 1.3 s | 79 tokens |
| DeepSeek V4 ProDeepSeek | Passed: Back-translation chrF 0.82 (pass at 0.4). | $0.0014 | 3.9 s | 82 tokens |
| Grok 4.7xAI | Passed: Back-translation chrF 0.87 (pass at 0.4). | $0.0053 | 9.9 s | 66 tokens |
| Kimi K3Moonshot | Passed: Back-translation chrF 0.80 (pass at 0.4). | $0.0016 | 3.5 s | 94 tokens |
| GLM 5.3Z.ai | Passed: Back-translation chrF 0.71 (pass at 0.4). | $0.00045 | 2.1 s | 75 tokens |
| GLM 5.3 FlashZ.ai | Passed: Back-translation chrF 0.76 (pass at 0.4). | $0.000083 | 5.5 s | 67 tokens |
| Mistral Large 4Mistral | Passed: Back-translation chrF 0.84 (pass at 0.4). | $0.0062 | 25.7 s | 0 tokens |
Cost: what OpenRouter charged us for the reply. Time: from sending to the whole reply. Reply: its length in tokens, thinking not counted. In llmwise you pay per message, not per token: each of these replies counted as one message on Pro.
Every reply
Every reply passed: here they are from the cheapest up.
GPT-6 Luna
Passed: Back-translation chrF 0.73 (pass at 0.4).
Sehr geehrte Frau Keller, leider können wir das Ersatzteil nicht vor dem 3. November versenden. Als Entschuldigung erstatten wir Ihnen die Versandkosten in Höhe von 25 € auf Ihre Karte. Vielen Dank für Ihre Geduld. Bitte kontaktieren Sie uns, wenn Sie Fragen haben.
318 tokens in, 170 out (103 of them reasoning) · 2.1 s · $0.0001 · 1 message on Pro · answered by openai/gpt-6-luna via OpenAI ·
GLM 5.3 Flash
Passed: Back-translation chrF 0.76 (pass at 0.4).
Sehr geehrte Frau Keller, leider können wir das Ersatzteil nicht vor dem 3. November versenden. Als Entschuldigung erstatten wir die Versandkosten in Höhe von 25 € auf Ihre Karte zurück. Wir danken Ihnen für Ihre Geduld und stehen Ihnen bei Fragen gerne zur Verfügung.
329 tokens in, 67 out · 5.5 s · $0.0001 · 1 message on Pro · answered by z-ai/glm-5.3-flash via Friendli ·
Claude Haiku 5.5
Passed: Back-translation chrF 0.74 (pass at 0.4).
Sehr geehrte Frau Keller, leider können wir das Ersatzteil nicht vor dem 3. November versenden. Als Entschuldigung erstatten wir Ihnen die Versandgebühr von 25 € auf Ihre Karte. Vielen Dank für Ihre Geduld. Bei Fragen wenden Sie sich bitte jederzeit an uns.
424 tokens in, 133 out · 1.0 s · $0.0001 · 1 message on Pro · answered by anthropic/claude-haiku-5.5 via Anthropic ·
Gemini 3.8 Flash
Passed: Back-translation chrF 0.82 (pass at 0.4).
Sehr geehrte Frau Keller, leider können wir das Ersatzteil nicht vor dem 3. November versenden. Als Entschuldigung erstatten wir Ihnen die Versandkosten in Höhe von 25 € auf Ihre Karte zurück. Vielen Dank für Ihre Geduld und bitte kontaktieren Sie uns, falls Sie Fragen haben.
331 tokens in, 65 out · 2.6 s · $0.0002 · 1 message on Pro · answered by google/gemini-3.8-flash via Google AI Studio ·
DeepSeek V4.1 Flash
Passed: Back-translation chrF 0.73 (pass at 0.4).
Sehr geehrte Frau Keller, leider können wir das Ersatzteil nicht vor dem 3. November versenden. Als Entschuldigung erstatten wir Ihnen die Versandkosten in Höhe von 25 € auf Ihre Karte zurück. Vielen Dank für Ihre Geduld. Bitte wenden Sie sich an uns, wenn Sie Fragen haben.
345 tokens in, 300 out (221 of them reasoning) · 1.3 s · $0.0004 · 1 message on Pro · answered by deepseek/deepseek-v4.1-flash via Together ·
GLM 5.3
Passed: Back-translation chrF 0.71 (pass at 0.4).
Sehr geehrte Frau Keller, leider können wir das Ersatzteil nicht vor dem 3. November versenden. Als Entschädigung erstatten wir Ihnen die Versandkosten in Höhe von 25 € auf Ihre Karte zurück. Vielen Dank für Ihre Geduld, und zögern Sie bitte nicht, uns bei Fragen zu kontaktieren.
329 tokens in, 75 out · 2.1 s · $0.0004 · 1 message on Pro · answered by z-ai/glm-5.3 via Friendli ·
GPT-6.1 Sol
Passed: Back-translation chrF 0.79 (pass at 0.4).
Sehr geehrte Frau Keller, leider können wir das Ersatzteil nicht vor dem 3. November versenden. Als Entschuldigung erstatten wir Ihnen die Versandkosten in Höhe von 25 € auf Ihre Karte. Vielen Dank für Ihre Geduld. Bitte kontaktieren Sie uns, falls Sie Fragen haben.
318 tokens in, 65 out · 1.5 s · $0.0006 · 1 message on Pro · answered by openai/gpt-6.1-sol via OpenAI ·
Claude Haiku 4.5
Passed: Back-translation chrF 0.77 (pass at 0.4).
Sehr geehrte Frau Keller, leider können wir das Ersatzteil nicht vor dem 3. November versenden. Als Entschuldigung werden wir die Versandgebühr von 25 € auf Ihre Karte zurückerstatten. Wir danken Ihnen für Ihre Geduld und bitten Sie, sich mit uns in Verbindung zu setzen, sollten Sie Fragen haben.
340 tokens in, 109 out · 1.6 s · $0.0009 · 1 message on Pro · answered by anthropic/claude-haiku-4.5 via Anthropic ·
GPT-6 Sol
Passed: Back-translation chrF 0.73 (pass at 0.4).
Sehr geehrte Frau Keller, leider können wir das Ersatzteil nicht vor dem 3. November versenden. Als Entschuldigung erstatten wir Ihnen die Versandkosten in Höhe von 25 € auf Ihre Karte zurück. Vielen Dank für Ihre Geduld. Bitte kontaktieren Sie uns, falls Sie Fragen haben.
318 tokens in, 195 out (127 of them reasoning) · 2.1 s · $0.0013 · 1 message on Pro · answered by openai/gpt-6-sol via OpenAI ·
DeepSeek V4 Pro
Passed: Back-translation chrF 0.82 (pass at 0.4).
Sehr geehrte Frau Keller, leider können wir das Ersatzteil nicht vor dem 3. November versenden. Als Entschuldigung erstatten wir Ihnen die Versandkosten in Höhe von 25 € auf Ihre Karte zurück. Vielen Dank für Ihre Geduld, und bitte setzen Sie sich mit uns in Verbindung, falls Sie Fragen haben.
319 tokens in, 322 out (240 of them reasoning) · 3.9 s · $0.0014 · 1 message on Pro · answered by deepseek/deepseek-v4-pro-0813 via Wafer ·
Kimi K3
Passed: Back-translation chrF 0.80 (pass at 0.4).
Sehr geehrte Frau Keller, leider können wir das Ersatzteil nicht vor dem 3. November versenden. Als Entschuldigung erstatten wir Ihnen die Versandkosten in Höhe von 25 € auf Ihre Karte zurück. Vielen Dank für Ihre Geduld, und bei Fragen melden Sie sich bitte gerne bei uns.
405 tokens in, 133 out (39 of them reasoning) · 3.5 s · $0.0016 · 1 message on Pro · answered by moonshotai/kimi-k3 via Wafer ·
Claude Sonnet 5.5
Passed: Back-translation chrF 0.73 (pass at 0.4).
Sehr geehrte Frau Keller, leider können wir das Ersatzteil nicht vor dem 3. November versenden. Als Entschuldigung erstatten wir Ihnen die Versandkosten in Höhe von 25 € auf Ihre Karte zurück. Vielen Dank für Ihre Geduld. Bitte wenden Sie sich an uns, falls Sie Fragen haben.
424 tokens in, 141 out · 1.6 s · $0.0023 · 1 message on Pro · answered by anthropic/claude-sonnet-5.5 via Anthropic ·
Claude Sonnet 5
Passed: Back-translation chrF 0.69 (pass at 0.4).
Sehr geehrte Frau Keller, leider können wir das Ersatzteil nicht vor dem 3. November versenden. Als Entschuldigung erstatten wir Ihnen die Versandkosten in Höhe von 25 € auf Ihre Karte zurück. Vielen Dank für Ihr Verständnis, und bitte zögern Sie nicht, sich bei weiteren Fragen an uns zu wenden.
422 tokens in, 149 out · 2.5 s · $0.0023 · 1 message on Pro · answered by anthropic/claude-sonnet-5 via Anthropic ·
GPT-6 Astra
Passed: Back-translation chrF 0.79 (pass at 0.4).
Sehr geehrte Frau Keller, leider können wir das Ersatzteil nicht vor dem 3. November versenden. Als Entschuldigung erstatten wir Ihnen die Versandkosten in Höhe von 25 € auf Ihre Karte. Vielen Dank für Ihre Geduld. Bitte kontaktieren Sie uns, falls Sie Fragen haben.
318 tokens in, 65 out · 1.8 s · $0.0032 · 1 message on Pro · answered by openai/gpt-6-astra via OpenAI ·
Grok 4.7
Passed: Back-translation chrF 0.87 (pass at 0.4).
Sehr geehrte Frau Keller, leider können wir das Ersatzteil nicht vor dem 3. November versenden. Als Entschuldigung erstatten wir Ihnen die Versandgebühr von 25 € auf Ihre Karte zurück. Vielen Dank für Ihre Geduld, und setzen Sie sich bitte mit uns in Verbindung, wenn Sie Fragen haben.
1,554 tokens in, 661 out (595 of them reasoning) · 9.9 s · $0.0053 · 1 message on Pro · answered by x-ai/grok-4.7 via xAI ·
Mistral Large 4
Passed: Back-translation chrF 0.84 (pass at 0.4).
Sehr geehrte Frau Keller, leider können wir das Ersatzteil nicht vor dem 3. November versenden. Als Entschuldigung erstatten wir Ihnen die 25 € Versandkosten auf Ihre Karte zurück. Vielen Dank für Ihre Geduld, und bitte wenden Sie sich an uns, falls Sie Fragen haben.
323 tokens in, 2,846 out (2,891 of them reasoning) · 25.7 s · $0.0062 · 1 message on Pro · answered by mistralai/mistral-large-4-0 via Mistral ·
Claude Opus 5.5
Passed: Back-translation chrF 0.78 (pass at 0.4).
Sehr geehrte Frau Keller, leider können wir das Ersatzteil nicht vor dem 3. November versenden. Als Entschuldigung erstatten wir Ihnen die Versandgebühr von 25 € auf Ihre Karte. Vielen Dank für Ihre Geduld. Bei Fragen wenden Sie sich bitte jederzeit an uns.
424 tokens in, 251 out (119 of them reasoning) · 3.5 s · $0.0067 · 1 message on Pro · answered by anthropic/claude-opus-5.5 via Google ·
Gemini 3.1 Pro
Passed: Back-translation chrF 0.76 (pass at 0.4).
Sehr geehrte Frau Keller, leider können wir das Ersatzteil nicht vor dem 3. November versenden. Als Entschuldigung erstatten wir Ihnen die Versandkosten von 25 € auf Ihre Karte zurück. Vielen Dank für Ihre Geduld, und bitte melden Sie sich bei uns, falls Sie Fragen haben.
331 tokens in, 1,200 out (1,135 of them reasoning) · 10.2 s · $0.0075 · 1 message on Pro · answered by google/gemini-3.1-pro-preview via Google AI Studio ·
Claude Fable 5.1
Passed: Back-translation chrF 0.82 (pass at 0.4).
Sehr geehrte Frau Keller, leider können wir das Ersatzteil nicht vor dem 3. November versenden. Als Entschuldigung erstatten wir Ihnen die Versandkosten in Höhe von 25 € auf Ihre Karte zurück. Vielen Dank für Ihre Geduld, und bitte wenden Sie sich an uns, falls Sie Fragen haben.
424 tokens in, 140 out · 2.4 s · $0.0112 · 1 message on Pro · answered by anthropic/claude-fable-5.1 via Google ·
More AI translator test inputs
The other AI translator test inputs, each with every model's reply, and the results across all five.
Questions
Which AI does best on “A formal apology into German”?
All 19 models passed this AI translator test input's check (back-translation). The cheapest reply that passed was GPT-6 Luna's, at $0.000058; the fastest, Claude Haiku 5.5's in 1.0 s. The dearest reply, Claude Fable 5.1's, cost 192 times as much ($0.0112).
What does a reply to “A formal apology into German” cost?
Through the models' APIs, what OpenRouter charged us ran from $0.000058 (GPT-6 Luna) to $0.0112 (Claude Fable 5.1) for this test input. In llmwise you don't pay by the token: a reply like these counts as one message on Pro, whichever model answers.
Claude, GPT, Gemini, DeepSeek, Grok, Kimi, GLM, and Mistral, in one chat.
See what a message costs before you send it. Free is 5 messages to try; sign in with an email link, no password or card.