Tested prompt · AI translator
A work message into Portuguese: every AI model's reply, tested
We ran this everyday AI translator test input on all 19 models in llmwise, the way the tool runs it, and checked every reply the same way. Here's each one as it came, with whether it passed, what it cost and how long it took.
Based on 19 of our test runs on , through OpenRouter with the tool's own instructions and the app's settings. Updated .
Short answer
All 19 models passed this AI translator test input's check (back-translation). The cheapest reply that passed was GPT-6 Luna's, at $0.000031; the fastest, GLM 5.3's in 0.8 s. The dearest reply, Claude Fable 5.1's, cost 303 times as much ($0.0093).
The prompt, as sent, and its check
Checked by back-translation, the same way for every model.
A work message into Portuguese (everyday)
Translate this text. Keep every name and link exactly as it is and every number at its value, and give only the translation. Translate it into Portuguese (Brazil). --- Hi Marcos, the meeting with Lumen Bank has moved to Wednesday at 15:00. Please bring the Q3 report and both signed contracts. If you can't make it, let Ana know by noon tomorrow.
Sent with the AI translator's own instructions as the system prompt, as a free run of the tool sends them.
It must keep “marcos”, “lumen bank”, “15:00”, “q3”, “ana”, be in the language asked for, and read back close to the original (chrF of at least 0.4).
How the AI translator's test inputs are scored, with every model's results on all five.
Every model's result
All 19 models on this test input, in catalog order.
| Model | Result | Cost | Time | Reply |
|---|---|---|---|---|
| Claude Fable 5.1Anthropic | Passed: Back-translation chrF 0.83 (pass at 0.4). | $0.0093 | 2.1 s | 101 tokens |
| Claude Opus 5.5Anthropic | Passed: Back-translation chrF 0.78 (pass at 0.4). | $0.0088 | 4.2 s | 102 tokens |
| Claude Sonnet 5.5Anthropic | Passed: Back-translation chrF 0.79 (pass at 0.4). | $0.0019 | 1.6 s | 102 tokens |
| Claude Sonnet 5Anthropic | Passed: Back-translation chrF 0.77 (pass at 0.4). | $0.0019 | 2.0 s | 102 tokens |
| Claude Haiku 5.5Anthropic | Passed: Back-translation chrF 0.79 (pass at 0.4). | $0.000091 | 1.2 s | 97 tokens |
| Claude Haiku 4.5Anthropic | Passed: Back-translation chrF 0.81 (pass at 0.4). | $0.00068 | 1.3 s | 71 tokens |
| GPT-6 AstraOpenAI | Passed: Back-translation chrF 0.81 (pass at 0.4). | $0.0031 | 1.5 s | 61 tokens |
| GPT-6.1 SolOpenAI | Passed: Back-translation chrF 0.77 (pass at 0.4). | $0.00061 | 1.6 s | 60 tokens |
| GPT-6 SolOpenAI | Passed: Back-translation chrF 0.82 (pass at 0.4). | $0.0016 | 3.4 s | 64 tokens |
| GPT-6 LunaOpenAI | Passed: Back-translation chrF 0.87 (pass at 0.4). | $0.000031 | 1.1 s | 61 tokens |
| Gemini 3.1 Pro (preview)Google | Passed: Back-translation chrF 0.83 (pass at 0.4). | $0.0063 | 8.6 s | 65 tokens |
| Gemini 3.8 FlashGoogle | Passed: Back-translation chrF 0.83 (pass at 0.4). | $0.00024 | 1.3 s | 62 tokens |
| DeepSeek V4.1 FlashDeepSeek | Passed: Back-translation chrF 0.80 (pass at 0.4). | $0.00076 | 2.4 s | 68 tokens |
| DeepSeek V4 ProDeepSeek | Passed: Back-translation chrF 0.83 (pass at 0.4). | $0.0015 | 4.0 s | 67 tokens |
| Grok 4.7xAI | Passed: Back-translation chrF 0.79 (pass at 0.4). | $0.0062 | 10.5 s | 64 tokens |
| Kimi K3Moonshot | Passed: Back-translation chrF 0.81 (pass at 0.4). | $0.0013 | 21.7 s | 80 tokens |
| GLM 5.3Z.ai | Passed: Back-translation chrF 0.81 (pass at 0.4). | $0.00041 | 0.8 s | 67 tokens |
| GLM 5.3 FlashZ.ai | Passed: Back-translation chrF 0.86 (pass at 0.4). | $0.000082 | 1.2 s | 68 tokens |
| Mistral Large 4Mistral | Passed: Back-translation chrF 0.85 (pass at 0.4). | $0.0064 | 29.4 s | 321 tokens |
Cost: what OpenRouter charged us for the reply. Time: from sending to the whole reply. Reply: its length in tokens, thinking not counted. In llmwise you pay per message, not per token: each of these replies counted as one message on Pro.
Every reply
Every reply passed: here they are from the cheapest up.
GPT-6 Luna
Passed: Back-translation chrF 0.87 (pass at 0.4).
Oi, Marcos, a reunião com o Lumen Bank foi transferida para quarta-feira às 15:00. Por favor, traga o relatório do Q3 e os dois contratos assinados. Se não puder comparecer, avise a Ana até o meio-dia de amanhã.
309 tokens in, 61 out · 1.1 s · $0.0000 · 1 message on Pro · answered by openai/gpt-6-luna via OpenAI ·
GLM 5.3 Flash
Passed: Back-translation chrF 0.86 (pass at 0.4).
Olá Marcos, a reunião com o Lumen Bank foi movida para quarta-feira às 15:00. Por favor, traga o relatório do Q3 e os dois contratos assinados. Se você não puder comparecer, avise a Ana até o meio-dia de amanhã.
320 tokens in, 68 out · 1.2 s · $0.0001 · 1 message on Pro · answered by z-ai/glm-5.3-flash via Friendli ·
Claude Haiku 5.5
Passed: Back-translation chrF 0.79 (pass at 0.4).
Oi, Marcos, a reunião com o Lumen Bank foi adiada para quarta-feira às 15h. Por favor, traga o relatório do Q3 e os dois contratos assinados. Se não puder comparecer, avise a Ana até o meio-dia de amanhã.
424 tokens in, 97 out · 1.2 s · $0.0001 · 1 message on Pro · answered by anthropic/claude-haiku-5.5 via Anthropic ·
Gemini 3.8 Flash
Passed: Back-translation chrF 0.83 (pass at 0.4).
Oi Marcos, a reunião com o Lumen Bank mudou para quarta-feira às 15:00. Por favor, traga o relatório do Q3 e os dois contratos assinados. Se você não puder comparecer, avise a Ana até o meio-dia de amanhã.
322 tokens in, 62 out · 1.3 s · $0.0002 · 1 message on Pro · answered by google/gemini-3.8-flash via Google AI Studio ·
GLM 5.3
Passed: Back-translation chrF 0.81 (pass at 0.4).
Olá Marcos, a reunião com o Lumen Bank foi movida para quarta-feira às 15:00. Por favor, traga o relatório do Q3 e os dois contratos assinados. Se você não puder comparecer, avise Ana até o meio-dia de amanhã.
320 tokens in, 67 out · 0.8 s · $0.0004 · 1 message on Pro · answered by z-ai/glm-5.3 via Friendli ·
GPT-6.1 Sol
Passed: Back-translation chrF 0.77 (pass at 0.4).
--- Oi Marcos, a reunião com Lumen Bank foi remarcada para quarta-feira às 15:00. Por favor, traga o relatório do terceiro trimestre e os dois contratos assinados. Se não puder comparecer, avise Ana até o meio-dia de amanhã.
309 tokens in, 60 out · 1.6 s · $0.0006 · 1 message on Pro · answered by openai/gpt-6.1-sol via OpenAI ·
Claude Haiku 4.5
Passed: Back-translation chrF 0.81 (pass at 0.4).
Oi Marcos, a reunião com Lumen Bank foi adiada para quarta-feira às 15h00. Por favor, traga o relatório Q3 e os dois contratos assinados. Se você não conseguir comparecer, avise Ana até meio-dia amanhã.
328 tokens in, 71 out · 1.3 s · $0.0007 · 1 message on Pro · answered by anthropic/claude-haiku-4.5 via Anthropic ·
DeepSeek V4.1 Flash
Passed: Back-translation chrF 0.80 (pass at 0.4).
Oi Marcos, a reunião com o Lumen Bank foi remarcada para quarta-feira às 15h. Por favor, traga o relatório do Q3 e os dois contratos assinados. Se não puder comparecer, avise a Ana até o meio-dia de amanhã.
336 tokens in, 609 out (541 of them reasoning) · 2.4 s · $0.0008 · 1 message on Pro · answered by deepseek/deepseek-v4.1-flash via Together ·
Kimi K3
Passed: Back-translation chrF 0.81 (pass at 0.4).
Oi Marcos, a reunião com o Lumen Bank foi remarcada para quarta-feira às 15:00. Por favor, traga o relatório do Q3 e os dois contratos assinados. Se você não puder comparecer, avise a Ana até meio-dia de amanhã.
396 tokens in, 106 out (26 of them reasoning) · 21.7 s · $0.0013 · 1 message on Pro · answered by moonshotai/kimi-k3 via Wafer ·
DeepSeek V4 Pro
Passed: Back-translation chrF 0.83 (pass at 0.4).
Oi Marcos, a reunião com o Lumen Bank foi transferida para quarta-feira às 15:00. Por favor, leve o relatório do Q3 e os dois contratos assinados. Se você não puder comparecer, avise a Ana até o meio-dia de amanhã.
310 tokens in, 355 out (288 of them reasoning) · 4.0 s · $0.0015 · 1 message on Pro · answered by deepseek/deepseek-v4-pro-0813 via Wafer ·
GPT-6 Sol
Passed: Back-translation chrF 0.82 (pass at 0.4).
--- Oi, Marcos, a reunião com o Lumen Bank foi transferida para quarta-feira às 15:00. Por favor, traga o relatório do Q3 e os dois contratos assinados. Se não puder comparecer, avise a Ana até o meio-dia de amanhã.
309 tokens in, 262 out (198 of them reasoning) · 3.4 s · $0.0016 · 1 message on Pro · answered by openai/gpt-6-sol via OpenAI ·
Claude Sonnet 5
Passed: Back-translation chrF 0.77 (pass at 0.4).
Oi Marcos, a reunião com o Lumen Bank foi remarcada para quarta-feira às 15h00. Por favor, traga o relatório do terceiro trimestre e os dois contratos assinados. Se você não puder comparecer, avise a Ana até meio-dia de amanhã.
422 tokens in, 102 out · 2.0 s · $0.0019 · 1 message on Pro · answered by anthropic/claude-sonnet-5 via Anthropic ·
Claude Sonnet 5.5
Passed: Back-translation chrF 0.79 (pass at 0.4).
Oi, Marcos, a reunião com o Lumen Bank foi remarcada para quarta-feira às 15h. Por favor, leve o relatório do 3º trimestre e os dois contratos assinados. Se você não puder comparecer, avise a Ana até o meio-dia de amanhã.
424 tokens in, 102 out · 1.6 s · $0.0019 · 1 message on Pro · answered by anthropic/claude-sonnet-5.5 via Anthropic ·
GPT-6 Astra
Passed: Back-translation chrF 0.81 (pass at 0.4).
Oi Marcos, a reunião com Lumen Bank foi remarcada para quarta-feira às 15:00. Por favor, traga o relatório do 3º trimestre e os dois contratos assinados. Se não puder comparecer, avise Ana até o meio-dia de amanhã.
309 tokens in, 61 out · 1.5 s · $0.0031 · 1 message on Pro · answered by openai/gpt-6-astra via OpenAI ·
Grok 4.7
Passed: Back-translation chrF 0.79 (pass at 0.4).
Olá Marcos, a reunião com o Lumen Bank foi remarcada para quarta-feira às 15:00. Por favor, traga o relatório do Q3 e os dois contratos assinados. Se você não puder comparecer, avise a Ana até o meio-dia de amanhã.
1,546 tokens in, 801 out (737 of them reasoning) · 10.5 s · $0.0062 · 1 message on Pro · answered by x-ai/grok-4.7 via xAI ·
Gemini 3.1 Pro
Passed: Back-translation chrF 0.83 (pass at 0.4).
Olá, Marcos, a reunião com o Lumen Bank foi remarcada para quarta-feira às 15:00. Por favor, traga o relatório do Q3 e ambos os contratos assinados. Se você não puder comparecer, avise a Ana até o meio-dia de amanhã.
322 tokens in, 993 out (928 of them reasoning) · 8.6 s · $0.0063 · 1 message on Pro · answered by google/gemini-3.1-pro-preview via Google AI Studio ·
Mistral Large 4
Passed: Back-translation chrF 0.85 (pass at 0.4).
Oi Marcos, a reunião com o Lumen Bank foi remarcada para quarta-feira às 15:00. Por favor, traga o relatório do Q3 e ambos os contratos assinados. Se você não puder comparecer, avise a Ana até o meio-dia de amanhã.
313 tokens in, 2,979 out (2,658 of them reasoning) · 29.4 s · $0.0064 · 1 message on Pro · answered by mistralai/mistral-large-4-0 via Mistral ·
Claude Opus 5.5
Passed: Back-translation chrF 0.78 (pass at 0.4).
Oi, Marcos, a reunião com o Lumen Bank foi remarcada para quarta-feira, às 15h. Por favor, traga o relatório do 3º trimestre e os dois contratos assinados. Se não puder comparecer, avise a Ana até o meio-dia de amanhã.
424 tokens in, 354 out (252 of them reasoning) · 4.2 s · $0.0088 · 1 message on Pro · answered by anthropic/claude-opus-5.5 via Google ·
Claude Fable 5.1
Passed: Back-translation chrF 0.83 (pass at 0.4).
Oi Marcos, a reunião com o Lumen Bank foi transferida para quarta-feira às 15h00. Por favor, leve o relatório do 3º trimestre e os dois contratos assinados. Se você não puder comparecer, avise a Ana até o meio-dia de amanhã.
424 tokens in, 101 out · 2.1 s · $0.0093 · 1 message on Pro · answered by anthropic/claude-fable-5.1 via Google ·
More AI translator test inputs
The other AI translator test inputs, each with every model's reply, and the results across all five.
Questions
Which AI does best on “A work message into Portuguese”?
All 19 models passed this AI translator test input's check (back-translation). The cheapest reply that passed was GPT-6 Luna's, at $0.000031; the fastest, GLM 5.3's in 0.8 s. The dearest reply, Claude Fable 5.1's, cost 303 times as much ($0.0093).
What does a reply to “A work message into Portuguese” cost?
Through the models' APIs, what OpenRouter charged us ran from $0.000031 (GPT-6 Luna) to $0.0093 (Claude Fable 5.1) for this test input. In llmwise you don't pay by the token: a reply like these counts as one message on Pro, whichever model answers.
Claude, GPT, Gemini, DeepSeek, Grok, Kimi, GLM, and Mistral, in one chat.
See what a message costs before you send it. Free is 5 messages to try; sign in with an email link, no password or card.