Tested prompt · AI translator
Idioms in a welcome note, into Japanese: every AI model's reply, tested
We ran this hard AI translator test input on all 19 models in llmwise, the way the tool runs it, and checked every reply the same way. Here's each one as it came, with whether it passed, what it cost and how long it took.
Based on 19 of our test runs on , through OpenRouter with the tool's own instructions and the app's settings. Updated .
Short answer
All 19 models passed this AI translator test input's check (back-translation). The cheapest reply that passed was GPT-6 Luna's, at $0.000036; the fastest, GLM 5.3's in 0.9 s. The dearest reply, Claude Opus 5.5's, cost 269 times as much ($0.0096).
The prompt, as sent, and its check
Checked by back-translation, the same way for every model.
Idioms in a welcome note, into Japanese (hard)
Translate this text. Keep every name and link exactly as it is and every number at its value, and give only the translation. Translate it into Japanese. --- Don't worry if you hit a snag on your first day: everyone does. Take it one step at a time, and ask Kenji if you get stuck. The Wi-Fi password is Orca-2291, and lunch is on us this Friday.
Sent with the AI translator's own instructions as the system prompt, as a free run of the tool sends them.
It must keep “2291”, be in the language asked for, and read back close to the original (chrF of at least 0.4).
How the AI translator's test inputs are scored, with every model's results on all five.
Every model's result
All 19 models on this test input, in catalog order.
| Model | Result | Cost | Time | Reply |
|---|---|---|---|---|
| Claude Fable 5.1Anthropic | Passed: Back-translation chrF 0.78 (pass at 0.4). | $0.0096 | 3.0 s | 108 tokens |
| Claude Opus 5.5Anthropic | Passed: Back-translation chrF 0.66 (pass at 0.4). | $0.0096 | 4.3 s | 100 tokens |
| Claude Sonnet 5.5Anthropic | Passed: Back-translation chrF 0.71 (pass at 0.4). | $0.0018 | 1.8 s | 100 tokens |
| Claude Sonnet 5Anthropic | Passed: Back-translation chrF 0.74 (pass at 0.4). | $0.0018 | 2.1 s | 100 tokens |
| Claude Haiku 5.5Anthropic | Passed: Back-translation chrF 0.53 (pass at 0.4). | $0.00016 | 1.9 s | 227 tokens |
| Claude Haiku 4.5Anthropic | Passed: Back-translation chrF 0.69 (pass at 0.4). | $0.00084 | 1.7 s | 100 tokens |
| GPT-6 AstraOpenAI | Passed: Back-translation chrF 0.64 (pass at 0.4). | $0.0036 | 2.0 s | 79 tokens |
| GPT-6.1 SolOpenAI | Passed: Back-translation chrF 0.69 (pass at 0.4). | $0.00071 | 1.5 s | 79 tokens |
| GPT-6 SolOpenAI | Passed: Back-translation chrF 0.64 (pass at 0.4). | $0.0014 | 2.8 s | 81 tokens |
| GPT-6 LunaOpenAI | Passed: Back-translation chrF 0.67 (pass at 0.4). | $0.000036 | 1.3 s | 80 tokens |
| Gemini 3.1 Pro (preview)Google | Passed: Back-translation chrF 0.71 (pass at 0.4). | $0.0058 | 8.5 s | 62 tokens |
| Gemini 3.8 FlashGoogle | Passed: Back-translation chrF 0.70 (pass at 0.4). | $0.00025 | 1.2 s | 69 tokens |
| DeepSeek V4.1 FlashDeepSeek | Passed: Back-translation chrF 0.77 (pass at 0.4). | $0.00047 | 1.7 s | 68 tokens |
| DeepSeek V4 ProDeepSeek | Passed: Back-translation chrF 0.75 (pass at 0.4). | $0.0025 | 6.6 s | 71 tokens |
| Grok 4.7xAI | Passed: Back-translation chrF 0.72 (pass at 0.4). | $0.0049 | 8.7 s | 54 tokens |
| Kimi K3Moonshot | Passed: Back-translation chrF 0.78 (pass at 0.4). | $0.0013 | 16.9 s | 93 tokens |
| GLM 5.3Z.ai | Passed: Back-translation chrF 0.76 (pass at 0.4). | $0.00048 | 0.9 s | 84 tokens |
| GLM 5.3 FlashZ.ai | Passed: Back-translation chrF 0.76 (pass at 0.4). | $0.000087 | 11.6 s | 75 tokens |
| Mistral Large 4Mistral | Passed: Back-translation chrF 0.67 (pass at 0.4). | $0.0048 | 31.5 s | 0 tokens |
Cost: what OpenRouter charged us for the reply. Time: from sending to the whole reply. Reply: its length in tokens, thinking not counted. In llmwise you pay per message, not per token: each of these replies counted as one message on Pro.
Every reply
Every reply passed: here they are from the cheapest up.
GPT-6 Luna
Passed: Back-translation chrF 0.67 (pass at 0.4).
初日にうまくいかないことがあっても、心配しないでください。誰でもそういうことはあります。一歩ずつ進めて、困ったらKenjiに聞いてください。Wi-FiのパスワードはOrca-2291です。今週の金曜日の昼食はこちらでごちそうします。
315 tokens in, 80 out · 1.3 s · $0.0000 · 1 message on Pro · answered by openai/gpt-6-luna via OpenAI ·
GLM 5.3 Flash
Passed: Back-translation chrF 0.76 (pass at 0.4).
初日にうまくいかなくても心配しないでください。誰にでもあります。一歩ずつ進んで、行き詰まったらKenjiに聞いてください。Wi-FiのパスワードはOrca-2291で、今週金曜日の昼食は私たちの奢りです。
327 tokens in, 75 out · 11.6 s · $0.0001 · 1 message on Pro · answered by z-ai/glm-5.3-flash via Parasail ·
Claude Haiku 5.5
Passed: Back-translation chrF 0.53 (pass at 0.4).
初日につまずいても心配いりません。誰でも経験することです。一つずつ落ち着いて進めてください。困ったときはKenjiに聞いてくださいね。Wi-Fiのパスワードはthe Orca-2291です。今週の金曜日はランチをごちそうします。 note: correction needed - I should not have added "the" before Orca-2291. Corrected version: 初日につまずいても心配いりません。誰でも経験することです。一つずつ落ち着いて進めてください。困ったときはKenjiに聞いてくださいね。Wi-Fiのパスワードは Orca-2291 です。今週の金曜日はランチをごちそうします。
418 tokens in, 227 out · 1.9 s · $0.0002 · 1 message on Pro · answered by anthropic/claude-haiku-5.5 via Anthropic ·
Gemini 3.8 Flash
Passed: Back-translation chrF 0.70 (pass at 0.4).
初日にうまくいかないことがあっても心配しないでください。誰にでもあることです。一歩ずつ進めていき、もし行き詰まったらKenjiに聞いてみてください。Wi-FiのパスワードはOrca-2291です。それから、今週の金曜日のランチはこちらでごちそうします。
330 tokens in, 69 out · 1.2 s · $0.0003 · 1 message on Pro · answered by google/gemini-3.8-flash via Google AI Studio ·
DeepSeek V4.1 Flash
Passed: Back-translation chrF 0.77 (pass at 0.4).
初日にちょっとつまずいても心配しないで。誰にでもあることだから。一歩ずつ進めて、困ったらKenjiに聞いてね。Wi-FiのパスワードはOrca-2291、今週の金曜日のランチは私たちがおごります。
343 tokens in, 365 out (297 of them reasoning) · 1.7 s · $0.0005 · 1 message on Pro · answered by deepseek/deepseek-v4.1-flash via Together ·
GLM 5.3
Passed: Back-translation chrF 0.76 (pass at 0.4).
初日にうまくいかなくても心配しないでください。誰にでもあることです。一歩ずつ進めていき、行き詰まったら健二（Kenji）に聞いてください。Wi-FiのパスワードはOrca-2291で、今週の金曜日のランチは私たちのおごりです。
327 tokens in, 84 out · 0.9 s · $0.0005 · 1 message on Pro · answered by z-ai/glm-5.3 via Friendli ·
GPT-6.1 Sol
Passed: Back-translation chrF 0.69 (pass at 0.4).
初日にうまくいかないことがあっても心配しないでください。誰にでもあることです。一つずつ進めて、困ったらKenjiに聞いてください。Wi-FiのパスワードはOrca-2291です。今週の金曜日のランチは私たちがおごります。
315 tokens in, 79 out · 1.5 s · $0.0007 · 1 message on Pro · answered by openai/gpt-6.1-sol via OpenAI ·
Claude Haiku 4.5
Passed: Back-translation chrF 0.69 (pass at 0.4).
初日にうまくいかないことがあっても心配しないでください。誰もが経験します。一歩ずつ進めていって、わからなくなったらケンジに聞いてください。Wi-Fiのパスワードは Orca-2291 で、今週の金曜日はランチをこちらで用意します。
335 tokens in, 100 out · 1.7 s · $0.0008 · 1 message on Pro · answered by anthropic/claude-haiku-4.5 via Anthropic ·
Kimi K3
Passed: Back-translation chrF 0.78 (pass at 0.4).
初日につまずいても心配しないでください。誰でもそういうものです。一歩ずつ進めて、行き詰まったらKenjiに聞いてください。Wi-FiのパスワードはOrca-2291で、今週の金曜日のランチはこちらのおごりです。
402 tokens in, 110 out (17 of them reasoning) · 16.9 s · $0.0013 · 1 message on Pro · answered by moonshotai/kimi-k3 via Wafer ·
GPT-6 Sol
Passed: Back-translation chrF 0.64 (pass at 0.4).
--- 初日にうまくいかないことがあっても心配しないでください。誰にでもあることです。一つずつ進めて、困ったらKenjiに聞いてください。Wi-FiのパスワードはOrca-2291です。今週の金曜日の昼食はこちらでごちそうします。
315 tokens in, 224 out (143 of them reasoning) · 2.8 s · $0.0014 · 1 message on Pro · answered by openai/gpt-6-sol via OpenAI ·
Claude Sonnet 5
Passed: Back-translation chrF 0.74 (pass at 0.4).
初日にうまくいかないことがあっても心配しないでください。誰もが通る道です。一歩ずつ進めて、行き詰まったらKenjiに聞いてください。Wi-FiのパスワードはOrca-2291で、今週金曜日のランチは会社のおごりです。
416 tokens in, 100 out · 2.1 s · $0.0018 · 1 message on Pro · answered by anthropic/claude-sonnet-5 via Anthropic ·
Claude Sonnet 5.5
Passed: Back-translation chrF 0.71 (pass at 0.4).
初日につまずいても心配しないでください。誰でもそうですから。一歩ずつ進めていきましょう。困ったらKenjiに聞いてください。Wi-Fiのパスワードは Orca-2291 です。そして今週の金曜日のランチは私たちがごちそうします。
418 tokens in, 100 out · 1.8 s · $0.0018 · 1 message on Pro · answered by anthropic/claude-sonnet-5.5 via Anthropic ·
DeepSeek V4 Pro
Passed: Back-translation chrF 0.75 (pass at 0.4).
初日に問題が起きても心配しないでください。誰でもそういうものです。一歩ずつ進めて、行き詰まったらKenjiに聞いてください。Wi-FiのパスワードはOrca-2291で、今週の金曜日のランチは私たちがごちそうします。
317 tokens in, 606 out (535 of them reasoning) · 6.6 s · $0.0025 · 1 message on Pro · answered by deepseek/deepseek-v4-pro-0813 via Wafer ·
GPT-6 Astra
Passed: Back-translation chrF 0.64 (pass at 0.4).
初日にうまくいかないことがあっても心配しないでください。誰にでもあることです。一つずつ進めて、困ったらKenjiに聞いてください。Wi-FiのパスワードはOrca-2291です。今週の金曜日のランチは私たちがおごります。
315 tokens in, 79 out · 2.0 s · $0.0036 · 1 message on Pro · answered by openai/gpt-6-astra via OpenAI ·
Mistral Large 4
Passed: Back-translation chrF 0.67 (pass at 0.4).
初日につまずいても心配しないでください。誰にでもあることです。一歩ずつ進めていきましょう。困ったらKenjiに聞いてください。Wi-FiのパスワードはOrca-2291です。今週の金曜日はランチをごちそうします。
320 tokens in, 2,200 out (2,318 of them reasoning) · 31.5 s · $0.0048 · 1 message on Pro · answered by mistralai/mistral-large-4-0 via Mistral ·
Grok 4.7
Passed: Back-translation chrF 0.72 (pass at 0.4).
初日にちょっとつまずいても心配しないで。誰にでもあることです。一歩ずつ進めて、困ったらKenjiに聞いてください。Wi-FiのパスワードはOrca-2291で、今週の金曜日のランチは私たちのおごりです。
1,553 tokens in, 589 out (535 of them reasoning) · 8.7 s · $0.0049 · 1 message on Pro · answered by x-ai/grok-4.7 via xAI ·
Gemini 3.1 Pro
Passed: Back-translation chrF 0.71 (pass at 0.4).
初日につまずいても心配しないでください。誰もが経験することです。焦らず一つずつ進めて、行き詰まったらKenjiに聞いてください。Wi-FiのパスワードはOrca-2291です。今週の金曜日のランチはこちらでごちそうします。
330 tokens in, 906 out (844 of them reasoning) · 8.5 s · $0.0058 · 1 message on Pro · answered by google/gemini-3.1-pro-preview via Google AI Studio ·
Claude Fable 5.1
Passed: Back-translation chrF 0.78 (pass at 0.4).
初日にちょっとしたつまずきがあっても心配しないでください。誰でもそうなるものです。一歩ずつ進めていき、行き詰まったらKenjiに聞いてください。Wi-Fiのパスワードは Orca-2291 で、今週の金曜日のランチは私たちがおごります。
418 tokens in, 108 out · 3.0 s · $0.0096 · 1 message on Pro · answered by anthropic/claude-fable-5.1 via Google ·
Claude Opus 5.5
Passed: Back-translation chrF 0.66 (pass at 0.4).
初日につまずいても心配いりません。誰でもそうですから。一歩ずつ進めていけば大丈夫です。困ったときはKenjiに聞いてください。Wi-FiのパスワードはOrca-2291です。今週の金曜日のランチはこちらでご馳走します。
418 tokens in, 397 out (297 of them reasoning) · 4.3 s · $0.0096 · 1 message on Pro · answered by anthropic/claude-opus-5.5 via Google ·
More AI translator test inputs
The other AI translator test inputs, each with every model's reply, and the results across all five.
Questions
Which AI does best on “Idioms in a welcome note, into Japanese”?
All 19 models passed this AI translator test input's check (back-translation). The cheapest reply that passed was GPT-6 Luna's, at $0.000036; the fastest, GLM 5.3's in 0.9 s. The dearest reply, Claude Opus 5.5's, cost 269 times as much ($0.0096).
What does a reply to “Idioms in a welcome note, into Japanese” cost?
Through the models' APIs, what OpenRouter charged us ran from $0.000036 (GPT-6 Luna) to $0.0096 (Claude Opus 5.5) for this test input. In llmwise you don't pay by the token: a reply like these counts as one message on Pro, whichever model answers.
Claude, GPT, Gemini, DeepSeek, Grok, Kimi, GLM, and Mistral, in one chat.
See what a message costs before you send it. Free is 5 messages to try; sign in with an email link, no password or card.