Tested prompt · Translation
Idioms into natural Japanese: every AI model's reply, tested
We sent this hard translation prompt to all 16 models in llmwise, the same way the app sends a message, and checked every reply the same way. Here's each one as it came, with whether it passed, what it cost and how long it took.
Based on 16 of our test runs on , through OpenRouter with the app's own prompt and settings. Updated .
Short answer
15 of 16 models passed this translation prompt's check (back-translation); GPT-6 Sol didn't. The cheapest reply that passed was GLM 5.3 Flash's, at $0.000087; the fastest, GPT-6 Luna's in 1.6 s. The dearest reply, Claude Fable 5.1's, cost 249 times as much ($0.0217).
The prompt, as sent, and its check
Checked by back-translation, the same way for every model.
Idioms into natural Japanese (hard)
Translate this into natural Japanese for a business email. Convey what the idioms mean rather than translating them word for word, and keep the numbers.
Kenji, thanks for jumping in at the last minute. The new hire hit the ground running, so we're ahead of schedule. Can you give me a ballpark figure for the Osaka launch budget by the 20th? No need to boil the ocean: a rough number within 10% is fine.
It must keep “20”, “10%”, be in the language asked for, and read back close to the original (chrF of at least 0.4).
Exactly what this prompt's replies are checked against, with every other prompt of our test runs.
Every model's result
All 16 models on this prompt, in catalog order.
| Model | Result | Cost | Time | Reply |
|---|---|---|---|---|
| Claude Fable 5.1Anthropic | Passed: Back-translation chrF 0.51 (pass at 0.4). | $0.0217 | 8.5 s | 288 tokens |
| Claude Opus 5.5Anthropic | Passed: Back-translation chrF 0.42 (pass at 0.4). | $0.0062 | 3.6 s | 166 tokens |
| Claude Sonnet 5.5Anthropic | Passed: Back-translation chrF 0.54 (pass at 0.4). | $0.0046 | 2.9 s | 317 tokens |
| Claude Sonnet 5Anthropic | Passed: Back-translation chrF 0.42 (pass at 0.4). | $0.0028 | 4.1 s | 161 tokens |
| Claude Haiku 4.5Anthropic | Passed: Back-translation chrF 0.63 (pass at 0.4). | $0.0019 | 3.3 s | 291 tokens |
| GPT-6 AstraOpenAI | Passed: Back-translation chrF 0.44 (pass at 0.4). | $0.0100 | 3.2 s | 114 tokens |
| GPT-6 SolOpenAI | Failed: Back-translation chrF 0.40 (pass at 0.4); reads back too far from the original. | $0.0021 | 2.4 s | 121 tokens |
| GPT-6 LunaOpenAI | Passed: Back-translation chrF 0.55 (pass at 0.4). | $0.00010 | 1.6 s | 113 tokens |
| Gemini 3.1 Pro (preview)Google | Passed: Back-translation chrF 0.46 (pass at 0.4). | $0.0118 | 10.3 s | 91 tokens |
| Gemini 3.8 FlashGoogle | Passed: Back-translation chrF 0.44 (pass at 0.4). | $0.00078 | 4.7 s | 117 tokens |
| DeepSeek V4.1 FlashDeepSeek | Passed: Back-translation chrF 0.49 (pass at 0.4). | $0.00032 | 3.8 s | 122 tokens |
| DeepSeek V4 ProDeepSeek | Passed: Back-translation chrF 0.63 (pass at 0.4). | $0.0015 | 4.7 s | 92 tokens |
| Grok 4.7xAI | Passed: Back-translation chrF 0.51 (pass at 0.4). | $0.0048 | 10.0 s | 68 tokens |
| Kimi K3Moonshot | Passed: Back-translation chrF 0.47 (pass at 0.4). | $0.0053 | 5.2 s | 264 tokens |
| GLM 5.3Z.ai | Passed: Back-translation chrF 0.49 (pass at 0.4). | $0.0012 | 1.7 s | 199 tokens |
| GLM 5.3 FlashZ.ai | Passed: Back-translation chrF 0.44 (pass at 0.4). | $0.000087 | 4.8 s | 102 tokens |
Cost: what OpenRouter charged us for the reply. Time: from sending to the whole reply. Reply: its length in tokens, thinking not counted. In llmwise you pay per message, not per token: each of these replies counted as one message on Pro.
Every reply
The reply that failed first, then the ones that passed, from the cheapest up.
GPT-6 Sol
Failed: Back-translation chrF 0.40 (pass at 0.4); reads back too far from the original.
健二さん 急なお願いにもかかわらず、ご対応いただきありがとうございます。新しく入った方が早速活躍してくれているおかげで、予定より順調に進んでいます。 大阪での立ち上げにかかる予算の概算を、20日までに教えていただけますか。細かく積み上げる必要はなく、実際の金額との差が10％以内に収まる程度の数字で大丈夫です。 よろしくお願いいたします。
431 tokens in, 121 out · 2.4 s · $0.0021 · 1 message on Pro · answered by openai/gpt-6-sol via OpenAI ·
GLM 5.3 Flash
Passed: Back-translation chrF 0.44 (pass at 0.4).
健司さん、急なお願いにもかかわらず引き受けていただき、ありがとうございます。新しいメンバーがすぐに戦力となって活躍してくれたおかげで、予定より早く進んでいます。大阪での立ち上げにかかる予算のおおよその金額を、20日までに教えていただけますか。詳細まで作り込む必要はありません。誤差10%以内程度の概算で十分です。
447 tokens in, 102 out · 4.8 s · $0.0001 · 1 message on Pro · answered by z-ai/glm-5.3-flash via AtlasCloud ·
GPT-6 Luna
Passed: Back-translation chrF 0.55 (pass at 0.4).
健司さん、直前の依頼に対応してくれてありがとうございます。新しく入ったメンバーが早速活躍してくれたおかげで、予定より前倒しで進んでいます。20日までに、大阪でのローンチにかかる予算の概算を出してもらえますか。細部まで詰める必要はありません。10％以内の誤差であれば、大まかな金額で大丈夫です。
431 tokens in, 113 out · 1.6 s · $0.0001 · 1 message on Pro · answered by openai/gpt-6-luna via OpenAI ·
DeepSeek V4.1 Flash
Passed: Back-translation chrF 0.49 (pass at 0.4).
健二さん 直前のお願いにもかかわらず、快く引き受けてくださりありがとうございます。新人が初日からすぐに戦力として動いてくれたおかげで、予定より前倒しで進んでいます。 つきましては、20日までに大阪ローンチの概算予算を教えていただけますか。細部まで詰めていただく必要はありませんので、±10%以内のラフな数字で構いません。 よろしくお願いいたします。
471 tokens in, 373 out (251 of them reasoning) · 3.8 s · $0.0003 · 1 message on Pro · answered by deepseek/deepseek-v4.1-flash via StreamLake ·
Gemini 3.8 Flash
Passed: Back-translation chrF 0.44 (pass at 0.4).
Here is a natural Japanese translation suitable for a business email: Kenjiさん 急なご依頼にもかかわらず、直ちにご対応いただきありがとうございます。 新入社員がすぐに業務に慣れて力を発揮してくれたおかげで、進捗は予定よりも前倒しで進んでいます。 つきましては、大阪での立ち上げ予算について、20日までに概算を教えていただけますでしょうか。 細部まで完璧に詰めていただく必要はありませんので、誤差10%程度のざっくりとした数字で問題ございません。 よろしくお願いいたします。
458 tokens in, 117 out · 4.7 s · $0.0008 · 1 message on Pro · answered by google/gemini-3.8-flash via Google ·
GLM 5.3
Passed: Back-translation chrF 0.49 (pass at 0.4).
Kenjiさん 直前のお願いにもかかわらず、引き受けていただきありがとうございます。新入社員が期待以上に早く戦力になってくれたおかげで、現在予定より進んでいます。大阪ローンチの予算について、20日までに概算の数字をいただけますか?厳密な精度は求めていませんので、±10%程度の概略の数字で結構です。 よろしくお願いいたします。 --- 主な意訳のポイント: - "jumping in at the last minute" → 直前の依頼に応じてもらったことへのお礼として表現 - "hit the ground running" → 「期待以上に早く戦力になった」 - "boil the ocean" → 「厳密な精度は求めていない」と簡潔に言い換え - "ballpark figure" → 「概算」
470 tokens in, 200 out (1 of them reasoning) · 1.7 s · $0.0012 · 1 message on Pro · answered by z-ai/glm-5.3 via Wafer ·
DeepSeek V4 Pro
Passed: Back-translation chrF 0.63 (pass at 0.4).
賢治さん、土壇場で対応していただきありがとうございます。新入社員も初日から順調に仕事を進めてくれて、予定より前倒しで進んでいます。 大阪ローンチの予算について、20日までに概算をいただけますか。細かく詰めなくて結構です。±10%程度の大まかな数字で十分です。
443 tokens in, 236 out (144 of them reasoning) · 4.7 s · $0.0015 · 1 message on Pro · answered by deepseek/deepseek-v4-pro-0813 via SiliconFlow ·
Claude Haiku 4.5
Passed: Back-translation chrF 0.63 (pass at 0.4).
Here's a natural Japanese translation for a business email: --- 健二へ 急な対応をしていただき、ありがとうございました。新しいメンバーが即座に活躍してくれたおかげで、スケジュールより前に進んでいます。20日までに大阪ローンチの予算について、ざっくりした数字をいただけますか？細かい詳細は不要です。誤差10%程度の概算で問題ありません。 --- **Key choices:** - 「jumping in at the last minute」→ 「急な対応をしていただき」(responded promptly to an urgent request) - 「hit the ground running」→ 「即座に活躍してくれた」(performed excellently right away) - 「ballpark figure」→ 「ざっくりした数字」(rough number) - 「boil the ocean」→ 「細かい詳細は不要です」(no need for extensive details) combined with the explicit tolerance for 10% margin - Kept the date (20日) and percentage (10%) as requested
464 tokens in, 291 out · 3.3 s · $0.0019 · 1 message on Pro · answered by anthropic/claude-haiku-4.5 via Amazon Bedrock ·
Claude Sonnet 5
Passed: Back-translation chrF 0.42 (pass at 0.4).
ケンジさん 急なお願いにもかかわらず対応いただき、ありがとうございました。新しく入ったメンバーが早々に力を発揮してくれているおかげで、予定より前倒しで進んでいます。 大阪でのローンチにかかる予算について、20日までにおおよその金額を教えていただけますか。厳密な精査までは不要で、10%程度の誤差があってもざっくりとした数字で構いません。 よろしくお願いいたします。
594 tokens in, 161 out · 4.1 s · $0.0028 · 1 message on Pro · answered by anthropic/claude-sonnet-5 via Claude Platform on AWS ·
Claude Sonnet 5.5
Passed: Back-translation chrF 0.54 (pass at 0.4).
健二さん 直前にもかかわらずご対応いただき、ありがとうございました。新入社員がすぐに戦力として活躍してくれたおかげで、予定より早く進んでいます。 つきましては、大阪ローンチの予算について、20日までにおおよその金額を教えていただけますでしょうか。細かく詰める必要はなく、誤差10%以内の概算で問題ございません。 どうぞよろしくお願いいたします。 **補足(意訳のポイント)** - *jumping in at the last minute* → 「直前にもかかわらずご対応いただき」 - *hit the ground running* → 「すぐに戦力として活躍してくれた」 - *ahead of schedule* → 「予定より早く進んでいます」 - *ballpark figure* → 「おおよその金額」 - *boil the ocean* → 「細かく詰める必要はなく」(完璧を求めすぎなくてよい、という意味)
598 tokens in, 317 out · 2.9 s · $0.0046 · 1 message on Pro · answered by anthropic/claude-sonnet-5.5 via Anthropic ·
Grok 4.7
Passed: Back-translation chrF 0.51 (pass at 0.4).
Kenjiさん 直前に対応いただき、ありがとうございます。新しいメンバーがすぐに戦力になってくれたので、予定より前倒しで進んでいます。大阪ローンチの予算について、20日までに概算をいただけますか。細かく詰める必要はありません。誤差10%以内の大まかな数字で問題ありません。
1,665 tokens in, 800 out (732 of them reasoning) · 10.0 s · $0.0048 · 1 message on Pro · answered by x-ai/grok-4.7 via xAI ·
Kimi K3
Passed: Back-translation chrF 0.47 (pass at 0.4).
健二さん 急な依頼に快く対応してくださり、ありがとうございます。新入社員も早速戦力として活躍してくれているおかげで、予定より前倒しで進んでいます。 つきましては、大阪ローンチの予算について、20日までに概算の金額を教えていただけますか。細かく精緻に作り込む必要はありません。誤差10%以内の大まかな数字で十分です。 よろしくお願いいたします。 --- Notes on the idioms: - "jumping in at the last minute" → 急な依頼に快く対応 (readily helping on short notice) - "hit the ground running" → 早速戦力として活躍 (became productive immediately) - "ballpark figure" → 概算の金額 (rough estimate) - "boil the ocean" → 細かく精緻に作り込む必要はありません (no need to over-engineer / do excessive work)
519 tokens in, 269 out (5 of them reasoning) · 5.2 s · $0.0053 · 1 message on Pro · answered by moonshotai/kimi-k3 via Together ·
Claude Opus 5.5
Passed: Back-translation chrF 0.42 (pass at 0.4).
ケンジさん 急なお願いにもかかわらず、ご対応いただきありがとうございました。新しく入社された方がすぐに戦力として活躍してくださったおかげで、予定より前倒しで進んでいます。 つきましては、大阪での立ち上げにかかる予算について、20日までにおおよその金額をお知らせいただけますでしょうか。細部まで詰める必要はございません。誤差10%程度の概算で結構です。 よろしくお願いいたします。
596 tokens in, 166 out · 3.6 s · $0.0062 · 1 message on Pro · answered by anthropic/claude-opus-5.5 via Claude Platform on AWS ·
GPT-6 Astra
Passed: Back-translation chrF 0.44 (pass at 0.4).
健二さん 急なお願いにもかかわらず、ご対応いただきありがとうございます。新しく入ったメンバーが早速活躍してくれているおかげで、予定より早く進んでいます。 大阪での立ち上げ予算について、20日までに概算をいただけますか。細部まで詰めていただく必要はなく、誤差が10%以内に収まる程度の概算で問題ありません。 よろしくお願いいたします。
431 tokens in, 114 out · 3.2 s · $0.0100 · 1 message on Pro · answered by openai/gpt-6-astra via OpenAI ·
Gemini 3.1 Pro
Passed: Back-translation chrF 0.46 (pass at 0.4).
健司さん 急なお願いにもかかわらずご対応いただき、ありがとうございます。 新入社員が即戦力として活躍してくれているおかげで、予定よりも前倒しで進んでいます。 20日までに、大阪でのローンチ予算の概算を教えていただけますでしょうか。 細部まで完璧に仕上げる必要はありませんので、誤差10%以内の大まかな数字で問題ありません。 よろしくお願いいたします。
458 tokens in, 908 out (817 of them reasoning) · 10.3 s · $0.0118 · 1 message on Pro · answered by google/gemini-3.1-pro-preview via Google ·
Claude Fable 5.1
Passed: Back-translation chrF 0.51 (pass at 0.4).
健二さん 急なお願いにもかかわらず、直前で対応いただきありがとうございました。新しく入ったメンバーが早速戦力になってくれており、予定より前倒しで進んでいます。 大阪でのローンチ予算について、20日までに概算をいただけますでしょうか。細かく詰めていただく必要はなく、±10%程度の大まかな数字で結構です。 よろしくお願いいたします。 --- **Idiom handling notes:** - "jumping in at the last minute" → 急なお願い／直前で対応 (stepping in on short notice) - "hit the ground running" → 早速戦力になってくれて (became productive right away) - "ballpark figure" → 概算 (rough estimate) - "boil the ocean" → 細かく詰めていただく必要はなく (no need to go into exhaustive detail)
596 tokens in, 288 out · 8.5 s · $0.0217 · 1 message on Pro · answered by anthropic/claude-fable-5.1 via Anthropic ·
More translation prompts
The other translation prompts, each with every model's reply, and the results across all five.
Questions
Which AI does best on “Idioms into natural Japanese”?
15 of 16 models passed this translation prompt's check (back-translation); GPT-6 Sol didn't. The cheapest reply that passed was GLM 5.3 Flash's, at $0.000087; the fastest, GPT-6 Luna's in 1.6 s. The dearest reply, Claude Fable 5.1's, cost 249 times as much ($0.0217).
What does a reply to “Idioms into natural Japanese” cost?
Through the models' APIs, what OpenRouter charged us ran from $0.000087 (GLM 5.3 Flash) to $0.0217 (Claude Fable 5.1) for this prompt. In llmwise you don't pay by the token: a reply like these counts as one message on Pro, whichever model answers.
Claude, GPT, Gemini, DeepSeek, Grok, Kimi, and GLM, in one chat.
See what a message costs before you send it. Free is 5 messages to try; sign in with an email link, no password or card.