ポケトーク 翻訳アプリと比較

VoiceTra(ボイストラ)アプリの翻訳精度を翻訳機ポケトークと比較

VoiceTra(ボイストラ)は、国立研究開発法人 情報通信研究機構(NICT)が音声認識、翻訳、音声合成技術の研究の一環として開発・提供している無料のスマホ用翻訳アプリです。日本語と外国語(2019年5月現在、31言語)間で双方向の翻訳をすることができます。

現在機械翻訳の主流となっているニューラル翻訳(Google翻訳、Microsoft翻訳、Baidu翻訳など、多くの翻訳エンジンが採用している機械翻訳の手法)では、対訳データが多ければ多いほど高い翻訳精度(翻訳の正確さ)を得ることができますが、VoiceTraを開発しているNICTは、日本で最大の対訳データを持っています。

また、さらに翻訳精度を上げるために、自動車関係、金融関係、観光関係など様々な企業・団体から対訳データを収集する「翻訳バンク」プロジェクトも立ち上げています。

日本製の翻訳アプリなので、日本語ー外国語間を翻訳するアプリとして一番高い翻訳精度を期待したいところですが、果たしてVoiceTraの翻訳精度はどれほどのものなのか、VoiceTraアプリの翻訳結果を翻訳機の代表「ポケトークW」の翻訳結果と比較して検証してみました。(中国語に関しては初代ポケトークと比較しています)

翻訳機「ポケトークW」

 

 

 

VoiceTra(ボイストラ)の機能・使い方

VoiceTraアプリは、App StoreまたはGoogle Playストアから無料でダウンロードして利用できます。

▼アプリを起動すると、以下のような画面(トップ画面)が表示されます。

VoiceTraの機能はこのトップ画面で利用できる音声翻訳機能のみ。そのためボタンも少なく、シンプルで使いやすいです。

▼マイクボタン(黄色い丸で囲った部分)を押して話すだけで、話した言葉を左側に設定した言語に翻訳して、音声出力とテキスト表示をしてくれます。もちろん、外国語から日本語への翻訳も可能です。(外国語同士の翻訳はできません)

 

▼試しに、日本語で”こんにちは”と話して翻訳してみました。翻訳結果は以下画像のように表示されます(左画像)。話した言葉が正しく認識されなかった場合は、赤枠で囲ったボタンをタップすれば手入力で修正できます(右画像)。

 

▼VoiceTraアプリには、他の翻訳アプリにはない「誤り報告」機能があります。音声認識結果や翻訳結果が間違っていた場合は、黄色で囲った「誤り報告」ボタンをタップして、「誤り報告」画面で間違っている部分にチェックを入れて報告することで、翻訳結果の改善に協力することができます。

他の翻訳アプリでは誤りを報告することができないので、もっと性能が向上して欲しいと思っても、翻訳アプリが利用している翻訳エンジンが自分で勝手に学習して翻訳精度が上がっていくのを待つことしかできません。一方VoiceTraでは実際に使った人が誤りを報告できるので、多くの人がVoiceTraを使って誤りを報告することで、より自然で正確な翻訳ができる翻訳アプリへと進化していくことが期待できます。

この取り組みがうまくいけば、日本語⇔外国語翻訳の翻訳精度に関してはVoiceTraが一番!となるかもしれません。

 

翻訳精度を検証

では、VoiceTraアプリの翻訳精度を検証してみましょう。

日本語を英語に5文、日本語を中国語に5文、計10の文章を翻訳して、以下の規準で採点します。

▼採点基準

5点 完璧な翻訳。意味が通じ、なめらかで自然な文章になっている。
4点 多少不自然な点はあるものの、意味はしっかり通じる。
3点 なんとか全体の意味が理解できる
2点 意味が分かりにくい、一部しか理解できない
1点 意味が分からない
0点 そもそも翻訳できない

日本語から英語の翻訳で5点満点×5点で25点満点、日本語から中国語への翻訳も5点満点×5点で25点満点で、合計50点満点で評価します。ポケトークWで同じ文章を翻訳した時の点数と比較して、VoiceTraとポケトークW、どちらの方が翻訳精度が高いのか比較してみます。

※文章選定と、翻訳者による翻訳結果は、JTBパブリッシング発行の「ひとり歩きの会話集 英語」と「ひとり歩きの会話集 中国語」を参考にさせていただきました。

 

日本語から英語への翻訳精度をポケトークWと比較

1.少し気分が悪いのです。酔い止めの薬をください

翻訳者による翻訳I don’t feel well.Can I have some medicine for motion sickness?

ポケトークWI feel a little sick. Please give me some sickness stop medicine.

私は少し気分が悪いです。 病気を止める薬を飲ませてください。 3点

VoiceTraI feel a little sick. I would like medicine for sea sickness please.

私は少し気分が悪いです。船酔いの薬をください。 3点

採点の理由

全体的にほぼ正確なのですが、”酔い止めの薬をください”を「船酔いの薬をください」と訳してしまっています。意味は伝わると思いますので、3点としました。

 

2.冬は、日本北部や山間部で雪が降ります

翻訳者による翻訳In winter we have snowfall in the northern part of Japan and in the moutainous regions.

ポケトークWIt will snow in northern Japan and mountainous areas in winter.

冬には北日本や山間部で雪が降ります。 5点

VoiceTraIn winter, it snows in two north and mountain areas.

冬には、北部と山間部2つの地域で雪が降ります。 2点

採点の理由

VoiceTraの翻訳結果がかなりおかしくなってしまっているのは、音声認識がうまくいかなかったためです。”日本”と話したところが、「二本」と認識されてしまいました。「日本」はとても重要な単語なので、しっかり識別できるように改善してもらいたいところです。

 

3.この処方箋をもって薬局に行き、薬を買ってください

翻訳者による翻訳Take this prescription to a pharmacy and have it filled.

ポケトークWPlease go to the pharmacy with this prescription and buy some medicine.

この処方箋を持って薬局に行き、薬を買ってください。 4点

VoiceTraTake this prescription to the pharmacy and buy some medicine.

この処方箋を薬局に持っていき、薬を買ってください。 4点

採点の理由

VoiceTraの翻訳は翻訳者による翻訳と表現は違いますが、ほぼ正確に意味を伝える翻訳結果になっています。ただし、”処方箋通りに薬を買う”という日本語のニュアンスをとらえきれていないため、4点としました。

 

4.卵アレルギーなので特別料理をお願いします

翻訳者による翻訳I am allergic to eggs. Can you make something different for me?

ポケトークWBecause I am allergic to eggs. I’d like a special meal.

私は卵にアレルギーがあるからです。わたしは特別な食事が好きです。 3点

VoiceTraI am allergic to eggs, so please give me special dishes.

私は卵アレルギーなので、特別料理をください。 5点

採点の理由

ポケトークWは翻訳に苦戦していますが、VoiceTraはかなり原文に忠実に翻訳できています。欲を言えば、”卵アレルギーなので卵の入っていない別の料理を作ってほしい”というニュアンスを含めることができれば完璧なのですが、翻訳アプリにそこまで求めるのは無理だと思いますのでこれで満点としました。

 

5.まず第一に、先ほど申し上げました通り、顧客の資産の保護というところを第一に動いております。その次に原因の調査、感染経路であったり、何が原因だったのかというところを調査し、その結果をご報告させてもらえればと思います。

翻訳者による翻訳First of all, as I said before, the protection of our customers’ assets is our top priority. And then you have things like root-cause investigation, how it was hacked, and the cause of all this. That’s what we intend to investigate, and we’ll report the result later.

ポケトークW
First of all, as I mentioned earlier, we are moving primarly to protect customer's assets. Next investigate the cause investigate the route of infection and what was the cause and then report the results I hope to report it.

まず最初に述べたように、わたしたちは顧客の資産を保護するためにまず動いています。次に、原因を調査して感染経路を調査し、その原因とその結果を報告し、報告することを希望します。 4点

VoiceTraFirst of all, as I mentioned earlier, we are on the ground to protect clients'assets.Next, it is the cause of the~(ここまで)

まず第一に、先ほど述べたように、私たちは顧客の資産を保護するところにおります。その次に、原因の~ 1点

採点の理由

長文の翻訳が可能かどうかも検証してみましたが、”まず第一に先ほど申し上げました通り顧客の資産の保護というところを大地に動いております。その次に原因の調査感染経路であったり”までしか認識してくれませんでした。VoiceTraは、日本語入力の場合60文字程度までの文章しか翻訳できないようです。

また、2番目の”第一に”という言葉を「大地に」と認識してしまったため、翻訳結果も意味が分かりにくいものになってしまいました。

意味は何となく分かりますが、途中までしか翻訳できず音声認識もうまくいきませんでしたので少々厳しいようですが1点としました。

 

日本語から英語への翻訳精度検証結果まとめ

VoiceTraアプリで日本語から英語への翻訳を5文行った結果、点数の合計は25点満点中14点という結果になりました。

ポケトークWは、同じ文章の翻訳で点数の合計が25点満点中18点でしたので、日本語から英語の翻訳に関しては、VoiceTraよりポケトークWの方が翻訳精度が高いと言えそうです。

 

 

 

日本語から中国語への翻訳精度をポケトークと比較

1.結構です。この申告書を出口の係官に渡してください

翻訳者による翻訳行了。把这张申报单给出口的管理人员。

初代ポケトーク好的,请把这个申报单交给出口的负责人。

はい、この申告書を出口の担当者に渡してください。 5点

VoiceTra够了!请交给这个申报出口的负责人。

もうたくさんだ!この申告書を出口の担当者に渡してください。 3点

採点の理由

”結構です”という言葉が「もうたくさんだ!」というような強い否定を意味する言葉に翻訳されています。”結構です”は幾つかの意味を持つ翻訳しにくい言葉ですが、ここまで強い否定の言葉に翻訳されてしまうと相手に対して失礼になってしまうかもしれません。後半は完璧な翻訳ですが、前半で2点減点ということで3点としました。

 

2.名前は鈴木太郎、6月10日のCA925便、東京行きです

翻訳者による翻訳名字是铃木太郎,6月10号,CA925飞往东京的航班。

初代ポケトーク名字是铃木太郎,6月10日的CA925航班到东京。

名前は鈴木太郎、6月10日のCA925便、東京行きです。 5点

VoiceTra名字是鲈鱼次郎六月十日去往东京的CA九百二十五次航班。

名前は鱸魚次郎。6月10日の東京行き、CA925便です。 3点

採点の理由

”鈴木太郎”という超メジャーな姓と名を組み合わせた名前が、鱸魚次郎(すずきうお・じろう?)という謎の名前に翻訳されてしまっています。機械翻訳は固有名詞の翻訳を苦手としているとはいえ、メジャーな名前くらいはきちんと訳せて欲しいところです。後半はしっかり訳せていますが、前半で2点減点で3点としました。

 

3.8時に予約した佐藤です。すみません、予約を取り消したいのですが。

翻訳者による翻訳我叫佐藤,八点订了做。对不起,我想取消预订。

初代ポケトーク我想取消预约,8点预约的佐藤。

予約をキャンセルしたいです。8時に予約した佐藤です。 4点

VoiceTra我想取消预订在八点的佐藤的预定。

8時の佐藤の予約をキャンセルしたいです。 4点

採点の理由

かなり不自然な言い回しで、”すみません”が翻訳されていませんが、意味は正確に分かりますので4点としました。

 

4.できません。お持ちの航空券の未使用区間は日本で払い戻しを受けてください

翻訳者による翻訳不行。请在日本领取您的未使用机票的退款。

初代ポケトーク不能使用的飞机票使用区间请在日本退钱。

 使えません。航空券の使用区間は日本で払い戻しをしてください。 3点

VoiceTra不能使用的机票请在日本退款。

使用できない航空券は日本で払い戻しを受けてください。 4点

採点の理由

音声認識に問題があり、”未使用区間”と話した言葉が「み使用区間」と間違って認識されてしまったのですが、正確な意味に翻訳されています。”できません”が翻訳されていませんが、意味が正確なので4点としました。

 

5.中国人の名前をじっくり眺めてみたら、きっと興味深い発見にたくさん出会えるはずです。名前によっては、一目見ただけでその人の年齢と素性がだいたい分かることがあります。

翻訳者による翻訳仔细观察一下中国人的名字,会有许多饶有兴趣的发现。有些名字,甚至一看就能把本人的年龄和家庭背景猜八九不离十。

初代ポケトーク仔细眺望中国人的名字,一定会遇到很多有趣的发现。根据名字的不同,只看一眼就知道了那个人的年龄和素性。

中国人の名前をじっくり眺めてみると、きっと面白い発見がたくさんあります。名前によって異なりますが、一目見ただけでその人の年齢と素性が分かります。 4点

VoiceTra仔细看中国人的名字的话一定会遇到很多有趣的发现,根据名字,只是看一眼而已,是哪个人的年龄~(ここまで)

中国人の名前をよく見ると面白い発見がたくさんあります。名前によっては、一目見ただけで、その人の年齢~ 1点

採点の理由

長文の翻訳も試してみましたが、”中国人の名前をじっくり眺めてみたらきっと興味深い発見にたくさん出会えるはずです。名前によっては一目見ただけでその人の年齢として…”までしか認識してくれませんでした。やはりVoiceTraは日本語入力で60文字程度までの翻訳にしか対応していないようです。途中までの翻訳はとても性格なので残念ですが、途中までしか翻訳できないので1点としました。

 

日本語から中国語への翻訳精度検証結果まとめ

VoiceTraアプリで日本語から英語への翻訳を5文行った結果、点数の合計は25点満点中15点という結果になりました。

ポケトークは、同じ文章の翻訳で点数の合計が25点満点中21でしたので、日本語から英語の翻訳に関しても、VoiceTraよりポケトークの方が翻訳精度が高いと言えそうです。

 

 

まとめ

VoiceTraアプリとポケトークの翻訳精度比較検証結果は、以下のようになりました。

  VoiceTra ポケトーク

日本語から英語

(25点満点)

14点 18点

日本語から中国語

(25点満点)

15点 21点

合計

(50点満点)

29点

39

※採点結果は当サイト独自のものです

という結果になりました。VoiceTraは日本語ー英語間の翻訳精度も日本語ー中国語間の翻訳精度も同程度で、他の翻訳アプリと比較してもそれほど高くありません。今後の改善を期待したいですね。

一方、同じ文章をポケトークで翻訳した場合は、日本語から英語は18点、日本語から中国語は21点と、VoiceTraと比較してかなり高い結果になりました。

ポケトークは、翻訳する言語の組み合わせごとに最適な翻訳エンジンを選定・利用しているので、ポケトークが1台あれば、対応する63言語のすべての言語で精度の高い翻訳をすることができます。

▼また、ポケトークなどの翻訳機は翻訳専用に設計されているためスマホアプリよりも使いやすく、簡単に使えておすすめです。

ポケトークW(左)とili(イリー)

トライ翻訳機では、この記事でご紹介したポケトークなど最新の翻訳機を実際に使ってレビューしています。ぜひチェックしてみてください!

▼当サイトおすすめ!

 

-ポケトーク, 翻訳アプリと比較

Copyright© トライ翻訳機 , 2024 All Rights Reserved.