オートメモS はカラオケ字幕!英語の文字起こし精度を洋画などで検証

AI ボイスレコーダー AutoMemo S(オートメモS )は自動文字起こしするとカラオケ字幕風に表示するし高精度だったので「英語学習にとって革命!」というのが使ってみた率直な感想です。

「発話部分のカラオケ字幕化」については動画で紹介しているのでぜひ確認してほしいと思います。

オートメモは録音と自動文字起こしを連動させることによって、従来のボイスレコーダーにはない語学にとっての新たな価値を生み出しています。

また、本記事ではオートメモS の文字起こし精度を洋画や語学教材などの英語音声で検証した際の結果を紹介しているので参考にしてほしいと思います。

「オートメモ」を公式サイトでチェックする  

 

Summary

  • オートメモを語学に使うならこんな方におすすめ
  • 語学を革命化したい方
  • カラオケ字幕で英語学習したい方
  • 録音できるものなら何でも素材にして英語学習したい方
    (洋画・YouTube・ニュース・レッスンなど)
  • 手軽にリスニングや音読学習したい方
  • スマホやパソコンを使わずに英語学習したい方
    (オートメモS の場合)
  • 文字起こしを時短したい方

   「オートメモ」を公式サイトでチェックする

 

 

商品を提供していただきました!

この記事で使用している オートメモS は販売元のソースネクストから商品提供を受けたものです。

とはいえ「こういうことを書いてほしい (書いてほしくない) 」という要望はなかったので、アナ雪の女王のようにありのままで見せています。(それがお返しだと思っています)

以前から洋画での英語学習に使ってみたかったので有難いです。今後も気づいたことがあったり使い方を思いついたりしたら記事を更新して紹介します。

本記事内におけるオートメモの名称使い分けについて

オートメモのラインナップは、フルカラーディスプレイ搭載(タッチパネル)の「オートメモS 」とディスプレイなしの「オートメモ」の2種類があります。

本記事ではどちらにも共通する場合は「オートメモ」、どちらか一方という場合はそれぞれの名称で表記していますが、使い分けが曖昧な部分もございますのでご理解の上お読みいただけると幸甚です。

 

1. 語学革命?オートメモの便利すぎる機能(動画で紹介)

実際に試すまでは「オートメモS は録音と自動文字起こしが1台でできること以外は他のボイスレコーダーと同じようなもの」と思っていました。(それが便利!)

また、自動文字起こしもスマホやパソコンでも無料かつ高精度でできるので「オートメモを使うのはその手間と時間を買うようなもの」と思っていました。(買えるのが価値!)

しかし、オートメモはそれだけではありませんでした。

なお、スマホやパソコンでも録音と自動文字起こしなら「無料、高音質、高精度」で実現できます。

 

とはいえ、手間と時間はかかります。オートメモを使うということは効率化によって生まれる価値(学習時間)を買うことでもあると感じています。

 

Summary

自動文字起こしだけじゃないオートメモの語学に便利すぎる機能

  • 発話部分の単語ハイライト
  • 自動スクロール(オートスクロール)
  • タップした単語から再生

 ✔︎ ディスプレイ非搭載の「オートメモ」ではスマホアプリで同機能を利用できます。

 

オートメモS には語学に便利な機能がいくつもありますが、最も便利というか「革命的」なのが「発話部分の単語ハイライト」と「自動スクロール」です。

その様子はこちらの動画にて。(著作権の関係で無音にしています)

録音と文字起こしを行なったの英語学習者に人気の洋画「 The Intern / マイ・インターン」です。

¥945 (2022/02/01 04:29時点 | Amazon調べ)
\楽天ポイント5倍セール!/
楽天市場
\ポイント5%還元!/
Yahooショッピング

発話部分の単語ハイライト&自動スクロール

オートメモS で録音と文字起こしをしてから再生すると、この動画のように発話部分に合わせて単語がハイライトで表示されます。

しかも自動でスクロールされるので画面を操作する必要がありません。つまり、再生をしたらあとは画面を見るだけでリスニング学習やシャドーイング(音読)ができます。

これは「語学にとっては革命的」と言えるのではないでしょうか。

録音と文字起こしが連動しているからこそできる機能だと思うので「オートメモならでは」ですし、スマホやパソコンでは無料ではできないと思います。(私の知る限り。有料も知らないけど汗)

なお、自動スクロールはオフにもできるので必要に応じて使い分けられます。

 

タップした単語から再生

もう1つ、オートメモS ならではの機能が「タップした単語から再生」です。これも録音と文字起こしが連動しているからこそできる機能だと思います。

語学では「ここから聞きたい」というときに探すのに時間がかかったり手間だったりで面倒になりがちですし、数秒前に遡って聞きたいところまで待つというのが無駄に感じたり煩わしかったりします。

しかし、この機能のおかげでオートメモなら「聞きたいところを目で探せる」し「聞きたい単語から聞ける」ので時短になりますし、ストレスが減る分やる気や意志力が削がれることもないでしょう。

再生中に単語をタップするとその単語まで巻き戻って再生される形になるので、繰り返し聞きたいときにも非常に便利です。

なお、聞きたいところをテキスト検索で探す機能もあるので、長時間の録音であっても瞬時に聞きたい箇所を見つけられます。

スマホアプリでも利用できる

オートメモS 本体の機能は全てスマホアプリで利用できますが、実はスマホアプリの方が機能がやや多く使いやすいし操作が安定しています。ただし、今後ソフトや OS の更新によって変わるかもしれません。

 

動画では洋画を例にしましたが、オートメモで英語学習する際は以下のような音声を録音して素材とするとよいでしょう。

 

Memo

  • 録音素材の例
    • 洋画、海外ドラマ、日本アニメ英語版
    • 英語ニュース
    • YouTube
    • TED
    • 語学教材に付属の音声 CD
    • オーディオブック
    • 英会話レッスン

Related Article

 › 英語音声CD付き市販教材おすすめ3選!一生物スキルで学習自動化

 

録音をすると著作権や利用規約が気になるものもありますが、個人利用なら問題ないと私は理解しています。(勘違いだったらすみません汗)

 

 

2. 文字起こしの精度は?

前提( BGM などがある動画音声の録音は想定外)

オートメモS は「人物の発声を録音するためのボイスレコーダー」です。肉声やリモート会議を録音して文字起こしをするという使い方を想定しています。

そのため、例えば「洋画の音声を録音して文字起こしをする」という場合は BGM や環境音を伴うので本来想定されていない使い方です。自動文字起こしでは無料のものでも BGM や環境音があると精度は落ちるので致し方ないところですね。(人間でも聞き取りにくくなりますし)

なお、肉声やリモート会議でもカフェなどで BGM や環境音がある場合は文字起こしに影響があると考えられます。

「洋画など BGM や環境音がある動画の録音は想定外の使い方」という前提で参考にしていただければと思います。

なお、洋画でも BGM や環境音がない場合はリモート会議を録音する場合と同等だと考えられるので、動画音声であっても想定内である気がします。

 

オートメモS で文字起こしの精度を検証した結果を紹介します。

所感は3段階評価(○△×)でこんな感じです。

録音素材文字起こし精度条件
洋画( BGM なし)環境音が少しある
洋画( BGM 小さめ)あくまでセリフがメイン
洋画( BGM 大きめ)×BGM がメインというくらい
英語ニュースアナウンサーの音声のみ
語学教材に付属の音声 CDアナウンサーの音声(小さな BGM あり)
語学教材に付属の音声 CDリポーターの音声( BGM や環境音なし)
英会話レッスン 

 

アップデート前の検証結果です

2023年3月15日、オートメモシリーズの音声認識エンジンがアップデートされて、文字起こしの精度が向上したようです。サーバー上のプログラムの変更なのでユーザー側の操作は不要とのこと。

上記の検証結果はこのアップデート前のものなので、文字起こしの精度により満足できそうです。○を◎にしたくなるかも?

洋画については詳しく後述しますが、BGM があっても工夫次第では○になりえます。

この中で「意外と正確!」と感じたのは「語学教材に付属の音声 CD 」でした。理由は、VOA(アメリカ合衆国政府が運営する国営放送)の番組を素材にした教材で、小さな BGM がある場合も、話者がリポーターで、やや劣化のある音源の場合もほぼ正確に文字起こしできたからです。

僅かに単語の抜けがあるくらいで、固有名詞と人物名の間違いは仕方がないと思うので、BGM がない方は「99%正確」と感じました。( VOA が Rio a になっていた笑)

その教材はこちらです。

\楽天ポイント5倍セール!/
楽天市場
\ポイント5%還元!/
Yahooショッピング

 

英会話レッスンの録音と文字起こしは試していませんが、対面でもオンラインでもメーカー想定内の使い方のため○としています。実際には△となる場合があるかもしれません。

BGM や環境音を除去する方法

洋画に限らず BGM や環境音がある音声から自動文字起こしをする場合はそれらを除去すると精度が上がるはずです。

ボーカル除去ができるパソコンソフトやウェブサービスを利用すると、いくつか選択するだけで簡単にできます。

意外と聞き疲れなくリスニングしやすくもなるのでおすすめです。

Related Article

 › 洋画の BGM を除去してセリフ音声のみ抽出する方法

洋画の予告編動画で検証

オートメモS の文字起こしの精度を英語学習者に人気の洋画「 The Intern / マイ・インターン」の予告編動画で検証してみた際の結果を紹介します。

録音した方法はあとで詳しく述べますが、動画を iPhone の YouTube アプリで再生して、オートメモS と iPhone をケーブルで繋いで録音しました。(抵抗入りケーブルでスマホの音量は最大)

予告編動画はこちらです。

BGM が大きく自動文字起こしには過酷な条件です。

オートメモS が文字起こしした内容はこちらです。

(画像はオートメモから送ったメールのスクショ)

テキスト変換にかかかる時間はこの2分半の動画で30秒ほどでした。

出だしは好調で感動的でしたが段々と文字起こしできなくなり、最後はやや持ち直したものの…、という感じです。

もう一度同じ条件でやり直しましたが細かい違いはあるものの全体的な傾向は同じでした。

もしかしたら、出だしは好調だったので文字起こしできなかった部分のみを録音するときちんとできるかもしれません。

 

とはいえ、よく聞き取ったなという部分も多いです。

例えばこちら。

オートメモS:where you see yourself in 10 years

字幕:Where do you see yourself in 10 years?

この do は発音されていないのでオートメモS は正解しています。

大きめの BGM があるにもかかわらずこれを正確に文字起こしできるということは、かなりのポテンシャルがあると思います。( VOA ならほぼ正確でしたし)

実は、このセリフのように字幕では発音されていなくても文法上正しく表記される場合があります。「字幕通りに聞き取れない」と悩んでいたら「そもそも言ってなかったのかマジか」ということは洋画英語学習のあるあるだと思います。

オートメモを英語学習に使うとそんな気づきが多くなるかもしれないですね。

また、間違えている部分は穴埋め問題みたいになるので、それはそれで学習効果がありそうです。

なお、掲載している他の画像の通り where を or と間違えたこともありました。この where は「ウ」くらいしか言ってないので or と間違えるのは無理もない気がします。(文法としては間違ってないし)

BGM を除去したら?

この予告編動画を[ IC レコーダーでライン録音 → フリーソフトでざっくりと BGM 除去 → オートメモS で文字起こし」してみましたが結果は「あまり変わらず」でした。これを機に BGM 除去を試しているので、うまくいったら結果を追記します。

なお、カジュアルでくだけた発音の文字起こしは BGM を除去しても難しそうな印象です。

Related Article

 › 洋画の BGM を除去してセリフ音声のみ抽出する方法

DVD/Blu-ray ならもっと高精度なはず!

以下の理由で本編( DVD/Blu-ray )ならもっと高精度に文字起こしができると考えられます。

 

Memo

  • DVD/Blu-ray ならより高精度だと考えられる理由 
  • 予告編動画は本編よりも BGM が派手で大きめの音量
  • パソコンやテレビでは低音を小さくできる
     → 低音を小さくすると BGM や環境音の影響が少なくなる

Related Article

 ›【洋画 DVD】「セリフ→小さい、効果音→大きい」対策まとめ

 

ちなみに予告編動画のスクリプトはこちらです