オートメモS はカラオケ字幕!英語の文字起こし精度を洋画などで検証

AI ボイスレコーダー AutoMemo S(オートメモS )は自動文字起こしするとカラオケ字幕風に表示するし高精度だったので「英語学習にとって革命!」というのが使ってみた率直な感想です。

「発話部分のカラオケ字幕化」については動画で紹介しているのでぜひ確認してほしいと思います。

オートメモは録音と自動文字起こしを連動させることによって、従来のボイスレコーダーにはない語学にとっての新たな価値を生み出しています。

また、本記事ではオートメモS の文字起こし精度を洋画や語学教材などの英語音声で検証した際の結果を紹介しているので参考にしてほしいと思います。

「オートメモ」を公式サイトでチェックする  

 

Summary

  • オートメモを語学に使うならこんな方におすすめ
  • 語学を革命化したい方
  • カラオケ字幕で英語学習したい方
  • 録音できるものなら何でも素材にして英語学習したい方
    (洋画・YouTube・ニュース・レッスンなど)
  • 手軽にリスニングや音読学習したい方
  • スマホやパソコンを使わずに英語学習したい方
    (オートメモS の場合)
  • 文字起こしを時短したい方

   「オートメモ」を公式サイトでチェックする

 

 

商品を提供していただきました!

この記事で使用している オートメモS は販売元のソースネクストから商品提供を受けたものです。

とはいえ「こういうことを書いてほしい (書いてほしくない) 」という要望はなかったので、アナ雪の女王のようにありのままで見せています。(それがお返しだと思っています)

以前から洋画での英語学習に使ってみたかったので有難いです。今後も気づいたことがあったり使い方を思いついたりしたら記事を更新して紹介します。

本記事内におけるオートメモの名称使い分けについて

オートメモのラインナップは、フルカラーディスプレイ搭載(タッチパネル)の「オートメモS 」とディスプレイなしの「オートメモ」の2種類があります。

本記事ではどちらにも共通する場合は「オートメモ」、どちらか一方という場合はそれぞれの名称で表記していますが、使い分けが曖昧な部分もございますのでご理解の上お読みいただけると幸甚です。

 

1. 語学革命?オートメモの便利すぎる機能(動画で紹介)

実際に試すまでは「オートメモS は録音と自動文字起こしが1台でできること以外は他のボイスレコーダーと同じようなもの」と思っていました。(それが便利!)

また、自動文字起こしもスマホやパソコンでも無料かつ高精度でできるので「オートメモを使うのはその手間と時間を買うようなもの」と思っていました。(買えるのが価値!)

しかし、オートメモはそれだけではありませんでした。

なお、スマホやパソコンでも録音と自動文字起こしなら「無料、高音質、高精度」で実現できます。

 

とはいえ、手間と時間はかかります。オートメモを使うということは効率化によって生まれる価値(学習時間)を買うことでもあると感じています。

 

Summary

自動文字起こしだけじゃないオートメモの語学に便利すぎる機能

  • 発話部分の単語ハイライト
  • 自動スクロール(オートスクロール)
  • タップした単語から再生

 ✔︎ ディスプレイ非搭載の「オートメモ」ではスマホアプリで同機能を利用できます。

 

オートメモS には語学に便利な機能がいくつもありますが、最も便利というか「革命的」なのが「発話部分の単語ハイライト」と「自動スクロール」です。

その様子はこちらの動画にて。(著作権の関係で無音にしています)

録音と文字起こしを行なったの英語学習者に人気の洋画「 The Intern / マイ・インターン」です。

¥945 (2022/02/01 04:29時点 | Amazon調べ)

発話部分の単語ハイライト&自動スクロール

オートメモS で録音と文字起こしをしてから再生すると、この動画のように発話部分に合わせて単語がハイライトで表示されます。

しかも自動でスクロールされるので画面を操作する必要がありません。つまり、再生をしたらあとは画面を見るだけでリスニング学習やシャドーイング(音読)ができます。

これは「語学にとっては革命的」と言えるのではないでしょうか。

録音と文字起こしが連動しているからこそできる機能だと思うので「オートメモならでは」ですし、スマホやパソコンでは無料ではできないと思います。(私の知る限り。有料も知らないけど汗)

なお、自動スクロールはオフにもできるので必要に応じて使い分けられます。

 

タップした単語から再生

もう1つ、オートメモS ならではの機能が「タップした単語から再生」です。これも録音と文字起こしが連動しているからこそできる機能だと思います。

語学では「ここから聞きたい」というときに探すのに時間がかかったり手間だったりで面倒になりがちですし、数秒前に遡って聞きたいところまで待つというのが無駄に感じたり煩わしかったりします。

しかし、この機能のおかげでオートメモなら「聞きたいところを目で探せる」し「聞きたい単語から聞ける」ので時短になりますし、ストレスが減る分やる気や意志力が削がれることもないでしょう。

再生中に単語をタップするとその単語まで巻き戻って再生される形になるので、繰り返し聞きたいときにも非常に便利です。

なお、聞きたいところをテキスト検索で探す機能もあるので、長時間の録音であっても瞬時に聞きたい箇所を見つけられます。

スマホアプリでも利用できる

オートメモS 本体の機能は全てスマホアプリで利用できますが、実はスマホアプリの方が機能がやや多く使いやすいし操作が安定しています。ただし、今後ソフトや OS の更新によって変わるかもしれません。

 

動画では洋画を例にしましたが、オートメモで英語学習する際は以下のような音声を録音して素材とするとよいでしょう。

 

Memo

  • 録音素材の例
    • 洋画、海外ドラマ、日本アニメ英語版
    • 英語ニュース
    • YouTube
    • TED
    • 語学教材に付属の音声 CD
    • オーディオブック
    • 英会話レッスン

Related Article

 › 英語音声CD付き市販教材おすすめ3選!一生物スキルで学習自動化

 

録音をすると著作権や利用規約が気になるものもありますが、個人利用なら問題ないと私は理解しています。(勘違いだったらすみません汗)

 

 

2. 文字起こしの精度は?

前提( BGM などがある動画音声の録音は想定外)

オートメモS は「人物の発声を録音するためのボイスレコーダー」です。肉声やリモート会議を録音して文字起こしをするという使い方を想定しています。

そのため、例えば「洋画の音声を録音して文字起こしをする」という場合は BGM や環境音を伴うので本来想定されていない使い方です。自動文字起こしでは無料のものでも BGM や環境音があると精度は落ちるので致し方ないところですね。(人間でも聞き取りにくくなりますし)

なお、肉声やリモート会議でもカフェなどで BGM や環境音がある場合は文字起こしに影響があると考えられます。

「洋画など BGM や環境音がある動画の録音は想定外の使い方」という前提で参考にしていただければと思います。

なお、洋画でも BGM や環境音がない場合はリモート会議を録音する場合と同等だと考えられるので、動画音声であっても想定内である気がします。

 

オートメモS で文字起こしの精度を検証した結果を紹介します。

所感は3段階評価(○△×)でこんな感じです。

録音素材文字起こし精度条件
洋画( BGM なし)環境音が少しある
洋画( BGM 小さめ)あくまでセリフがメイン
洋画( BGM 大きめ)×BGM がメインというくらい
英語ニュースアナウンサーの音声のみ
語学教材に付属の音声 CDアナウンサーの音声(小さな BGM あり)
語学教材に付属の音声 CDリポーターの音声( BGM や環境音なし)
英会話レッスン 

 

アップデート前の検証結果です

2023年3月15日、オートメモシリーズの音声認識エンジンがアップデートされて、文字起こしの精度が向上したようです。サーバー上のプログラムの変更なのでユーザー側の操作は不要とのこと。

上記の検証結果はこのアップデート前のものなので、文字起こしの精度により満足できそうです。○を◎にしたくなるかも?

洋画については詳しく後述しますが、BGM があっても工夫次第では○になりえます。

この中で「意外と正確!」と感じたのは「語学教材に付属の音声 CD 」でした。理由は、VOA(アメリカ合衆国政府が運営する国営放送)の番組を素材にした教材で、小さな BGM がある場合も、話者がリポーターで、やや劣化のある音源の場合もほぼ正確に文字起こしできたからです。

僅かに単語の抜けがあるくらいで、固有名詞と人物名の間違いは仕方がないと思うので、BGM がない方は「99%正確」と感じました。( VOA が Rio a になっていた笑)

その教材はこちらです。

 

英会話レッスンの録音と文字起こしは試していませんが、対面でもオンラインでもメーカー想定内の使い方のため○としています。実際には△となる場合があるかもしれません。

BGM や環境音を除去する方法

洋画に限らず BGM や環境音がある音声から自動文字起こしをする場合はそれらを除去すると精度が上がるはずです。

ボーカル除去ができるパソコンソフトやウェブサービスを利用すると、いくつか選択するだけで簡単にできます。

意外と聞き疲れなくリスニングしやすくもなるのでおすすめです。

Related Article

 › 洋画の BGM を除去してセリフ音声のみ抽出する方法

洋画の予告編動画で検証

オートメモS の文字起こしの精度を英語学習者に人気の洋画「 The Intern / マイ・インターン」の予告編動画で検証してみた際の結果を紹介します。

録音した方法はあとで詳しく述べますが、動画を iPhone の YouTube アプリで再生して、オートメモS と iPhone をケーブルで繋いで録音しました。(抵抗入りケーブルでスマホの音量は最大)

予告編動画はこちらです。

BGM が大きく自動文字起こしには過酷な条件です。

オートメモS が文字起こしした内容はこちらです。

(画像はオートメモから送ったメールのスクショ)

テキスト変換にかかかる時間はこの2分半の動画で30秒ほどでした。

出だしは好調で感動的でしたが段々と文字起こしできなくなり、最後はやや持ち直したものの…、という感じです。

もう一度同じ条件でやり直しましたが細かい違いはあるものの全体的な傾向は同じでした。

もしかしたら、出だしは好調だったので文字起こしできなかった部分のみを録音するときちんとできるかもしれません。

 

とはいえ、よく聞き取ったなという部分も多いです。

例えばこちら。

オートメモS:where you see yourself in 10 years

字幕:Where do you see yourself in 10 years?

この do は発音されていないのでオートメモS は正解しています。

大きめの BGM があるにもかかわらずこれを正確に文字起こしできるということは、かなりのポテンシャルがあると思います。( VOA ならほぼ正確でしたし)

実は、このセリフのように字幕では発音されていなくても文法上正しく表記される場合があります。「字幕通りに聞き取れない」と悩んでいたら「そもそも言ってなかったのかマジか」ということは洋画英語学習のあるあるだと思います。

オートメモを英語学習に使うとそんな気づきが多くなるかもしれないですね。

また、間違えている部分は穴埋め問題みたいになるので、それはそれで学習効果がありそうです。

なお、掲載している他の画像の通り where を or と間違えたこともありました。この where は「ウ」くらいしか言ってないので or と間違えるのは無理もない気がします。(文法としては間違ってないし)

BGM を除去したら?

この予告編動画を[ IC レコーダーでライン録音 → フリーソフトでざっくりと BGM 除去 → オートメモS で文字起こし」してみましたが結果は「あまり変わらず」でした。これを機に BGM 除去を試しているので、うまくいったら結果を追記します。

なお、カジュアルでくだけた発音の文字起こしは BGM を除去しても難しそうな印象です。

Related Article

 › 洋画の BGM を除去してセリフ音声のみ抽出する方法

DVD/Blu-ray ならもっと高精度なはず!

以下の理由で本編( DVD/Blu-ray )ならもっと高精度に文字起こしができると考えられます。

 

Memo

  • DVD/Blu-ray ならより高精度だと考えられる理由 
  • 予告編動画は本編よりも BGM が派手で大きめの音量
  • パソコンやテレビでは低音を小さくできる
     → 低音を小さくすると BGM や環境音の影響が少なくなる

Related Article

 ›【洋画 DVD】「セリフ→小さい、効果音→大きい」対策まとめ

 

ちなみに予告編動画のスクリプトはこちらです。

Justin: Okay, Benjamin. 

Justin: I’m gonna ask you one of our more telling questions
for all of our interns, so I want you to, like,
this is the one to really think about, okay?

Justin: Where do you see yourself in 10 years?

Ben: When I’m 80?

› more

Cameron: Remember a few weeks ago,
we talked about the senior intern program?

Jules: Seniors in high school or college?

Cameron: No, no, no. Seniors in life.

Jules: Hold on. What?

 

Jason: That’s our founder and CEO, Jules Ostin.

 

Ben: Any tips before I go in?

Becky: Blink.

Ben: Blink?

Becky: She hates when people don’t blink.

Becky: It weirds her out.

 

Ben: Hi, Jules? I’m Ben, your new intern.

Jules: I’m glad you also see the humor in this.

Ben: Be hard not to.

Jule: I will e-mail you when I have something for you to do.

Ben: I’ll wait to hear from you.

Ben: I’m terribly sorry.

Ben: Excuse me.

 

Matt: So you’re Jules’ new driver?

Ben: No, actually, I’m her intern.

Paige: It’s hysterical.

 

Jules: My intern sure keeps busy.

Cameron: Mr. Congeniality. Everybody loves him.

 

Ben: You should dress to impress. Tuck in the shirt.

Ben: Why doesn’t anybody tuck anything in anymore?

Ben: I’m asking you.

 

Fiona: I’m Fiona, the house masseuse.

Ben: Hi.

Fiona: How’s that, Ben?

Ben: Mmm-hmm. Oh, boy.

Davis: There you go.

Davis: You’re not as old as I thought you were.

 

Jules: So you’re on Facebook, huh?

Ben: I joined about 10 minutes ago.

Jules: Well, better late than never.

 

Jules: All right, so there are all these questions for your profile 
that you can answer if you want to. Like people who inspire you.

Ben: Jules Ostin. You do inspire, Jules.

 

Cameron: Our investors just think that a seasoned CEO 
could take some things off your plate.

Jules: I mean, get me CEO lessons,

 

Ben: I never had anything like this in my life.

Ben: This big, beautiful, exciting thing that you created.

Ben: Remember who did that.

Jules: Who?

 

Ben: Good times!

 

Jules: It’s moments like this when you need someone
you know you can count on. 

Jules: Because you’re my…

Ben: Intern.

Jules: Well, I was gonna say intern/best friend.

 

Jules: Look and learn, boys, because this is what cool is.

Jules: How, in one generation, have men gone from guys like
Jack Nicholson and Harrison Ford to…

Ben: Oh, boy.

› less

こちらの記事に対訳を掲載しているので気になった方は参考にしてみてください。

¥945 (2022/02/01 04:29時点 | Amazon調べ)

 

 

3. オートメモの便利機能

語学にとって革命的に便利なオートメモの機能はすでに紹介しましたが、ここでは一般的なボイスレコーダーにもある機能も含めて語学に便利な機能をまとめました。

なお、上記の画像はポケトークS の シャア版 特別セット に付属のクレードルでオートメモS を充電しているところです。(特に記事の内容とは関係ありません、すみません)

オートメモS とポケトークS の大きさはほぼ同じです。

 

オートメモだけの便利機能

ここでは従来のボイスレコーダーにはない、オートメモの便利機能をまとめておきます。

 

Memo

  • オートメモの便利機能
  1. 録音と自動文字起こしが1台でできる(英語など計72言語)
  2. 発話部分の単語ハイライト
  3. 自動スクロール
  4. タップした単語から音声を再生できる
  5. 本体で読める、テキスト検索できる
     → 聞きたいところを目で探せる
  6. 文字起こしした内容(テキスト)をメールで送信できる
     → クラウドにも保存できる
  7. 音声ファイルをダウンロードできる
  8. スマホアプリでも使える

✔︎ 2〜5は本体ではオートメモS のみ。オートメモでもスマホアプリで利用可能。

 

語学に活用するととんでもなく便利で、かなりの時短や効率化ができると想像できますよね。

英語では、米国、英国、インド、オーストラリアをテキスト化言語として設定できます。

従来のボイスレコーダーに比べ、効率が良くなることによって生まれる時間を買うという意味でも オートメモ はおすすめです。

 

その他の便利機能

 

Memo

    • 一般的なボイスレコーダーにもある便利機能
  • 速度調節機能(0.5倍速〜2倍速)
  • 5秒戻し/送り
  • ブックマーク
  • 音声ファイルの分割

 

一般的に速度調節をすると音がゆがんでしまうものですが、オートメモS でもスマホアプリでもゆがみは一般的でひどくない印象です。

速度調節は、高速にすればリスニングの理解力を鍛えられますし、低速にすれば発音練習がしやすくなります。

なお、よくある AB リピート(指定区間リピート)はありませんが、再生中の単語タップで代用できると思います。

 

 

4. オートメモ活用術

この章では オートメモ の語学への活用例を紹介するので参考にしてみてください。

 

Memo

  • AutoMemo 活用術
  1. 聞き取れない部分を確認する
  2. 英会話レッスンの復習
     → Google ドキュメントと DeepL を連携すると便利

 

もちろん、一般的なボイスレコーダーと同様に活用することもできます。

活用術については他にもこちらの記事で紹介しているので合わせて参考にしてみてください。

 

① 聞き取れない部分を確認する

自分では聞き取れなくてもオートメモS なら正確に文字起こししてくれる可能性がありますし、正確でなくてもヒントになる場合もあります。

先に紹介した洋画のように字幕通りに喋っていない例もあります。聞き取れないと悩むことがなくなるかもしれないので活用してみてください。

 

② 英会話レッスンの復習

「英会話レッスンの復習」を例としていますが、会議などでも使える活用術です。

 

Memo

  • 英会話レッスンの復習に活用するとして…
  1. レッスンを丸ごと録音
  2. レッスン後、分からなかった部分を検索
     → 録音中にブックマークを付けておくのも便利
  3. 文字起こしされたテキストをメールで送信
  4. Google ドキュメントにコピペして文字起こしのミスを修正
  5. DeepL で翻訳

 

Google ドキュメントではスペルや文法に間違いがあると自動で修正案を提示してくれるので修正が捗ります。覚えておきたい内容はそのままメモとして保存するとよいでしょう。

DeepL は無料の AI 翻訳サービスですが、高精度な翻訳だけでなく意訳までするので英語表現のニュアンスが分かることもあります。

 

 

 

5. 洋画を録音したときの音質は?

この章では「オートメモS で洋画を録音したときの音質」について紹介します。

結論から言うと、オートメモS で洋画を録音したときの音質は「劣化は顕著なものの語学には十分な音質」という感じです。洋画のように BGM がなければ「顕著」というほどではありません。

細かく書いたので「要点だけでいい」という方は Summary と Memo のみお読みください。

 

オートメモS の想定外の使い方なのか、洋画を録音すると以下の現象が発生しました。

 

Summary

  • オートメモS で洋画を録音したときの音質
  • 劣化は顕著だが語学には十分な音質
     ( BGM がなければ顕著というほどではない)
  • オートメモS で洋画を録音すると発生する現象
  • 人の声がゆがむ(ヨレ感がある)
  • BGM はぐちゃぐちゃにゆがむ
  • BGM の音量が小さくなる(これはメリット)
  • 「サー」という小さなノイズが入る(ライン録音時)