OtoSing

録音を1つも使わない、計算だけの歌声です。音符とかなを書くと歌います。音源は JavaScript 1ファイル(39KB)で、テキストの楽譜を鳴らすエンジン TextScore に、楽器のひとつとして入っています。同じような物を自分で作ってみる人の参考になるように、作りと、つまずいた所を書きました。

まず聴く

ほどける夜リキッド・ドラムンベース 174BPM 144小節 3分19秒(前奏のあと、2分57秒をくり返す)
再生を押すと、歌っているかなが、ここに出ます。
– 小節
はじめて鳴らすときは、歌4本ぶんを先に計算するので、数秒待ちます。

詞・旋律・伴奏とも、この見本のために作ったものです。女声の主旋律、サビのハモり、前奏と終わりの囁き声、最後のサビの上の裏声の4本を、同じ音源が歌っています。伴奏のパッド、エレピ、ピアノ、ベース、ドラムも、同じエンジンの合成音です。

しくみ

人の声の作りを、そのまま小さくなぞっています。声帯にあたる波を作り、口の形にあたる共鳴に通す、という古くからある方法(ソース・フィルタ)です。新しい技術は使っていません。

  1. 音符とかなかな1つを、音符1つに当てる。かなは、子音・半母音・母音に分ける。
  2. 口の動きの下書き音符ごとに、共鳴の高さ・声の強さ・雑音の強さの「通過点」を時刻つきで並べる。子音は拍の手前に置く。
  3. 高さばねのような追いかけ方で、次の音へ移る。跳ぶほどゆっくり、少し行きすぎて戻る。のばす音に、遅れてビブラート。
  4. 声帯の波ゆっくり開いて、すばやく閉じる波。開いている割合と、閉じ方の鋭さで、地声・裏声・囁きを作り分ける。
  5. 口の共鳴3つの共鳴を並べて通す。高さは母音ごとの表から。高い声では、第1共鳴を声の高さの上へ逃がす。
  6. 子音と息雑音を別の共鳴に通して足す。破裂・摩擦・鼻音・はじきを、区間の並びで作り分ける。
  7. 大きさをそろえる倍音が共鳴に乗るかどうかで音量が変わるので、見積もって打ち消す。

1標本ずつ計算するのは 4〜7 だけで、口の形や高さは 16標本(0.5ミリ秒)ごとに更新しています。歌は、鳴らす前に1本ぶんをまとめて計算し、音符ごとに切り出して、ほかの楽器と同じ道(音量・左右・残響・エコー)へ流します。

部品を聴く

同じひとふしを、部品を足したり外したりして歌わせます。下の波形は、歌いだして少しあとの 20ミリ秒です。

声ができるまで(あいうえお)
子音(さくらがさいた)
高い声で母音を保つ(E5 で、あいうえお)
声の出し方(そらへとべ)
ボタンを押すと鳴ります。

つまずいた所

作っていて、はっきり効いたこと、やってみて駄目だったことです。数値は、下の「測った値」と同じ測り方によるものです。

高い声では、母音が消える

声が高くなると、倍音の間隔が広がって、共鳴の山に倍音が1本も乗らなくなります。D5(約600Hz)から上で目立ちます。効いたのは3つです。第1共鳴を声の高さのすぐ上へ逃がすこと。奥の母音(う・お)だけ第3共鳴を弱めて、明るさの差を残すこと。音符の頭に、一瞬だけ息の雑音を足すこと(雑音は倍音の間を埋めるので、共鳴の形が聞こえる)。

音符ごとに、大きさが 15dB も変わる

倍音が共鳴の山に乗った音符だけ、大きく鳴ります。倍音ごとの通り方から大きさを見積もって、8割ほどを打ち消しています。全部は打ち消しません(母音ごとの自然な差まで消えるため)。

子音は、「口のどこで閉じたか」が命

はじめは、どの子音も「母音と、あいまいな口の形のあいだ」から始めていて、ぱ・た・か が聞きわけられませんでした。閉じる場所(唇・歯ぐき・奥)ごとに決まる共鳴の出発点から母音へ動かし、破裂(閉じる → はじける → 短い息)と鼻音(低いこもった音)を作り分けると、音声認識での子音の聞きまちがいが 35% から 8% に減りました。逆に、語中の が行 を鼻にかける工夫は、聞きまちがいが増えたので、やめました。

子音は、拍の前に置く

拍に合うのは母音の頭です。子音を拍から始めると、歌が遅れて聞こえます。子音の長さを決め打ちにしていたころは、速い曲で、歌詞がだんだん遅れていきました(8分音符の連続で、平均 0.42秒)。次の拍までに収まらないときは、子音を 45% まで縮めるようにして、192BPM の8分音符でも、遅れは最大 0.013秒になりました。

囁きの息は、どの共鳴に通すかで高さが変わる

息の雑音を3つの共鳴に同じように通すと、いちばん低い共鳴の分が目立って、高い裏声では、息が声より低く鳴りました(重心が約 1kHz)。低い共鳴から外すと高くなりますが、第2共鳴の息まで外すと、母音が分からなくなります。高い声では、息が母音の手がかりを運んでいるためです。

耳の代わりに、音声認識に聞かせる

調整のたびに人が聴くのは大変なので、歌わせた文を音声認識にかけ、正解と結果をどちらも音素に直して、子音がいくつ別の音になったかを数えました。作りのちがうモデルを3つ使い、調整に使う文と、確かめるだけの文を分けています。認識器は、文として自然なほうへ寄せて聞くので、数値そのものより、前後の差を見ます。仕上がりは人が聴いて、直す所を決めています。

前の音を変えない仕組みを、先に作る

乱数の種が同じなら、1標本も違わない波形になるようにしてあります。新しい機能は、使わなければ前と同じ波形になることを、波形の照合で確かめてから入れています。それでも一度、足した変数の名前が外の名前と重なって、歌詞のない音符だけが止まる不具合を出しました。確認に、その場合が入っていなかったためです。

休みのあいだに、計算が何倍も遅くなる

音が止まると、共鳴の中の値は 0 へ向かって小さくなりつづけ、ついには非正規化数になって、計算が極端に遅くなります。この曲の歌4本の計算は、測った環境で 12秒かかっていましたが、十分に小さくなった値を 0 に切るだけで、4秒になりました(出力は1標本も変わりません)。長い休みのある歌で起きます。

測った値

声帯の波(共鳴に通す前)文献この音源
声帯が開いている割合 地声0.39〜0.550.45
声帯が開いている割合 裏声0.6〜0.80.75
基音と第2倍音の差 地声3.1〜14.9 dB4.3〜4.5 dB
基音と第2倍音の差 裏声10.7〜34.3 dB16.6〜18.4 dB
子音の聞きまちがい(音声認識。調整に使っていない30文 × 5条件)前の子音作り直した子音
ReazonSpeech35.3%8.2%
SenseVoice37.6%9.0%
Whisper small23.1%15.3%
この曲の歌い方で(30文、ReazonSpeech / SenseVoice)子音の聞きまちがい
Aメロ(息まじり)20.7% / 18.0%
サビ(息なし、少し高い)22.8% / 17.7%
ブリッジ(囁き)20.4% / 20.4%

条件は、男女のふつうの高さ・女声の高い声・速いテンポの5つ。聞き手は認識器で、人の耳ではありません。この曲の値が上の表より悪いのは、高さと息のためです。共鳴の高さの表と息の量は、実測ではなく、見積もりです。

できないこと

譜面と、音源のソース

譜面はテキストです。@名前 楽器 の下に音符を書き、歌声のトラックは、音符の行のあとに、かなの行を書きます。歌詞の中の 【囁0.6】 は、その場所から囁きの量を変える印です。書き方のぜんぶは、エンジンのファイルの頭のコメントにあります。

「ほどける夜」の譜面(書きかえて鳴らせます)
    歌声の音源 otosing.js(39KB)
    開くと、ここに出ます。

    楽譜エンジン(TextScore、209KB)は、このページに組み込んであります。TextScore.bgm(譜面) で鳴り、TextScore.OtoSing.singNotes(音符, 設定) で、歌声の波形だけを取り出せます。

    ファイルは、このページと同じ場所に置いてあります:otosing.js(歌声の音源)、textscore.js(楽譜エンジン。頭のコメントに、使い方と譜面の書き方)、hodokeru-yoru.txt(この曲の譜面)。

    参考にしたもの