録音を1つも使わない、計算だけの歌声です。音符とかなを書くと歌います。音源は JavaScript 1ファイル(39KB)で、テキストの楽譜を鳴らすエンジン TextScore に、楽器のひとつとして入っています。同じような物を自分で作ってみる人の参考になるように、作りと、つまずいた所を書きました。
詞・旋律・伴奏とも、この見本のために作ったものです。女声の主旋律、サビのハモり、前奏と終わりの囁き声、最後のサビの上の裏声の4本を、同じ音源が歌っています。伴奏のパッド、エレピ、ピアノ、ベース、ドラムも、同じエンジンの合成音です。
人の声の作りを、そのまま小さくなぞっています。声帯にあたる波を作り、口の形にあたる共鳴に通す、という古くからある方法(ソース・フィルタ)です。新しい技術は使っていません。
1標本ずつ計算するのは 4〜7 だけで、口の形や高さは 16標本(0.5ミリ秒)ごとに更新しています。歌は、鳴らす前に1本ぶんをまとめて計算し、音符ごとに切り出して、ほかの楽器と同じ道(音量・左右・残響・エコー)へ流します。
同じひとふしを、部品を足したり外したりして歌わせます。下の波形は、歌いだして少しあとの 20ミリ秒です。
作っていて、はっきり効いたこと、やってみて駄目だったことです。数値は、下の「測った値」と同じ測り方によるものです。
声が高くなると、倍音の間隔が広がって、共鳴の山に倍音が1本も乗らなくなります。D5(約600Hz)から上で目立ちます。効いたのは3つです。第1共鳴を声の高さのすぐ上へ逃がすこと。奥の母音(う・お)だけ第3共鳴を弱めて、明るさの差を残すこと。音符の頭に、一瞬だけ息の雑音を足すこと(雑音は倍音の間を埋めるので、共鳴の形が聞こえる)。
倍音が共鳴の山に乗った音符だけ、大きく鳴ります。倍音ごとの通り方から大きさを見積もって、8割ほどを打ち消しています。全部は打ち消しません(母音ごとの自然な差まで消えるため)。
はじめは、どの子音も「母音と、あいまいな口の形のあいだ」から始めていて、ぱ・た・か が聞きわけられませんでした。閉じる場所(唇・歯ぐき・奥)ごとに決まる共鳴の出発点から母音へ動かし、破裂(閉じる → はじける → 短い息)と鼻音(低いこもった音)を作り分けると、音声認識での子音の聞きまちがいが 35% から 8% に減りました。逆に、語中の が行 を鼻にかける工夫は、聞きまちがいが増えたので、やめました。
拍に合うのは母音の頭です。子音を拍から始めると、歌が遅れて聞こえます。子音の長さを決め打ちにしていたころは、速い曲で、歌詞がだんだん遅れていきました(8分音符の連続で、平均 0.42秒)。次の拍までに収まらないときは、子音を 45% まで縮めるようにして、192BPM の8分音符でも、遅れは最大 0.013秒になりました。
息の雑音を3つの共鳴に同じように通すと、いちばん低い共鳴の分が目立って、高い裏声では、息が声より低く鳴りました(重心が約 1kHz)。低い共鳴から外すと高くなりますが、第2共鳴の息まで外すと、母音が分からなくなります。高い声では、息が母音の手がかりを運んでいるためです。
調整のたびに人が聴くのは大変なので、歌わせた文を音声認識にかけ、正解と結果をどちらも音素に直して、子音がいくつ別の音になったかを数えました。作りのちがうモデルを3つ使い、調整に使う文と、確かめるだけの文を分けています。認識器は、文として自然なほうへ寄せて聞くので、数値そのものより、前後の差を見ます。仕上がりは人が聴いて、直す所を決めています。
乱数の種が同じなら、1標本も違わない波形になるようにしてあります。新しい機能は、使わなければ前と同じ波形になることを、波形の照合で確かめてから入れています。それでも一度、足した変数の名前が外の名前と重なって、歌詞のない音符だけが止まる不具合を出しました。確認に、その場合が入っていなかったためです。
音が止まると、共鳴の中の値は 0 へ向かって小さくなりつづけ、ついには非正規化数になって、計算が極端に遅くなります。この曲の歌4本の計算は、測った環境で 12秒かかっていましたが、十分に小さくなった値を 0 に切るだけで、4秒になりました(出力は1標本も変わりません)。長い休みのある歌で起きます。
| 声帯の波(共鳴に通す前) | 文献 | この音源 |
|---|---|---|
| 声帯が開いている割合 地声 | 0.39〜0.55 | 0.45 |
| 声帯が開いている割合 裏声 | 0.6〜0.8 | 0.75 |
| 基音と第2倍音の差 地声 | 3.1〜14.9 dB | 4.3〜4.5 dB |
| 基音と第2倍音の差 裏声 | 10.7〜34.3 dB | 16.6〜18.4 dB |
| 子音の聞きまちがい(音声認識。調整に使っていない30文 × 5条件) | 前の子音 | 作り直した子音 |
|---|---|---|
| ReazonSpeech | 35.3% | 8.2% |
| SenseVoice | 37.6% | 9.0% |
| Whisper small | 23.1% | 15.3% |
| この曲の歌い方で(30文、ReazonSpeech / SenseVoice) | 子音の聞きまちがい |
|---|---|
| Aメロ(息まじり) | 20.7% / 18.0% |
| サビ(息なし、少し高い) | 22.8% / 17.7% |
| ブリッジ(囁き) | 20.4% / 20.4% |
条件は、男女のふつうの高さ・女声の高い声・速いテンポの5つ。聞き手は認識器で、人の耳ではありません。この曲の値が上の表より悪いのは、高さと息のためです。共鳴の高さの表と息の量は、実測ではなく、見積もりです。
譜面はテキストです。@名前 楽器 の下に音符を書き、歌声のトラックは、音符の行のあとに、かなの行を書きます。歌詞の中の 【囁0.6】 は、その場所から囁きの量を変える印です。書き方のぜんぶは、エンジンのファイルの頭のコメントにあります。
開くと、ここに出ます。
楽譜エンジン(TextScore、209KB)は、このページに組み込んであります。TextScore.bgm(譜面) で鳴り、TextScore.OtoSing.singNotes(音符, 設定) で、歌声の波形だけを取り出せます。
ファイルは、このページと同じ場所に置いてあります:otosing.js(歌声の音源)、textscore.js(楽譜エンジン。頭のコメントに、使い方と譜面の書き方)、hodokeru-yoru.txt(この曲の譜面)。