FIELD NOTES / 2026

HUMAN × AI
OBSERVATION LOG

LOG ENTRY / post

音符とかなで歌わせる — 39KBの歌声合成を作って分かったこと

音符とかなで歌わせる — 39KBの歌声合成を作って分かったこと

テキスト譜スタジオの演奏エンジンに、歌声を楽器として足した。音符の行の下に、かなの行を書くと歌う。

@uta voice vol=1.0 rev=0.35
E4 G4 G4 A4 | G4 D4:2 -:1 |
まどのそとに

録音は1つも使っていない。全部計算で、音源は JavaScript 1ファイル、39KB。Claude と作った。

見本として、3分19秒の歌つきリキッド・ドラムンベースを1曲鳴らせるページを置いた。仕組みと、部品ごとの音と、測った値も同じページにまとめてある。どんな声かは、聴いてもらうのが早い。

→ OtoSing 歌声合成

同じような物を自分で作ってみたい人の参考になればと思って、やってみて分かったことを書いておく。

いちばん古くて軽いやり方

9月のボイスラボは、肺から口唇までを物理で解いた。今回は逆で、いちばん古くて軽いやり方にした。声帯にあたる波を作って、口の形にあたる共鳴に通す。ソース・フィルタと呼ばれる方式で、新しい技術は何も使っていない。

段やっていること
声帯の波ゆっくり開いて、すばやく閉じる波。開いている割合と閉じ方の鋭さで、地声・裏声・囁きを作り分ける
口の共鳴共鳴を3つ並べて通す。高さは母音ごとの表から
子音と息雑音を別の共鳴に通して足す
高さばねのような追いかけ方で次の音へ移る。跳ぶほどゆっくり、少し行きすぎて戻る

1標本ずつ計算するのは波と共鳴だけで、口の形や高さは0.5ミリ秒ごとに更新する。出力は32kHzのモノラル。測った環境では、1分の歌を0.3秒ほどで計算する。

ここまでは教科書どおりで、すぐ鳴る。問題はそのあとだった。

高い声では、母音が消える

いちばん手こずったのがこれ。声が高くなると倍音の間隔が広がって、共鳴の山に倍音が1本も乗らなくなる。D5(約600Hz)あたりから上で、「あ」も「い」も区別がつかなくなっていく。女声や子供の声で歌わせると、すぐにこの高さに届く。

効いたのは3つ。

  • 第1共鳴を、声の高さのすぐ上へ逃がす。ソプラノ歌手が高い音であごを開けるのと同じ理屈らしい。
  • 奥の母音(う・お)だけ第3共鳴を弱めて、明るさの差を残す。
  • 音符の頭に、一瞬だけ息の雑音を足す。雑音は倍音のすき間を埋めるので、共鳴の形が聞こえる。

3つめは、あとで囁きの話につながる。

音符ごとに、大きさが15dBも変わる

同じ強さで歌わせているのに、音符によって音量がばらばらになる。倍音がたまたま共鳴の山に乗った音符だけ、大きく鳴るからだ。倍音ごとの通り方から大きさを先に見積もって、8割ほど打ち消している。全部は打ち消さない。母音ごとの自然な差まで消えてしまう。

子音は「口のどこで閉じたか」で決まる

最初の子音は、どれも「母音と、あいまいな口の形のあいだ」から始めていた。これだと、ぱ・た・か が聞きわけられない。

どこで閉じた音かの手がかりは、雑音だけでなく、前後の母音の共鳴がどこへ向かって動くかにもある。唇で閉じる音、歯ぐきで閉じる音、奥で閉じる音で、共鳴の出発点が違う。そこから母音へ動かすようにして、破裂(閉じる → はじける → 短い息)と鼻音(低いこもった音)を作り分けたら、聞きまちがいが大きく減った。数字は下に書く。

この作りは、別に作っていた話し声の合成から移した。逆に、語中の が行 を鼻にかける工夫は、聞きまちがいが増えたのでやめた。

子音は拍の前に置く

拍に合うのは、母音の頭だ。子音を拍から始めると、歌が遅れて聞こえる。

子音の長さを決め打ちにしていたころは、速い曲で歌詞がだんだん遅れていった。170BPMの8分音符が続くと、平均で0.42秒。次の拍までに収まらないときは子音を45%まで縮めるようにして、192BPMの8分音符でも、遅れは最大0.013秒になった。

聴けない相手に、どう調整させるか

Claude は自分で作った音を聴けない。楽器のときは、数値で詰めたものをこっちが聴いて返す、でやっていた。歌詞の聞き取りやすさは、それでは回らない。変更のたびに何十文も聴くことになる。

そこで、歌わせた文を音声認識にかけることにした。正解と認識結果をどちらも音素に直して、子音がいくつ別の音になったかを数える。

音声認識のモデル前の子音作り直した子音
ReazonSpeech35.3%8.2%
SenseVoice37.6%9.0%
Whisper small23.1%15.3%

調整に使っていない30文を、男女のふつうの高さ・女声の高い声・速いテンポの5条件で歌わせたときの、子音の聞きまちがいの割合。

やってみて分かった注意点。

  • 数値そのものは信用しない。前後の差だけ見る。 認識器は、文として自然なほうへ寄せて聞く。「ほんをさんさつかりた」が「本の散策書いた」になったりする。
  • モデルは複数使う。 作りの違うものを3つ。1つだけだと、そのモデルの癖に合わせて調整してしまいそうなので。
  • 調整に使う文と、確かめるだけの文を分ける。 Whisper は調整中にずっと見ていたモデルで、調整用の文では9.7%まで下がったのに、確かめ用の文では15.3%だった。合わせすぎた分がそのまま出ている。機械学習でいう過学習を、手作業の調整でもやる。
  • 聞き手は機械で、人の耳ではない。 高い帯域の雑音を「さ行」と取りちがえる、みたいな癖もたぶんある。

仕上がりは結局、自分が聴いて、直してほしい所を言う。機械に聞かせるのは、そのあいだの何十回もの試行を、聴かずに回すためのもの。

囁きの息は、どの共鳴に通すかで高さが変わる

聴いて直した例をひとつ。有声のまま息がもれつづける、囁くような歌い方を足したとき、高い裏声で歌わせると、息の音程が低すぎた。声は高いのに、息だけ下で鳴っている。

Claude に測ってもらうと、息の雑音の重心が約1kHzだった。息を3つの共鳴に同じように通していたので、いちばん低い共鳴の分が目立っていた。低い共鳴から外すと、重心は3kHzあたりまで上がる。

ただし、やりすぎると母音が分からなくなる。第2共鳴の息まで外すと、音声認識での子音の聞きまちがいが28%から85%になった。上の「音符の頭に息を足す」と同じ理屈で、高い声の母音は、息にかなり頼っている。

地味だが効いた2つ

前の音を変えない仕組みを、先に作る。 乱数の種が同じなら、1標本も違わない波形になるようにしてある。新しい機能は、使わなければ前と同じ波形になることを照合してから入れる。作っている側が聴いて確かめられない以上、「変えていないはずの所が変わっていない」を機械的に確かめるしかない。それでも一度、足した変数の名前が外の名前と重なって、歌詞のない音符だけが止まる不具合を出した。確認に、その場合が入っていなかった。

休みのあいだに、計算が何倍も遅くなる。 音が止まると、共鳴の中の値は0へ向かって小さくなりつづけて、非正規化数という、CPUが極端に苦手な領域に入る。見本の曲の歌4本の計算に12秒かかっていたのが、十分小さくなった値を0に切るだけで、4秒になった。出力は1標本も変わらない。3分の曲を作って初めて気づいた。短い曲ばかり試していると見つからない。

できないこと

  • 日本語の、かなだけ。母音の無声化(です・した)やアクセントは扱わない。高さは音符で決まる。
  • 高い声、囁き、早口ほど、歌詞は聞き取りにくい。見本の曲の歌い方だと、音声認識での子音の聞きまちがいは18〜23%。
  • 歌は鳴らす前にまとめて計算するので、見本の曲は最初に数秒待つ。
  • 確かめたのは Chrome 系のブラウザだけ。

AIに組み込ませる前提

楽譜エンジン(209KB、依存なし)の頭には、使い方と譜面の書き方とコツを、コメントで18KBぶん入れてある。AIにこの1ファイルだけ渡して、作品に組み込ませるためのもの。手引きに書いた書き方が本体と合っているかは、機械的に照合している。ただ、それだけ読んだ別のAIが実際に良い曲を書けるかどうかは、まだ試していない。

音源も譜面も、見本のページから読める。

→ OtoSing 歌声合成