2026-08-22T12:00:00+09:00

ブラウザで学習するMoE言語モデルを作った

tf.jsでRMSNorm・RoPE・SwiGLU・MoEを積んだ文字レベル言語モデルをブラウザ内で学習できるようにした。スマホ10分からサーバ級まで5段階。開発中に踏んだバグと診断の記録。