01 · CORPUS
学習テキスト
文字数 0
語彙(異なり文字) 0
文字レベルで学習します。連続する空行が多いテキストは、生成時にも改行が多く再現されます。気になる場合は正規化を有効にしてください。複数ファイルを選ぶと連結されます。20万字を超えると欄内はプレビュー表示になりますが、全文が学習に使われます。目安: ナノ〜マイクロは数万〜数十万字、スモール以上は数百万字以上を推奨。
02 · SCALE
規模プリセット
総パラメタ —
有効パラメタ/トークン —
推定学習メモリ —
エキスパート数1でMoE無効(通常の密なFFN)。MoEでは各トークンがtop-k個の専門家だけを使うため、総パラメタが増えても1トークンあたりの計算規模(有効パラメタ)は抑えられます。本実装は選ばれた専門家だけを計算する真のスパース実行のため、有効パラメタの少なさがそのまま速度に効きます。
03 · TRAIN
学習
step 0
loss —
aux —
tok/s —
backend —
WebGPU対応ブラウザでは学習ステップ全体(順伝播・逆伝播・Adam)がGPU常駐で走ります。初回はCPUエンジンとlossおよび全勾配テンソルを突き合わせる自己診断を行い、合格した場合のみGPUを使います。GPU学習中のaux表示は「—」になります(数学は同一)。生成と保存はCPU側で行うため、停止時に重みを自動回収します。
エンジンを初期化中…
04 · SAMPLE
文章生成
top-pは確率上位の候補だけからサンプルする設定です(1.00で無効)。改行や記号など低確率トークンの暴発を抑えます。
まだモデルがありません。初期化して学習するか、保存済みモデルを読み込んでください。
05 · I/O
モデルの保存と読み込み
重み・語彙表・構成をまとめた JSON を端末に保存します(形式: tinylm-lab-v2。GPU版TinyLM Labと相互に読み込み可能)。読み込めば続きから学習できます。すべての処理はこの端末内で完結し、通信は行いません。目安として2,000万パラメタを超えるとファイルが数百MBになり、ブラウザによっては保存に失敗します。