PLaMo 3 Translate 0.8B LiteRT-LM

Built with PLaMo

English

.litertlm conversions of PLaMo 3 Translate 0.8B that run in the browser with LiteRT-LM and WebGPU. Translation runs on the user's own GPU, so the text stays in the browser. This is an unofficial conversion, not provided or endorsed by Preferred Networks (PFN). For the model itself, see the original model card.

Demo: try these models in your browser at PLaMo Translate Demo.

File Size Weights Notes
plamo-3-translate-0.8b-int8.litertlm 913 MB int8 Default. Closest to the original. About 2 GiB of GPU memory.
plamo-3-translate-0.8b-int4-qat.litertlm 582 MB int4 after QAT (embeddings int8) Smallest and fastest. About 1.3 GiB of GPU memory. See About int4-qat.
plamo-3-translate-0.8b-int4.litertlm 582 MB int4 without training (embeddings int8) Same size and speed as int4-qat. Only the weight precision differs from the original.

GPU memory is for a context length of 2048 tokens, measured on one integrated GPU.

Requirements: a browser with WebGPU, and @litert-lm/core 0.19.0. The files load only with the GPU backend.

import {Backend, Engine, SamplerType} from '@litert-lm/core';

const contextLength = 2048;  // Input plus output, up to 32768
const engine = await Engine.create({
  model: '/models/plamo-3-translate-0.8b-int8.litertlm',
  backend: Backend.GPU,
  mainExecutorSettings: {maxNumTokens: contextLength},
});
// One conversation per translation. Options: target_lang (required), source_lang, form, context, glossary.
const conversation = await engine.createConversation({
  preface: {extra_context: {target_lang: 'ja', source_lang: 'en'}},
  sessionConfig: {
    maxOutputTokens: contextLength,
    samplerParams: {type: SamplerType.GREEDY, k: 1, p: 1, temperature: 1, seed: 1},
  },
});
for await (const chunk of conversation.sendMessageStreaming('Hello, world!')) {
  for (const item of chunk.content) if (item.type === 'text') console.log(item.text);
}
await conversation.delete();

The options and language codes are those of the original model. Converted from revision 8b4d42855622 of the original.

About int4-qat

int4-qat holds weights adjusted by quantization-aware training (QAT) so that they lose less at int4. The other files only change the weight precision of the original.

  • Training: distillation from the original model on about 25,000 passages from Wikipedia, FineWeb and FineWeb-2, with the original model's translations as targets. 2 epochs, computed in float32. The linear layers and lm_head were trained on the int4 grid of this file (symmetric, 32-element blocks, the MIN_MAX rule of ai-edge-quantizer). Embeddings are int8, as in int4.
  • Effect: small. The table shows agreement with the original model on 256 held-out passages, measured in PyTorch (float32) with the same weight values as each file.
  • Scope: the trained weights fit only this int4 grid and are not published separately. Other 4-bit formats, such as GGUF, round the weights again and are not expected to keep the effect.
File KL divergence Same top token Same greedy output
int4 0.0565 95.6% 29.3%
int4-qat 0.0368 96.4% 32.4%

In the browser, int4-qat and int4 matched the original on 6 and 7 of 10 short test texts, and their mean similarity on 4 long texts was 0.974 and 0.906.

日本語

PLaMo 3 Translate 0.8B を .litertlm に変換したものです。LiteRT-LM と WebGPU を使い、ブラウザの中で翻訳できます。翻訳は利用者の GPU で動くので、文章はブラウザの外に出ません。非公式の変換であり、株式会社 Preferred Networks (PFN) が提供または保証するものではありません。モデル自体については、元のモデルカードを参照してください。

デモ: PLaMo Translate Demo で、ブラウザから試せます。

ファイル 大きさ 重み 説明
plamo-3-translate-0.8b-int8.litertlm 913 MB int8 標準。元の実装にいちばん近い。GPU メモリは約 2 GiB。
plamo-3-translate-0.8b-int4-qat.litertlm 582 MB QAT で学習した int4 (埋め込みは int8) いちばん小さく速い。GPU メモリは約 1.3 GiB。「int4-qat について」を参照。
plamo-3-translate-0.8b-int4.litertlm 582 MB 学習なしの int4 (埋め込みは int8) 大きさと速さは int4-qat と同じ。元のモデルとの違いは重みの精度だけ。

GPU メモリは、コンテキスト長 2048 トークンのときの値で、内蔵 GPU 1 台で測りました。

必要なもの: WebGPU が使えるブラウザと、@litert-lm/core 0.19.0。読み込めるのは GPU バックエンドだけです。

コードは上の English の例と同じです。翻訳ごとに conversation を作り、オプション (target_lang は必須。ほかに source_lang、form、context、glossary) を extra_context で渡します。オプションと言語コードは、元のモデルと同じです。元のモデルのリビジョン 8b4d42855622 から変換しました。

int4-qat について

int4-qat は、int4 にしたときの劣化が小さくなるように、量子化を意識した学習 (QAT) で重みを調整したものです。ほかのファイルは、元のモデルの重みの精度を変えただけです。

  • 学習: Wikipedia、FineWeb、FineWeb-2 の約 25,000 件の文章を元のモデルに訳させ、その訳文を目標にした蒸留です。2 エポック、float32 で計算しました。線形層と lm_head は、このファイルの int4 の格子 (対称、32 要素ブロック、ai-edge-quantizer の MIN_MAX の規則) の上で学習しています。埋め込みは int4 と同じ int8 です。
  • 効果: 小さいです。下の表は、学習に使っていない 256 件での元のモデルとの一致で、各ファイルと同じ重みの値を使い、PyTorch (float32) で測りました。
  • 使える範囲: 学習した重みはこの int4 の格子にだけ合っていて、単体では公開していません。GGUF などほかの 4 ビット形式では重みが丸め直されるので、効果は残らない見込みです。
ファイル KL ダイバージェンス 最上位トークンの一致 greedy の出力が一致
int4 0.0565 95.6% 29.3%
int4-qat 0.0368 96.4% 32.4%

ブラウザでは、短文 10 件のうち元のモデルと一致したのは int4-qat が 6 件、int4 が 7 件でした。長文 4 件の類似度の平均は 0.974 と 0.906 でした。

License / ライセンス

These files are derived from PLaMo 3 Translate 0.8B and are distributed under the PLaMo Community License (revised on November 9, 2026). Full text: English, Japanese. Using them means agreeing to that license. If you provide these files, or a service that uses them, to others, the license requires you to provide a copy of it and to state "Built with PLaMo". Commercial use requires registration in advance through the PLaMo Commercial Use Registration Form. This is a summary; the full text takes precedence.

これらのファイルは PLaMo 3 Translate 0.8B の派生物で、PLaMo コミュニティライセンス (2026 年 11 月 9 日改定) のもとで配布します。全文: 日本語、English。利用すると、このライセンスに同意したことになります。これらのファイルや、これらを使ったサービスを第三者に提供するときは、ライセンスのコピーを提供し、「Built with PLaMo」と明示する必要があります。商用利用には、PLaMo 商用利用登録フォームからの事前の登録が必要です。これは要約で、ライセンスの全文が優先します。

Downloads last month
70
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for OS-Software/plamo-3-translate-0.8b-litert-lm

Quantized
(22)
this model