Transformers documentation

Webサーバーでの推論

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Webサーバーでの推論

Webサーバーとは、リクエストを待ち受け、到着したリクエストに応じて応答を返すシステムです。つまり、Webサーバー上でPipelineを推論エンジンとして使用できます。これは、イテレータ(データセットをイテレートするのと同様の方法)を使用して、各着信リクエストを処理できるためです。

Pipeline を用いた Web サーバーの設計は、根本的に異なる点があるため、独特なものです。Web サーバーは、マルチスレッドや非同期処理などの多重化により、複数のリクエストを並行して処理します。一方、Pipeline とその基盤となるモデルは、メモリを大量に消費するため、並列処理を前提として設計されていません。したがって、Pipeline を実行中、特に計算負荷の高いジョブの場合には、利用可能なリソースをすべて割り当てるのが最善です。

このガイドでは、Pipelineの実行という重い処理を単一のスレッドで処理し、リクエストの受信と送信という比較的軽い処理をWebサーバーで処理することで、この違いを回避する方法を示します。

サーバーの作成

Starletteは、Webサーバーを構築するための軽量フレームワークです。他の任意のフレームワークを使用することもできますが、以下のコードにいくつかの変更を加える必要がある場合があります。

開始前に、Starlette と uvicorn がインストールされていることを確認してください。

!pip install starlette uvicorn

server.pyファイルにシンプルなWebサーバーを作成できます。不要なコピーがメモリを消費するのを防ぐために、モデルを一度だけ読み込むことが重要です。

[MASK] を埋めるためのパイプラインを作成します。

from starlette.applications import Starlette
from starlette.responses import JSONResponse
from starlette.routing import Route
from transformers import pipeline
import asyncio

async def homepage(request):
    payload = await request.body()
    string = payload.decode("utf-8")
    response_q = asyncio.Queue()
    await request.app.model_queue.put((string, response_q))
    output = await response_q.get()
    return JSONResponse(output)

async def server_loop(q):
    pipe = pipeline(task="fill-mask",model="google-bert/bert-base-uncased")
    while True:
        (string, response_q) = await q.get()
        out = pipe(string)
        await response_q.put(out)

app = Starlette(
    routes=[
        Route("/", homepage, methods=["POST"]),
    ],
)

@app.on_event("startup")
async def startup_event():
    q = asyncio.Queue()
    app.model_queue = q
    asyncio.create_task(server_loop(q))

次のコマンドでサーバーを起動します。

uvicorn server:app

POST リクエストでサーバーにクエリを送信します。

curl -X POST -d "Paris is the [MASK] of France." http://localhost:8000/

これにより、以下の出力が返されるはずです。

[{'score': 0.9969332218170166,
  'token': 3007,
  'token_str': 'capital',
  'sequence': 'paris is the capital of france.'},
 {'score': 0.0005914849461987615,
  'token': 2540,
  'token_str': 'heart',
  'sequence': 'paris is the heart of france.'},
 {'score': 0.00043787318281829357,
  'token': 2415,
  'token_str': 'center',
  'sequence': 'paris is the center of france.'},
 {'score': 0.0003378340043127537,
  'token': 2803,
  'token_str': 'centre',
  'sequence': 'paris is the centre of france.'},
 {'score': 0.00026995912776328623,
  'token': 2103,
  'token_str': 'city',
  'sequence': 'paris is the city of france.'}]

リクエストのキューイング

サーバーのキューイング機構は、動的バッチングのような興味深いアプリケーションに利用できます。動的バッチングでは、Pipelineで処理する前に、複数のリクエストをまず蓄積します。

以下の例は、パフォーマンスではなく可読性を重視して擬似コードで記述されています。特に、以下の点に注目してください。

  1. バッチサイズに制限はありません。

  2. タイムアウトはキューのフェッチごとにリセットされるため、リクエストの処理を開始するまで、timeout の値よりもはるかに長い時間待たされる可能性があります。これにより、最初の推論リクエストも同様の時間だけ遅延します。Web サーバーはキューが空の場合でも常に 1ms 待機しますが、その時間は推論の開始に活用できるため非効率です。ただし、バッチ処理が使用ケースに必須である場合は、この動作が合理的である可能性があります。

    fetchのたびにリセットするのではなく、以下に示すように単一の1msの期限を設定する方が望ましいです。

async def server_loop(q):
    pipe = pipeline(task="fill-mask", model="google-bert/bert-base-uncased")
    while True:
        (string, rq) = await q.get()
        strings = []
        queues = []
        strings.append(string)
        queues.append(rq)
        while True:
            try:
                (string, rq) = await asyncio.wait_for(q.get(), timeout=1)
            except asyncio.exceptions.TimeoutError:
                break
            strings.append(string)
            queues.append(rq)
        outs = pipe(strings, batch_size=len(strings))
        for rq, out in zip(queues, outs):
            await rq.put(out)

エラーチェック

本番環境では、さまざまな問題が発生する可能性があります。メモリ不足、ディスク容量不足、モデルの読み込み失敗、モデル設定の誤り、クエリの誤りなど、考えられるケースは多岐にわたります。

try...exceptステートメントを追加すると、デバッグのためにこれらのエラーをユーザーに返すのに役立ちます。ただし、特定の情報を開示すべきでない場合、セキュリティ上のリスクとなる可能性がある点にご注意ください。

サーキットブレイキング

サーバーが過負荷になった場合、ユーザーに無制限に待たせるのではなく、503 または 504 エラーを返すようにしてください。

これらは単一のキューのみで構成されるため、実装は比較的簡単です。サーバーが負荷に耐えきれず失敗する前に、キューのサイズを確認して、いつからエラーを返すべきかを判断してください。

メインスレッドをブロックする

PyTorch は非同期処理に対応していないため、計算がメインスレッドの実行をブロックします。

そのため、PyTorch は独立したスレッドまたはプロセスで実行する方が望ましいです。単一リクエストの推論が特に長い場合(1秒以上)は、その重要性が一層高まります。推論中に発生したすべてのクエリは、エラーを受け取る前に1秒間待たなければならないためです。

動的バッチング

バッチ推論の詳細については、そちらを参照してください。

Update on GitHub