Web上で走るLLM

An LLM Running on the Web

公開されているcdnを利用してWeb上でローカルに実行されるLLMを作ってみた（コードはこちら）。現在、普通に使えるLLMは皆クラウド上の高性能サーバー上で実行されているが、このLLMは完全にPC上で実行されている。処理速度は著しく遅いが、将来的にはローカルPCの性能アップで速くなるだろう。最近の新しめのPCの場合、下のフィールドに入力してからEnterキーを押す前にWebGPUにチェックを入れておくと実行が早くなる。I built an LLM that runs locally in a web browser using publicly available CDNs(CODE is here). Currently, most LLMs that are practical for everyday use run on high-performance cloud servers, but this one runs entirely on a local PC. Its processing speed is significantly slower, but it should become faster in the future as local PC performance improves. On relatively new PCs, performance can be improved by checking the WebGPU option before pressing the Enter key after entering text in the field below.