1. WebAssembly で書かれた LLM 実行環境をブラウザ内で実行(ブラウザだけで完結)
2. ブラウザ拡張から NativeMessaging を使って、ネイティブアプリ(デスクトップアプリ)に接続
私は2を使っているので、モデルはネイティブアプリに常駐。読み直しなしです。
1 だと初回実行時はウェイトの読み込み必須、その後はしばらくはオンメモリですが、破棄された後は再読み込みが必要になります。パラメーター数 2B のモデルだと、読み込みに掛かるのは 1 秒ぐらいじゃないですかね。
1. WebAssembly で書かれた LLM 実行環境をブラウザ内で実行(ブラウザだけで完結)
2. ブラウザ拡張から NativeMessaging を使って、ネイティブアプリ(デスクトップアプリ)に接続
私は2を使っているので、モデルはネイティブアプリに常駐。読み直しなしです。
1 だと初回実行時はウェイトの読み込み必須、その後はしばらくはオンメモリですが、破棄された後は再読み込みが必要になります。パラメーター数 2B のモデルだと、読み込みに掛かるのは 1 秒ぐらいじゃないですかね。
Origin | Interest | Match
Origin | Interest | Match
Origin | Interest | Match
Origin | Interest | Match
Origin | Interest | Match