Kimi K3.1 Proはローカルで動く？公開された重みの大きさとライセンスの条件

悠 Yu NiiboriAIエンジニアプロフィール

要点

対象：Kimiを手元のパソコンやサーバーで動かしたい人

Moonshot AIが、AIモデル「Kimi K3.1 Pro」の重みを、11月2日にHugging Faceで公開しました。¹ 重みは、学習で決まった数値（パラメータ）を集めたファイルです。

この記事の目次（4節）

重みが手に入れば、モデルを自分のパソコンや会社のサーバーで動かせます。ただし、ファイルは合わせて約1.56TBあり、パソコンのメモリには載りません。動かすには、データセンター向けのGPUを8基まとめた構成が要ります。

公開されたファイルと主な仕様

Moonshot AIは10月の発表で「11月4日までに重みを公開する」と予告していました。³ 予告より2日早い公開です。Hugging Faceには、重みのファイル、読み込み用のコード、ライセンスのファイルが置かれています。¹

トークンは、AIが文章を区切って扱う単位です。Kimi K3.1 Proは、中に多くの「エキスパート」を持ち、1トークンを処理するたびにその一部だけを使います。この作りをMoE（Mixture-of-Experts）と呼びます。¹

重みは96個のファイルに分かれています。Hugging Faceのファイルの一覧で大きさを足すと、約1.56TBでした（11月5日に確認）。¹

vLLMは、AIモデルをサーバーで動かすソフトです。vLLMの公式の手順（レシピ）では、GPUを8基まとめて1つのモデルを動かします。⁴

NVIDIAの2つの構成は、まず動くことを確かめた基本の形で、処理の速さを上げる調整はしていないと書かれています。⁴ 3つとも、データセンター向けのGPUです。

パソコンに積んだGPUのメモリ（VRAM）にどの大きさのモデルが載るかは、ローカルLLMに要るメモリの計算式で確かめられます。

量子化は、数値1つあたりのビット数を減らして、ファイルを小さくする方法です。Unslothは、AIモデルを量子化したファイルを公開している会社です。

Unslothは11月4日にKimi K3.1 Proのページを作りました。11月5日の時点で置かれているのは元のファイルと同じもので、量子化した小さいファイルはまだありません。⁶

Kimi K3.1 Proの元になったKimi K3では、Unslothが量子化したファイルを出しています。⁵

そのいちばん小さいものでも、約466GBあります。⁵ モデルの名前やファイル名に付く記号の読み方は、ローカルLLMの「8B」「Q4_K」の読み方にまとめています。

ライセンスは「Kimi K3.1-Pro License」という独自のものです。無料で使い、改変し、配布し、販売できます。配るときは、著作権とライセンスの文を一緒に付けます。ライセンス上の名前は、ハイフン付きの「Kimi K3.1-Pro」です。²

規模の大きい製品や事業にだけ、次の2つの条件が付きます。²

使い方	付く条件
月間の利用者が1億人を超える製品か、月間売上が2,000万ドルを超える製品に使う	画面に「Kimi K3.1-Pro」と目立つように表示する
モデルをAPIなどで他社に使わせる事業をしていて、関連会社と合わせた売上が12か月で2,000万ドルを超える	商用で使う前に、Moonshot AIと別途の契約を結ぶ

2つ目の「他社に使わせる事業」は、ライセンスでは「Model as a Service」と呼ばれ、相手がモデルに渡す入力や設定を自分で決められる形のものです。自社の製品の1つの機能に組み込んだだけなら入りません。²

社員だけが使い、モデルの出力も社外に出さない使い方なら、2つの条件はどちらも付きません。² 顧客の問い合わせに答えるチャットボットは社外に出力を出すので、この使い方には入りません。

10月にKimi K3.1 Proの発表を取り上げた記事では、KimiのAPIに書類を送ってよいかを確かめるよう書きました。

重みが公開されたので、自社のサーバーか、クラウドで借りたGPUで動かせば、Moonshot AIにデータを送らずに使えます。

ただし、データセンター向けのGPUを8基そろえられる会社は多くないでしょう。パソコンで試すなら、ローカルLLMの選び方から、メモリに載る大きさのモデルを選んでください。