ClawAIによるプライベート・ローカルデプロイ

ローカルで実行すると実際に何が変わるか

ClawAIのカタログにある他のクラウドプロバイダーは、自社のインフラストラクチャ上でモデルを実行し、リクエストごとに課金します。一方Ollamaとllama.cppは、オープンウェイトのモデルを自分の管理下にあるハードウェアに読み込むため、リクエストがそこから外に出ることはありません。これによって変わるのは誰がリクエストを見られるかであり、個々のモデルの能力そのものではありません。

Local-OnlyとPrivacy-Firstのルーティングモード

Local-Onlyルーティングは、クラウドプロバイダーではなくOllamaやllama.cppを使い、すべてのリクエストを自分の管理下にあるハードウェアに留めます。Privacy-Firstルーティングは、独自の優先事項を持つ別のモードです。この2つが存在するのは、すべてのワークロードがAutoルーティングを既定とすべきではないからであり、どちらを選ぶかは、そのまま放置してよい既定値ではなく、意図的に判断すべき決定です。

プライベート・ローカルなワークロードが合う場面

プライベートまたはローカルなワークロードを定義するのは、タスクの種類ではなく、リクエストがどこで実行されるかです。何も自分の管理下にあるハードウェアの外に出てはならないという要件さえ満たせば、コーディング、ライティング、リサーチのどれもこの形で実行できます。検討すべきトレードオフについては、下記リンクの「プライベート・ローカル環境向けモデルの選び方」と「ローカルファーストAIとは」をご覧ください。

よくある質問

Local-OnlyとPrivacy-Firstのルーティングの違いは何ですか?

Local-Onlyは、Ollamaまたはllama.cppを介して、すべてのリクエストを自分の管理下にあるハードウェアに留めます。Privacy-Firstは独自の優先事項を持つ別のルーティングモードです。この2つが存在するのは、すべてのワークロードがAutoルーティングを既定とすべきではないからです。

ローカルで実行するにはどのオープンウェイトモデルを選ぶべきですか?

このページでは特定のモデルをおすすめしません。適したモデルはあなたのハードウェアとタスクによって決まるため、下記リンクの「ローカルファーストAIとは」で考え方をご覧ください。

ローカルで実行できるのは特定の種類のタスクだけですか?

プライベートまたはローカルなワークロードを定義するのはタスクの種類ではなく、リクエストがどこで実行されるかです。自分の管理下にあるハードウェアに留めることがどのタスクよりも重要であれば、コーディング、ライティング、リサーチのどれもこの形で実行できます。