セルフホストAIとは？

モデル以上のもの

ローカルモデルを実行しても、会話、ファイル、メモリ、アカウントデータは使用しているアプリケーションに残ります。セルフホスティングはそのすべてを自分のインフラに移します。

この区別は、推論についてではなく保存されたデータについて義務を負う人すべてにとって重要です。モデルがどこで動くかと履歴がどこに存在するかは別の問いであり、セルフホスティングだけが後者に答えます。

運用上のコスト

アップデート、バックアップ、監視、TLS、そして都合の悪い時間に何かが壊れたときのデバッグを引き受けることになります。それはお金よりも注意力で測られる、実質的で継続的なコストです。

データが本当に他の場所にあり得ないとき、または展開がどのベンダー関係よりも長く存続する必要があるとき、それは価値があります。一般的な予防策としては価値がありません。

セルフホストは切断を意味しない

セルフホストされた展開でも、ホストされたモデルを呼び出すことができます。多くはそうしています。プラットフォームとそのデータはあなたのものであり、能力がデータの外部流出に見合う場合にクラウドプロバイダーが使われます。

外部処理を完全に排除する組み合わせは、セルフホスティングとローカルモデルの組み合わせであり、それは既定値ではなく意図的な構成です。

よくある質問

セルフホスティングはローカルAIと同じですか？

いいえ。ローカルAIはモデルがどこで動くかについてです。セルフホスティングはアプリケーションとそのデータがどこに存在するかについてです。一方だけを持つこともでき、最も強力なプライバシーの立場には両方が必要です。

セルフホスティングは私たちをコンプライアンスに適合させますか？

いいえ。コンプライアンスの物語の一要素にはなり得ますが、コンプライアンスは契約、統制、証拠、監査から成り立っています。ソフトウェアがどこで動くかは多くの要因の一つにすぎません。

運用には何が必要ですか？

ほとんどのプラットフォームでは、コンテナ、データベース、それらを動かす場所、そしてアップデートの道筋を担う人が必要です。最後の部分が最も過小評価されがちです。