最近では、今年を「AI時代」と呼ぶのもそれほど大げさではありません。スマートフォン、ノートパソコン、さらには仕事のタスクに至るまで、AIツールは今や至るところに存在します。しかし、問題は、これらのAI機能のほとんどがかなり高性能なハードウェアを必要とすることです。古いPCや低スペックのシステムを使っている場合、最新のAIモデルやツールを実行しようとしても、うまくいかないことに気づいているかもしれません。では、どうすればよいのでしょうか？幸いなことに、軽量モデルを使用したり、オンラインソリューションを利用したりすることで、低スペックのマシンでもAIを利用する方法はまだあります。つまり、たとえ数年前のPCであっても、この分野で活躍するために高性能なマシンは必要ありません。このガイドでは、古いシステムでローカル大規模言語モデル（LLM）を実行できるかどうか、また、システムをクラッシュさせることなくうまく動作する軽量モデルはどれかについて解説します。
RAM容量が少なく、古いハードウェアを搭載したPCで、ローカル環境でAIを実行することは可能ですか？
つまり、ほとんどのAIモデルが古いハードウェアで動作しない主な理由は、十分なRAMと処理能力を必要とするためです。GPT-4などのLLMは、実用的な処理を行うために、多くの場合16GB以上のRAMと高性能なGPUといった多くのリソースを必要とします。しかし、ここで少し隠れた事実があります。一部の小型軽量LLMは、特にローエンドPC向けに設計されています。本格的なGPT-4のような複雑なタスクは処理できませんが、基本的な処理であれば、驚くほどの性能を発揮することがあります。大きなモデルを実行しようとしたときに画面が真っ白になったり、頻繁にクラッシュしたりするような症状が現れた場合は、お使いのハードウェアに適した代替案を探す必要があるでしょう。
LLMを実行するために必要な仕様は何ですか？
万能な答えはありません。ハードウェア要件は、検討しているモデルによって大きく異なります。軽量モデルの中には、4GB～8GBのRAMで動作するものもありますが、より重いモデルでは、16GB以上のRAMと十分な専用GPUが必要になる場合があります。通常は、可能であれば少なくとも8コアのCPUが望ましいですが、それでもスムーズに動作するとは限りません。一部の構成では、スペックを少しずつ上げていくことで改善される場合もありますが、正直なところ、ほとんどの人は手持ちのリソースを最大限に活用しようとしています。複雑さも異なります。単にボットとチャットしたいだけなら、DistilBERTのような小型モデルで十分かもしれませんが、完全なGPT-3となると、クラウドやオンラインサービスを設定する覚悟がない限り、おそらく実現しないでしょう。
古いPCでAIを実行するにはどうすればいいですか？
要は、お使いのシステムが推奨スペックに満たない場合でも、慌てる必要はありません。基本的に2つの方法があります。オンラインAIチャットボットを使用するか、より小規模で専門的なモデルをローカルで実行するかです。ウェブブラウザ経由のChatGPTのようなオンラインチャットボットは、ほとんどの会話ニーズに対応できるほど強力です。これらはクラウドサーバーに依存しているため、古いPCのハードウェアがボトルネックになることはありません。ただし、プライバシー上の理由やインターネットの遅延を回避するためなど、ローカルでホストするAIの方が良いと思われる場合は、DistilBERTやALBERTのような軽量モデルを検討してみてください。これらのモデルは要求スペックが低くなるように設計されており、適切に設定すれば4～8GBのRAMを搭載したPCでも動作します。
もう一つのコツは、Dockerをインストールすることです。理由は定かではありませんが、Dockerコンテナ内でモデルを実行すると、互換性が向上し、管理しやすくなる場合があります。HuggingFaceやGitHubなどのソースWebサイトにインストール手順が記載されている場合は、それに従って慎重に進めてください。必要な依存関係やソフトウェアのアップデートにも注意してください。WindowsやLinuxシステムでは、ライブラリの不足やバージョンの不一致などにより、計画が狂ってしまうことがあるからです。
古いWindows PCで動作する最適なLLMプログラム
ここからが面白いところです。低スペックのハードウェア向けに設計された、軽量なLLM（論理言語モデル）がいくつか存在します。今のところ、DistilBERTとALBERTが最良の選択肢と言えるでしょう。これらは、BERTやGPTのような巨大モデルの「小型化、高速化、低価格化」版とも言えます。サイズが小さいため、RAMやCPUサイクルを大量に消費することはありません。ある環境では、DistilBERTは簡単なタスクをクラッシュすることなく軽々とこなしましたが、別の環境では、複雑なプロンプトの処理に苦戦しました。ALBERTも同様で、似たようなモデルですが、構築方法が異なります。RAMが8GBある場合は、GPT Neo 125Mも選択肢の一つです。オープンソースで柔軟性があり、低スペックのハードウェアでもGPT-2とほぼ同等のパフォーマンスを発揮します。
LLMチャットボットのインストール方法
インストール方法は、モデルによって大きく異なります。プリビルド済みのバイナリやDockerイメージが付属しているものもあれば、GitHubリポジトリをクローンしてスクリプトを手動で実行する必要があるものもあります。まず、お使いのPCのハードウェアを確認し、適切な軽量モデルを選択してください。次に、DockerのサイトからDockerを入手します。Dockerを使用すると、システムの依存関係をいじることなく、さまざまなモデルを隔離された環境で簡単に実行できます。その後、HuggingFaceやGitHubなどから目的のモデルを見つけて、それぞれのインストール手順に従います。通常は、コンテナイメージをダウンロードするか、Python環境をセットアップして依存関係をインストールするだけですが、場合によっては設定ファイルやスクリプトを微調整する必要があることもあります。リソースの使用状況には注意してください。古いPCでは簡単に過負荷になり、クラッシュの原因となります。
はい、モデル実行中にタスクマネージャーやプロセス一覧を監視すると役立つ場合があります。PCが唸り始めたり過熱したりしたら、負荷を下げたり不要なアプリを閉じたりするサインです。なぜ一部のモデルは数時間後でも問題なく動作するのかは不明ですが、多少の試行錯誤が必要になる場合もあることをご了承ください。