60歳エンジニアが解説！ローカル環境でAIモデルに独自の知識を追加する方法（ネットで調べてみた）

はじめに：なぜ自分の知識をAIモデルに追加するのか
AIモデルに知識を追加する3つの方法
ローカルで動かすAIモデルの速度テスト
再学習（Retraining）とは何か？
RAG（Retrieval-Augmented Generation）の仕組みと特徴
コンテキストウィンドウでの一時的な知識追加
実際の手順：ChatGPTやLlamaでの知識追加方法
まとめ：あなたのニーズに合った方法を選ぼう

1. はじめに：なぜ自分の知識をAIモデルに追加するのか

こんにちは！60歳でエンジニアをしている私から、AIの知識をどんどん活用したいという皆さんに役立つ情報をお届けします。AIを使うと、効率的に情報を活用できるようになりますよね。でも、ChatGPTやLlamaなどのAIモデルは基本的に一般的な知識を元にしているため、自分の業務や趣味の内容を反映させるのが難しいこともあります。そこで、自分のドキュメントや資料を使ってAIモデルに「自分だけの知識」を加える方法について解説していきます。

2. AIモデルに知識を追加する3つの方法

AIモデルに知識を追加するための方法は主に以下の3つです。それぞれの方法には特徴があり、適した場面も異なります。

再学習（Retraining）：モデル自体に知識を組み込む（長期的な知識の追加）
RAG（Retrieval-Augmented Generation）：外部データベースから必要な情報をリアルタイムで取得する（柔軟な情報取得）
コンテキストウィンドウでのドキュメントアップロード：一時的にドキュメントを読み込ませる（即時の知識追加）

次のセクションで、それぞれの方法について詳しく見ていきましょう。

3. ローカルで動かすAIモデルの速度テスト

まずはローカルでAIモデルを動かすとどれくらいの速度が出せるか見てみます。今回の環境はNvidia RTX 6000を2枚搭載したワークステーションです。このマシンで1億パラメータのモデルを動かしたところ、毎秒300トークンという速さで生成が可能でした。一方、700億パラメータのモデルを動かすと20トークン毎秒に速度が落ちますが、通常の作業には十分な速さです。

4. 再学習（Retraining）とは何か？

再学習は、AIモデルに長期的な知識を追加する方法です。例えば、特定の業界や分野の深い知識をAIに覚えさせたい場合に適しています。ただし、この方法には高性能なハードウェアが必要で、再学習にはデータセンター級のGPUや膨大な計算リソースが必要となるため、初心者向けの方法ではありません。再学習が必要な場合は、専門的な知識を持つ技術者にサポートを依頼するのも手です。

5. RAG（Retrieval-Augmented Generation）の仕組みと特徴

RAGは、必要な情報を外部のデータベースやドキュメントからリアルタイムで取得する方法です。再学習のようにAIに情報を「覚えさせる」わけではなく、質問に答えるときだけ関連情報を検索して回答します。例えば、業界ニュースや法改正のように頻繁に更新される情報が必要な場合にとても便利です。この方法は柔軟性が高く、いつでも最新のデータを参照できるため、長期的な知識追加の必要がない場合に最適です。

6. コンテキストウィンドウでの一時的な知識追加

一時的にドキュメントをAIに追加して、すぐに回答させたいときに便利なのが、コンテキストウィンドウでのドキュメントアップロードです。例えば、ChatGPTには「アップロード」ボタンがあり、これを使ってファイルを読み込ませることで、そのドキュメントの情報を使って質問に答えさせることができます。ただし、セッションが終了するとAIはその情報を忘れてしまうため、毎回アップロードが必要です。短期間での使用や一時的なドキュメント参照に適しています。

7. 実際の手順：ChatGPTやLlamaでの知識追加方法

それでは、具体的にChatGPTやLlamaにドキュメントを追加する手順を見ていきましょう。

ChatGPTでの知識追加
ChatGPTでは「Explore GPTs」メニューから「Create」を選び、カスタムGPTを作成することができます。ドキュメントをアップロードし保存すれば、その内容をもとに質問に回答するカスタムGPTが完成します。簡単に自分専用のAIを作成できるので、すぐにでも試してみましょう！
Llamaでの知識追加
Llamaの場合は、Open Web UIというインターフェースを使用します。まず、「Documents」フォルダに必要なドキュメントを追加し、「スキャン」を実行することでデータベースとして登録されます。これにより、LlamaはRAGを使ってリアルタイムでデータベースから情報を引き出し、質問に対して最適な回答を返します。