Mac mini M4でローカルLLM失敗談|メモリ帯域幅が全てだった

AIツール

Mac mini M4でローカルLLM失敗談|メモリ帯域幅が全てだった

ローカルLLM(大規模言語モデル)を快適に動かすため、私はMac mini M4(無印)を購入した。ユニファイドメモリは24GB。価格は20万円程度だった。

以前はNVIDIA RTX 3060 12GBでLM Studioを使ってLLMを稼働させていた。VRAM 12GBは決して多くないが、7B〜13Bパラメータのモデルを動かすには十分だった。

しかし、実際にMac mini M4を使ってみると「どうにも回答が遅い」。一度GPU(RTX)の速さに慣れてしまうと、この遅さにはイライラしてしまった。

結論から言うと:メモリ帯域幅が全て

Mac mini M4の遅さの原因は、ユニファイドメモリの帯域幅がRTX 3060の約3分の1だったことにあった。

RTX 3060 12GB(GDDR6)

  • メモリインターフェース:192bit
  • メモリ速度:GDDR6 15Gbps
  • 帯域幅:約360GB/s
  • VRAM容量:12GB

Mac mini M4(LPDDR5)

  • メモリインターフェース:128bit
  • メモリ速度:LPDDR5-6400
  • 帯域幅:約120GB/s
  • ユニファイドメモリ容量:24GB

容量は2倍になったが、帯域幅は3分の1。LLMはモデル全体をメモリから読み込んで推論するため、帯域幅が遅いとどれだけ容量があっても処理速度は上がらない。

「回答が遅い」とは、具体的にどういうことか?実際にLLMを使って作業をしていると、この遅さは致命的です。コーディング中にコード補足を頼んだり、文章の添削を頼んだり——そのたびに数秒〜十数秒待つ。バッチ処理で夜間cronを回すなら待てますが、対話型の作業では、待ち時間が作業リズムを完全に崩します。

せっかちなのかもしれません。しかし、一度RTX 3060の「即答」を体験してしまうと、この遅さには本当にイライラします。

AI活用は必須——ゲームチェンジが始まっている

今や「AIブーム」という言葉では済まされない。完全にゲームチェンジが始まっている。

生産現場でのAI活用は、もはや「やれば有利」ではなく「やなければ生き残れない」段階に入りつつあります。

ローカルLLMは、そんな時代の選択肢の一つです。クラウドAPIに依存しない、プライバシーを守った、通信遅延のないAI環境。しかし、そのためには「速さ」が必須です。待ち時間の多い環境は、作業効率を下げるだけでなく、AI自体を使わなくなる原因になります。

「容量は十分なのに遅い」——この違和感を解消するために、メモリ帯域幅の重要性を理解しておく必要があります。

Apple Siliconの仕組み——CPUとGPUでメモリを共有

Apple Silicon(Mチップ)の最大の特徴は、CPUとGPUが同じメモリ(ユニファイドメモリ)を共有していることだ。

RTX 3060のようなディスクリートGPUは、専用のVRAM(GDDR6)を持つ。VRAMはGPU専用でCPUと共有しないため、GPU計算に全帯域幅を使える。

一方、Apple Siliconのユニファイドメモリは、CPUもGPUも同じメモリプールを使う。CPUがメモリにアクセスしている間、GPUは待たなければならない。帯域幅はCPUとGPUで共有されるため、実際に使える帯域幅はさらに制限される。

つまり、Mac mini M4の24GBという容量は魅力的だが、LLMを高速に動かすには帯域幅が足りない。

Mac mini M6とMac Studioの選択

昨今、Mac mini M6が発表された。しかし、メモリ帯域幅が大幅に向上しているわけではない。

メモリ帯域幅が大幅に向上しているのは、Mac Studio(M4 Ultra)だ。M4 UltraはLPDDR5-8000以上を採用し、帯域幅は約800GB/sに達する。

しかし、Mac Studioは最低でも40万円以上する。LLM専用機にするには高すぎる。

「これなら中古でRTX 3090 24GBを買った方がマシだった」

Mac mini M4を購入した20万円。中古でRTX 3090 24GBを購入した場合を比較してみよう。

RTX 3090 24GB(中古)

  • 価格:中古で約15〜18万円
  • VRAM:24GB GDDR6X
  • メモリインターフェース:384bit
  • メモリ速度:GDDR6X 19.5Gbps
  • 帯域幅:約936GB/s
  • 電力消費:最大350W(電気代がかかる)

Mac mini M4 24GB(新中古問わず)

  • 価格:20万円程度
  • メモリ容量:24GB LPDDR5
  • 帯域幅:約120GB/s
  • 電力消費:約15W(省エネ)

RTX 3090の帯域幅はMac mini M4の約8倍。7Bモデルだけでなく、20B〜30Bクラスのモデルも余裕で動かせる。

電気代はかかるが、LLMを快適に動かすという目的では、中古RTX 3090の方が圧倒的にコストパフォーマンスが高い。

私の教訓——メモリ容量だけで選んではいけない

私は「24GBあれば大きなモデルも動くに違いない」と思い、メモリ容量だけでMac mini M4を選んでしまった。

しかし、LLMの性能を決めるのは「メモリ容量」だけではなく「メモリ帯域幅」だ。

  • 7B〜13Bモデルを動かしたい→ RTX 3060 12GB(帯域幅360GB/s)で十分
  • 20B〜30Bモデルを動かしたい→ RTX 3090 24GB(帯域幅936GB/s)が理想的
  • 70Bモデルを動かしたい→ VRAM 48GB以上(RTX 4090 24GBまたはA100 40GB等)

Mac mini M4は、24GBの容量があっても帯域幅が120GB/sしかないため、7Bモデル程度が限界だ。しかも体感速度はRTX 3060に劣る。

対策・代替案

もしMac mini M4をすでに購入してしまった場合、どうすればいいのか?

1. 推論速度よりも回答品質を重視する

Mac mini M4は遅いが、ローカルでLLMが動くこと自体には意味がある。クラウドAPI(ChatGPT等)に比べてプライバシーが守られ、通信遅延もない。「遅いけど、自分のデータは外に出さない」という選択肢だ。

2. 小規模モデル(1B〜3B)を使う

帯域幅のボトルネックを回避するため、小規模モデルを選ぶ。1B〜3Bパラメータの最新モデルは、意外と高性能だ。

3. 中古RTX 3090をサブ機として使う

Mac mini M4をメイン機として使い、LLMだけはRTX 3090マシンにリモートアクセスするという方法もある。

4. クラウドAPIとの併用

日常的な質問はChatGPT等のクラウドAPIを使い、機密性の高いローカルの作業だけMac mini M4のLLMを使う。

5. Mac Studioを検討する

予算に余裕があれば、Mac Studio(M4 Ultra)を検討する。帯域幅800GB/s以上で、LLMも快適に動かせる。

まとめ

Mac mini M4をローカルLLM専用機として購入したのは、私の失敗だった。20万円の投資は、プライバシーや静音性という意味では価値があったが、「LLMを快適に動かす」という目的ではRTX 3060にすら勝てなかった。

同じ失敗をしないために、ローカルLLM用マシンを選ぶ際は「メモリ帯域幅」を必ず確認してほしい。

容量はあくまで「どれくらいのモデルが載るか」であって、「どれくらい速く動くか」ではない。その違いを、私は20万円で学んだ。


出典・参考

  • NVIDIA GeForce RTX 3060 仕様, NVIDIA
  • NVIDIA GeForce RTX 3090 仕様, NVIDIA
  • Apple M4 チップ仕様, Apple
  • LM Studio 公式ドキュメント

あわせて読みたい

コメント

タイトルとURLをコピーしました