コンテンツにスキップ

よくある質問

一般

asiai とは何ですか?

asiai はApple Silicon MacでLLM推論エンジンのベンチマークと監視を行うオープンソースCLIツールです。7つのエンジン(Ollama、LM Studio、mlx-lm、llama.cpp、oMLX、vllm-mlx、Exo)をサポートし、tok/s、TTFT、消費電力、VRAM使用量をゼロ依存関係で測定します。

asiai はIntel MacやLinuxで動作しますか?

いいえ。asiai はApple Silicon(M1、M2、M3、M4)が必要です。Apple Siliconでのみ利用可能なmacOS固有のAPI(sysctlvm_statioregIOReportlaunchd)を使用しています。

asiai にsudoやroot権限は必要ですか?

いいえ。GPU可観測性(ioreg)と電力監視(IOReport)を含むすべての機能がsudo不要で動作します。powermetricsとのクロスバリデーション用のオプション --power フラグのみがsudoを使用します。

エンジンとパフォーマンス

Apple Siliconで最速のLLMエンジンは?

M4 Pro 64GBでQwen3-Coder-30B(Q4_K_M)を使用したベンチマークでは、LM Studio(MLXバックエンド)が102 tok/sを達成し、Ollamaの70 tok/sと比較して46%高速です。LM Studioは電力効率も82%優れています(8.23対4.53 tok/s/W)。詳細な比較をご覧ください。

MacにはOllamaとLM Studioのどちらが良いですか?

用途によります:

  • LM Studio(MLX):スループットに最適(コード生成、長い応答)。より高速で効率的、VRAM使用量が少ない。
  • Ollama(llama.cpp):レイテンシに最適(チャットボット、インタラクティブな使用)。TTFTが速い。大規模コンテキストウィンドウ(32Kトークン超)に優れている。

ローカルでLLMを実行するにはどのくらいのRAMが必要ですか?

モデルサイズ 量子化 必要RAM
7B Q4_K_M 最低8 GB
13B Q4_K_M 最低16 GB
30B Q4_K_M 32-64 GB
35B MoE(3Bアクティブ) Q4_K_M 16 GB(アクティブパラメータのみロード)

ベンチマーク

最初のベンチマークの実行方法は?

3つのコマンド:

pip install asiai     # インストール
asiai detect          # エンジン検出
asiai bench           # ベンチマーク実行

ベンチマークにはどのくらい時間がかかりますか?

クイックベンチマーク(asiai bench --quick)は約2分です。複数プロンプトと3回の実行を含む完全なクロスエンジン比較は10〜15分かかります。

電力測定の精度は?

IOReportの電力読み取り値は sudo powermetrics と比較して1.5%未満の差異で、LM Studio(MLX)とOllama(llama.cpp)の両方で20サンプルにわたって検証されています。

他のMacユーザーと結果を比較できますか?

はい。asiai bench --share を実行して結果を匿名でコミュニティリーダーボードに提出できます。asiai compare で自分のMacの立ち位置を確認できます。

AIエージェント統合

AIエージェントはasiai を使用できますか?

はい。asiai には11ツールと3リソースを備えたMCPサーバーが含まれています。pip install "asiai[mcp]" でインストールし、MCPクライアント(Claude Code、Cursor、Windsurf)で asiai mcp として設定してください。エージェント統合ガイドをご覧ください。

どのMCPツールが利用できますか?

11ツール:check_inference_healthget_inference_snapshotlist_modelsdetect_enginesrun_benchmarkget_recommendationsdiagnoseget_metrics_historyget_benchmark_historyrefresh_enginescompare_engines

3リソース:asiai://statusasiai://modelsasiai://system