Amplify AE の性能評価¶
Amplify AE の性能を評価するため、(1) 求解性能、(2) アニーリング速度という 2 つの観点でベンチマークを取得しています。
求解性能ベンチマーク¶
公開されているベンチマーク問題、および実社会における最適化問題をベンチマークセットとして、実行時間ごとの目的関数の値を取得しました。 また、比較対象として他社のイジングマシン 2 種類でも同様にベンチマークを取得しました。 これらのソルバーについては、設定可能なパラメータを複数通り試し、最も良い結果を得たケースを載せています。
Amplify AE 内部のアルゴリズムや求解性能は設定した実行時間 (time_limit_ms) に依存しないため、1 回の実行のレスポンスに含まれる複数の解 (経過時間と目的関数の値) をプロットしています。
一方、他社ソルバーについては、1 回の実行につき最良の結果のみを取得しているため、実行時間が異なるデータは独立しています。
各データは 11 回試行した中央値を表示しています。 指定した実行時間で実行可能解が得られなかった場合、そのデータはプロットされていません。
実行環境¶
Amplify SDK v1.4.0
Amplify AE v1.0.0
NVIDIA Hopper 1基
Constraint モード
ベンチマーク問題¶
ベンチマークに使用した問題の概要は以下の通りです。2次以上の目的関数を持つベンチマーク問題と実在する企業における業務課題をいくつか取り上げています。
問題セット |
変数の個数 |
目的関数 |
等式制約 |
不等式制約 |
|---|---|---|---|---|
300 |
2 次 |
なし |
最大 1次 / 1個 |
|
5,100 |
2 次 |
最大 1 次 / 160 個 |
最大 1 次 / 5 個 |
|
生産計画問題 |
7,400 |
2 次 |
最大 1 次 / 933 個 |
なし |
人員シフト問題 |
730 |
2 次 |
最大 2 次 / 365 個 |
最大 1 次 / 720 個 |
ベンチマーク結果 (求解性能)¶
2 次ナップサック問題 (QKP, jeu_300_50_1)¶
ナップサック問題は、荷物の価値と重みが与えられて、重みが一定の値に収まるような荷物の選び方のうち価値の総和が最大になる選び方を求めます。これに対し QKP では荷物のペアで追加の価値が生じることを考慮するより難しい問題となっております。
ソルバー名 |
実行可能解の取得時間[1] |
最適解の取得時間 |
|---|---|---|
Amplify AE |
0.00176 s 🏆 |
0.233 s 🏆 |
A 社ソルバー |
3.09 s |
4.08 s |
B 社ソルバー |
0.12 s |
60.2 s |
容量制約付き運搬経路問題 (CVRP, E-n51-k5)¶
容量制約付き運搬経路問題 (CVRP) は、車両の積載容量に制限のある \(k\) 台の車を使って \(n\) 個の配送先に荷物を届けるルートのうち、距離や輸送コストが最小となるルートを選ぶ問題です。
ソルバー名 |
実行可能解の取得時間 |
最良解の目的関数値[2] |
|---|---|---|
Amplify AE |
0.0780 s 🏆 |
589 🏆 |
A 社ソルバー |
1.12 s |
653 |
B 社ソルバー |
(実行可能解を得られず) |
(実行可能解を得られず) |
生産計画問題¶
工場の生産スケジュールにおける生産コストを最小化する業務課題を Amplify AE で解きました。
人員シフト問題¶
様々な制約がある中で、最も効率の良い作業員シフトを組む業務課題を Amplify AE で解きました。
ソルバー名 |
実行可能解の取得時間 |
最良解の目的関数値[2] |
|---|---|---|
Amplify AE |
0.026 s 🏆 |
23.7 🏆 |
A 社ソルバー |
21.0 s |
24.5 |
B 社ソルバー |
(実行可能解を得られず) |
(実行可能解を得られず) |
アニーリング速度ベンチマーク¶
GPUアニーリングでは、1秒あたりの フリップ回数 が多いほど探索できる組み合わせが増え、与えられた求解時間においてより良い解が見つかる可能性が高まります。
Amplifyクラウドサービスでは、上位プランほど高性能なGPUをご利用いただけます。そこで、1秒あたりの変数フリップ回数を「アニーリング速度」と定義し、各プランで提供される GPU の性能と利用台数ごとのアニーリング速度を測定しました。検証には、小・中・大の3種類の問題サイズからなるベンチマークセットを使用しています。
各プランで提供されるGPUの種類については、価格ページ をご参照ください。
GPU 名 |
提供プラン |
|---|---|
NVIDIA Volta |
ベーシック / スタンダード |
NVIDIA Ampere |
プレミアム |
NVIDIA Hopper |
Sプレミアム / エンタープライズ |
実行環境¶
Amplify SDK v1.4.0
Amplify AE 1.0.0 Constraint モード
GPU 数 1 - 4 (2以上は NVIDIA Hopper のみ)
ベンチマーク結果 (アニーリング速度)¶
アニーリング速度について、Basic プランからの比と実数値をプロットしました。 問題規模が大きくなるほど、プランによる差異が顕著に表れます。