NAKAMURA Minoru's Diary (2003年6月)

6/29 (日)

[Bench] VeriTest 社の SPEC CPU2000 ベンチマーク結果再考

6月25日に紹介した VeriTest 社の SPEC CPU2000 ベンチマーク結果は色々な所で話題になっているが、細部を調査していくうちにいろいろ気づいたので紹介する。まず、VeriTest 社が Apple Power Mac G5、Dell Dimension 8300、Precision 650 を測定して得た結果は下の表(それぞれの行の中の数値は、大きい程性能が高い)。

Metrics	Apple Power Mac G5 PPC970 2.0GHz x2	Dell Dimension 8300 Pentium4 3.0GHz x1	Dell Precision 650 Xeon 3.06GHz x2
SPECint_base2000	800	889	836
SPECfp_base2000	840	693	646
SPECint_rate_base2000	17.2	10.3	16.7
SPECfp_rate_base2000	15.7	8.07	11.1

1. Power Mac G5 のスケーラビリティーの問題

まずは軽い話題から。
Apple の Power Mac G5 の SPECint_base2000 の結果は 800。
つまり基準マシンの 8.00倍の速度で動作する。
一方、SPECint_rate_base2000 の成績は 17.2。 2 つの CPU が合わせて基準マシンの 17.2 倍の動作をする。つまり 1 CPU あたり 8.6倍。スーパーリニア以上に性能が向上している。不思議だ。

システム部分が常に一定量ある場合、2CPU になるとシステムの負荷が分散される分高速化されるという可能性はある。あるいは誤差。

2. Pentium4 側で SSE / SSE2 を使ったかどうか、実際に効果があったかどうか

VeriTest 社が Pentium4 側に付けた -mfpmath=sse オプションは、SSE2 命令を生成するのか SSE1 命令しか生成しないのかは紛糾の原因になっていた。

実際に GCC 3.3 を用いて -mfpmath=sse を付けて CINT2000 をビルドし、バイナリを disassemble して調べたところ SSE1 命令は確かに含まれていたが、 SSE2 命令があるのかないのか判断がつかなかった(一部しか調べなかったので)。

次に 2 つの CINT2000 バイナリを DELL の Precision 650 に似たマシン(Xeon 2.8GHz (L2 512KB)、ServerWorks GC-SL、FSB 533MHz、PC2100 (DDR266) Single Channel、Linux 2.4.9 kernel系)で実行してみた。オプションは VeriTest の Precision 650 の計測 configuration と同一。

Benchmark	-mfpmath=sse
Benchmark	有	無
164.gzip	831	810
175.vpr	428	431
176.gcc	771	772
181.mcf	385	380
186.crafty	883	884
197.parser	714	712
252.eon	X	X
253.perlbmk	X	X
254.gap	821	817
255.vortex	659	660
256.bzip2	540	536
300.twolf	539	528
Total	634	630

手元の SPEC CPU2000 のバージョンが古いため、252.eon と 253.perlbmk がビルドで落ちる。
しかしそれ以外の(相乗)平均を見ると -mfpmath=sse がオンとオフでほとんど差がない。
この結果だけ見ると、-mfpmath=sse オプションは少なくとも CINT2000 に関してはほとんど効かないので、もっと有効な別の最適化オプション(例えば -funroll-loops)を選択すべきだったといえる。

GCC は SSE2 命令に関して -msse2 オプションがあり、こちらを使うとより積極的に SSE2 命令を使うという話を聞いた。しかし、このオプションは buggy だという話も同時に聞いたので、今回は確認していない。

3. Apple バージョン GCC 専用オプションの問題点

Apple バージョンの GCC 3.3 のソースコードを読むうちに、VeriTest 社が計測に用いた -fast オプションがどういう効果をもたらすか分かった。

ただし管理人が読んでいる筆者が読んでいるソースコードは Build1402 で、VeriTest 社が使ったのは Build137 なので、該当部分がこの間に修正が加えられていたとしたら下の議論は半分無効。

-fast は Apple バージョンの GCC の専用オプションで、これを指定すると GCC ソースコード中の gcc3/gcc/toplev.c で変数 flat_fast に 1 がセットされ、gcc3/gcc/config/rs6000/rs6000.cの中で以下のように最適化フラグがセットされる。

static void
rs6000_init_builtins ()
{
  /* APPLE LOCAL begin -fast */
  if (flag_fast) 
  {
    flag_unroll_loops = 1;
    set_fast_math_flags (1);
    set_target_switch ("powerpc-gpopt");
    set_target_switch ("dynamic-no-pic");
    set_target_switch ("tune=970");
    set_target_switch ("cpu=970");
    set_target_switch ("powerpc64");
  }
  /* APPLE LOCAL end -fast */

VeriTest 社が CPU2000 に使ったコンパイラオプションは以下の表の通りだが、VeriTest 社のレポートと合わせて考えると -fast はアーキテクチャ(PowerPC970) と最適化レベル(-O3) を同時に指定し、それ加えて Relaxed IEEE math operation (-ffast-math)と Loop unrolling (-funroll-loops)を付加してしまう。

浮動小数点演算は丸め誤差が生じるため、数学的な意味が等しい式変形を行った場合でも結果が一致しない場合がある(例えば (A + B) * C == A * C + B * C が成立しないことがある)。 -ffast-math は正確さが多少損なわれてもいいので、高速化を行うオプション。

ループアンローリングは、、、大雑把にいって C 言語の for 文のループの中身を数回づつ展開して、ループの分岐数を減らす最適化。

PoewrPC G5	Pentium4
CXXOPTIMIZE = -fast COPTIMIZE = -fast FOPTIMIZE = -O3 -Wc,-fastf	CXXOPTIMIZE = -O3 -march=pentium4 -mfpmath=sse COPTIMIZE = -O3 -march=pentium4 -mfpmath=sse FOPTIMIZE = -O3 -Wc,-march=pentium4,-mfpmath=sse

VeriTest 社のレポートからは、-ffast-math が付くことは予想されたのだが、-funroll-loops がつくことは分からない。性能に与える影響は -funroll-loops の方が大きい。

この 2 つのオプションがない場合、SPEC CPU2000 の性能がどの程度低下するかは測定可能。
という分けで調査中。

4. ONESTEP=yes オプションの問題

最後に VeriTest 社が ONESTEP=yes オプションを Apple Power Mac G5 の configuration ファイルにのみ入れている点。

SPEC CPU の各ベンチマークは複数のファイルから構成されるものが多い。
この場合、デフォルトでは分割コンパイル→リンクの 2 つのフェースを踏む。 ONESTEP=yes オプションを有効にすると、すべてのファイルがコンパイラに同時に渡されることになる。この後、コンパイラが 1 つ 1つのソースファイルを別々にコンパイルしてリンクしてもよいし、複数のソースファイルを合成してベンチマーク全体を巨大な 1 つのソースファイルに変換してからコンパイルを行ってよい。

この場合、高度な最適化が有効になる。例えば、以下のような test1.c と test2.c があったとする。

/* test1.c */

#include <stdio.h>
extern int foo(int x, int y);
int main(int argc, char** argv)
{
  int RESULT = 0;

  int i=0 ;
  for( i=0 ; i<100 ; i++){
    RESULT += foo( i, 100 - i ); 
  }

  printf("RESULT: %d\n", RESULT);
  return RESULT ;
}

/* test2.c */

int foo(int x, int y) {  
  return (x * y);
}

Intel C++ Compiler(ICC) v7.0 は、-Qipo オプションを付けてコンパイルすると(icl -Qipo -O3 test1.c test2.c)と、RESULT += foo( i, 100 - i) を RESULT += i * (100 - i) に置き換える method inlining 最適化を行う。

i386 をターゲットとした通常の GCC 3.3 でも、main と foo が同一モジュール(同一の C ファイル)にあれば、-finline-functions を指定すると(-O3 で自動的に有効になる) method inlining を行うが、モジュールが 2 つに分かれている場合には最適化しない。

このようにモジュールを越えた最適化を持っているコンパイラに取って ONESTEP=yes は有効であるが、最適化がモジュールを越えないコンパイラは ONESTEP=yes はあってもなくても同じである。

i386 版 GCC 3.3 はモジュールを跨ぐような最適化を行わないようなので、ONESTEP=yes を指定しないのは妥当である。では Power Mac G5 の設定中に ONESTEP=yes を付けたのは何故なのだろうか？アクセサリーとして入れたのか、あるいは Apple バージョンの GCC 3.3 はオリジナルとは異なる最適化が入っているのか？
実機があれば一発で分かるのだが、GCC のソースコードを眺めるだけでは容易に判断がつかない。

本当は上のプログラムの動作は決定的なものなので、コンパイラがループの中を前計算して、166650 という答を出すよう最適化もよい。

NAKAMURA Minoru の日記 (2003年6月)

不正アクセスの集計

[Bench] VeriTest 社の SPEC CPU2000 ベンチマーク結果再考

1. Power Mac G5 のスケーラビリティーの問題

2. Pentium4 側で SSE / SSE2 を使ったかどうか、実際に効果があったかどうか

3. Apple バージョン GCC 専用オプションの問題点

4. ONESTEP=yes オプションの問題

クーラーの水漏れ

[CPU] Intel v.s. Microprocessor Report (になると面白い)

P.S.

[Java][MyWeb] JavaVM モニタリングツール jvmstat のページを作成

[CPU][Bench] Apple PowerMac G5 の SPEC CPU2000 スコアが公開されていた

追記：6/28

研究室 OB の O.A. 氏が川崎に

疲労困憊

[Work] デバッグマラソンは終わらないが、燃え尽きた

[Work] デバッグマラソンは終わらない

愛媛の友人が上京中

新横浜ラーメン博物館は…

[java] SUN の JavaVM のヒープ & GC のモニタリングツールが登場

疲労困憊

[Work] デバッグマラソン完走？

[Tips] インストールメモとか

UML & デザインパターン

P.S.

追記：6/14

社販制度いろいろ

[Java] On-the-fly runtime method tracing for Java applications

[Movie] MATRIX RELOADED へ行く

[Movie] 今日から MATRIX RELOADED が公開

Sound Horizon の『Pico Magic』

[Work] データセンター内での作業 - 2日目 -

[Tips] データセンター内での作業

[Java] Java でリアルタイムにアスペクト指向

参考

追記：6/7

池之端の「龍虎殿」へ