albatrosary's blog

UI/UXとエンタープライズシステム

その性能測定値って信頼できる数値なのですか?

性能測定はとても重要で、どのようにして性能を測定したかや、どいういった機能について性能を測定したかが重要です。部分的に性能測定を行い、このフレームワークは遅いとか早いとか言ってもあまり議論にはならないと思いますので、そういった方法や前提事項は明確に記載する必要があります。

何を言っているかと言うと、フレームワークの性能試験を行った記事が昨年12月にブログ掲載されました。

Virtual DOMってどんだけ早いの?測ってみた - webとかmacとかやってみようか R

タイトルは「Virutal DOM」ですが、内容としてはフレームワーク比較となっております。その結果がハードコピーで添付されています。

f:id:albatrosary:20150310100552p:plain

テストサイトも公開されていましたので「2015/3/10」実際に行ってみました。

chrome 41.0.2272.76

1回目

f:id:albatrosary:20150310100815p:plain

2回目

f:id:albatrosary:20150310102020p:plain

chrome canary 43.0.2327.5

1回目

f:id:albatrosary:20150310101551p:plain

2回目

f:id:albatrosary:20150310101910p:plain

firefox nightly 38.0a1

1回目

f:id:albatrosary:20150310101715p:plain

2回目

f:id:albatrosary:20150310101827p:plain

以前やられていた結果とだいぶ異なり、かつ、ばらつきも多いと思われます。この性能測定が有効かどうかというともう少し色々な角度から検証する必要がありそうです。毎回思いますが、性能評価は難しいですのでSpelldataのような専門家から意見を求めるのも良いかと思います(Spelldataがこういうフレームワーク単体の性能評価アドバイスをいただけるかはわかりません)。

ホーム | 株式会社Spelldata Webサイトの配信品質・ページ情報品質に特化した統計分析会社

【追記】元ネタ記事を読んでいたら、はてぶでも結果が異なるというお話が幾つか記載されていました。