使用 test 0.12.15+3 lib 在 dart 中进行性能测试

Question

我们在 Dart 中开发了一个计算密集型网络应用程序。
为了确保我们的计算在所有平台和浏览器上都表现良好，我们使用“test 0.12.15+3”包运行基准测试。但是，我们发现在某些情况下，执行相同代码的差异会相差几个数量级。下面是演示问题的代码（使用自定义比较器对数组进行排序）。

我想知道在 chrome 中执行的代码与选择 chrome 作为平台的测试之间的时间差异是否有解释（pub run test -p chrome test/perf_test.dart）？ 通过测试包进行基准测试是一个可行的选择，还是我们应该寻找其他地方？

import 'package:quiver/iterables.dart' as it;
void main(){
 Stopwatch sw = new Stopwatch();
 int len = 1000000;//0000
 num v = 0;
 List ln0 = new List();
 for(int i = 0; i < len; i++)
  ln0.add(v++);
 //T1
 sw..reset()..start();
 ln0.sort((x,y) => x - y);
 sw..stop();
 print('Num Comparator take, mcs: ${sw.elapsedMicroseconds}');
 //T2
 List ln1= it.range(len).toList();
 sw..reset()..start();
 ln1.sort((x,y) => x - y);
 print('Suddenly, Num Comparator take, mcs: ${sw.elapsedMicroseconds}');

 //T3
 List li2 = it.range(len).map((numm)=>numm.toInt()).toList();
 sw..reset()..start();
 li2.sort((x,y)=>x - y);
 sw..stop();
 print('Int Comparator take, mcs: ${sw.elapsedMicroseconds}');

 List<String> items = new List(len);
 for(int i =0, len = items.length; i<len; i++){
  List tl = ['a','b','c','d','e','f','g','h','i','j','']..shuffle();
  items[i] = tl.join('');
 }

 Function _comparer = (String s1, String s2) {
  if (s1 == null && s2 == null) return 0;
  if (s1 == null) return 1;
  if (s2 == null) return -1;
  if (s1 == '' && s2 == '') return 0;
  if (s1 == '') return 1;
  if (s2 == '') return -1;
  return s1.compareTo(s2);
 };
 //T4
 List ls1 = new List.from(items);
 sw..reset()..start();
 ls1.sort((s1, s2) => s1.compareTo(s2));
 sw..stop();
 print('Standart String comparator take, mcs: ${sw.elapsedMicroseconds}');

 //T5
 List ls2 = new List.from(items);
 sw..reset()..start();
 ls2.sort(_comparer);
 sw..stop();
 print('String comparator(miss null,empty) take, mcs:    ${sw.elapsedMicroseconds}');
 }

Answer 1

test 不应该用于基准测试。使用 insted https://pub.dartlang.org/packages/benchmark_harness。它有助于满足与基准相关的要求，例如预热阶段和运行次数，以获得更真实的结果。