使用运行平均值保持浮点精度

Question

我需要针对任意数量的数据点（超过 1 亿个）计算 16 位运算的均方误差。我决定采用运行平均值，这样我就不必担心添加大量平方误差会导致溢出。在 1 亿个样本中，我遇到了浮点精度问题（结果不准确），所以我改为加倍。

这是我的代码

int iDifference = getIdeal() - getValue();

m_iCycles++;


// calculate the running MSE as

// http://en.wikipedia.org/wiki/Moving_average

// MSE(i + 1) = MSE(i) + (E^2 - MSE(i))/(i + 1)

m_dMSE = m_dMSE + ((pow((double)iDifference,2) - m_dMSE) / (double)m_iCycles);

有没有更好的方法来实现这一点以保持准确性？我考虑将 MSE 归一化为 1，并在完成时简单地保留一个总和，最后除以计算平均值。

Answer 1

您可能想查看Kahan Summation Algorithm - 这不是完全您需要的，但它解决了一个非常相似的问题，您可以根据您的需要调整它。

Answer 2

浮点数在这种情况下不会溢出，它们只会丢失精度。因此，这里的运行平均值与运行总数相比没有优势。无论累计还是分母增长，结果都是一样的。

要保持运行总计的准确性，请保留小计而不是单个总计。继续添加小计，直到再添加一个会导致溢出。然后继续下一个小计。由于它们都是相同的数量级（以 2 为底），因此可以通过转换为浮点数并将成对累加到一个最终总数中来实现最佳精度。

// first = errors, second = counter
typedef pair< vector< uint32_t >, uint32_t > running_subtotals;

void accumulate_error( uint32_t error, running_subtotals &acc ) {
    ( numeric_limits< uint32_t >::max() - error < acc.first.back()?
        * acc.first.insert( acc.first.end(), 0 ) : acc.first.back() )
        += error; // add error to current subtotal, or new one if needed
    ++ acc.second; // increment counter
}

double get_average_error( running_subtotals const &total ) {
    vector< double > acc( total.first.begin(), total.first.end() );
    while ( acc.size() != 1 ) {
        if ( acc.size() % 2 ) acc.push_back( 0 );
        for ( size_t index = 0; index < acc.size() / 2; ++ index ) {
            acc[ index ] = acc[ index * 2 ] + acc[ index * 2 + 1 ];
        }
        acc.resize( acc.size() / 2 );
    }
    return acc.front() / total.second;
}

Answer 3

如果您的其他解决方案不起作用，您可以调查Bignum library

“GMP 是用于任意精度算术的免费库，对有符号整数、有理数和浮点数进行操作。除了运行 GMP 的机器中可用内存所暗示的精度外，对精度没有实际限制。 GMP功能丰富，功能接口规范。”