【问题标题】:could NaN be causing the occasional crash in this core audio iOS app?NaN 会导致这个核心音频 iOS 应用程序偶尔崩溃吗?
【发布时间】:2016-06-08 02:24:23
【问题描述】:

我的第一个应用程序合成了 music audio from a sine look-up table,使用自 iOS 6 以来不推荐使用的方法。我刚刚对其进行了修改,以解决 this blog 帮助下的有关 AudioSession 的警告以及 Apple 对 AVFoundationFramework 的指导方针。音频会话警告现已得到解决,该应用程序会像以前一样产生音频。它目前在 iOS 9 下运行。

但是,该应用偶尔会无缘无故地崩溃。我检查了this SO post,但它似乎处理访问而不是生成原始音频数据,所以它可能没有处理时间问题。我怀疑存在缓冲问题,但在更改或微调代码中的任何内容之前,我需要了解这可能是什么。

我有一个将修改后的应用程序提供给用户的最后期限,因此我非常感谢处理过类似问题的人的来信。

这就是问题所在。该应用程序在模拟器报告中进入调试:

com.apple.coreaudio.AQClient (8):EXC_BAD_ACCESS (code=1, address=0xffffffff10626000)

在调试导航器的线程 8 (com.apple.coreaudio.AQClient (8)) 中,它报告:

    0 -[Synth fillBuffer:frames:]
    1 -[PlayView audioBufferPlayer:fillBuffer:format:]
    2 playCallback

fillBuffer中这行代码高亮显示

    float sineValue = (1.0f - b)*sine[a] + b*sine[c];

...audioBufferPlayer 中的这行代码也是如此

    int packetsWritten = [synth fillBuffer:buffer->mAudioData frames:packetsPerBuffer];

... 和 playCallBack

    [player.delegate audioBufferPlayer:player fillBuffer:inBuffer format:player.audioFormat];

这里是audioBufferPlayer的代码(委托,与above的demo基本相同)。

    - (void)audioBufferPlayer:(AudioBufferPlayer*)audioBufferPlayer fillBuffer:(AudioQueueBufferRef)buffer format:(AudioStreamBasicDescription)audioFormat            
    {
    [synthLock lock];
    int packetsPerBuffer = buffer->mAudioDataBytesCapacity / audioFormat.mBytesPerPacket;
    int packetsWritten = [synth fillBuffer:buffer->mAudioData frames:packetsPerBuffer];
    buffer->mAudioDataByteSize = packetsWritten * audioFormat.mBytesPerPacket;    
    [synthLock unlock];

    }

...(在 myViewController 中初始化)

- (id)init
{    
    if ((self = [super init])) {
    // The audio buffer is managed (filled up etc.) within its own thread (Audio Queue thread)
    // Since we are also responding to changes from the GUI, we need a lock so both threads
    // do not attempt to change the same value independently.

        synthLock = [[NSLock alloc] init];

    // Synth and the AudioBufferPlayer must use the same sample rate.

        float sampleRate = 44100.0f;

    // Initialise synth to fill the audio buffer with audio samples.

        synth = [[Synth alloc] initWithSampleRate:sampleRate];

    // Initialise note buttons

        buttons = [[NSMutableArray alloc] init];

    // Initialise the audio buffer.

        player = [[AudioBufferPlayer alloc] initWithSampleRate:sampleRate channels:1 bitsPerChannel:16 packetsPerBuffer:1024];
        player.delegate = self;
        player.gain = 0.9f;
        [[AVAudioSession sharedInstance] setActive:YES error:nil];

    }
    return self;
}   // initialisation

... 以及用于 playCallback

static void playCallback( void* inUserData, AudioQueueRef inAudioQueue, AudioQueueBufferRef inBuffer)
{
    AudioBufferPlayer* player = (AudioBufferPlayer*) inUserData;
    if (player.playing){
        [player.delegate audioBufferPlayer:player fillBuffer:inBuffer format:player.audioFormat];
        AudioQueueEnqueueBuffer(inAudioQueue, inBuffer, 0, NULL);
    }
}

...这里是用于合成音频的 fillBuffer 代码

- (int)fillBuffer:(void*)buffer frames:(int)frames
{
    SInt16* p = (SInt16*)buffer;

    //  Loop through the frames (or "block size"), then consider each sample for each tone.

    for (int f = 0; f < frames; ++f)
    {
        float m = 0.0f;  // the mixed value for this frame

        for (int n = 0; n < MAX_TONE_EVENTS; ++n)
        {
            if (tones[n].state == STATE_INACTIVE)   // only active tones
                continue;

    // recalculate a 30sec envelope and place in a look-up table
    // Longer notes need to interpolate through the envelope

            int a   = (int)tones[n].envStep;        // integer part  (like a floored float)
            float b = tones[n].envStep - a;         // decimal part  (like doing a modulo)

        // c allows us to calculate if we need to wrap around

            int c = a + 1;                          // (like a ceiling of integer part)
            if (c >= envLength) c = a;              // don't wrap around

    /////////////// LOOK UP ENVELOPE TABLE /////////////////

    //  uses table look-up with interpolation for both level and pitch envelopes
    //  'b' is a value interpolated between 2 successive samples 'a' and 'c')            
    //  first, read values for the level envelope

            float envValue = (1.0f - b)*tones[n].levelEnvelope[a] + b*tones[n].levelEnvelope[c];

    //  then the pitch envelope

            float pitchFactorValue = (1.0f - b)*tones[n].pitchEnvelope[a] + b*tones[n].pitchEnvelope[c];

    //  Advance envelope pointer one step

            tones[n].envStep += tones[n].envDelta;

    //  Turn note off at the end of the envelope.
            if (((int)tones[n].envStep) >= envLength){
                tones[n].state = STATE_INACTIVE;
                continue;
            }

        //  Precalculated Sine look-up table            
            a = (int)tones[n].phase;                    // integer part
            b = tones[n].phase - a;                     // decimal part
            c = a + 1;
            if (c >= sineLength) c -= sineLength;       // wrap around

    ///////////////// LOOK UP OF SINE TABLE ///////////////////

            float sineValue = (1.0f - b)*sine[a] + b*sine[c];

    // Wrap round when we get to the end of the sine look-up table.

            tones[n].phase += (tones[n].frequency * pitchFactorValue); // calculate frequency for each point in the pitch envelope
            if (((int)tones[n].phase) >= sineLength)
                tones[n].phase -= sineLength;

    ////////////////// RAMP NOTE OFF IF IT HAS BEEN UNPRESSED

            if (tones[n].state == STATE_UNPRESSED) {
                tones[n].gain -= 0.0001;                
            if ( tones[n].gain <= 0 ) {
                tones[n].state = STATE_INACTIVE;
                }
            }

    //////////////// FINAL SAMPLE VALUE ///////////////////

            float s = sineValue * envValue * gain * tones[n].gain;

    // Clip the signal, if needed.

            if (s > 1.0f) s = 1.0f;
            else if (s < -1.0f) s = -1.0f;

    // Add the sample to the out-going signal   
        m += s;
        }

    // Write the sample mix to the buffer as a 16-bit word. 
    p[f] = (SInt16)(m * 0x7FFF);
    }
return frames;
}

我不确定这是否是一个红鲱鱼,但我在几个调试寄存器中遇到了 NaN。它似乎在计算fillBuffer 中的正弦查找的相位增量时发生(见上文)。该计算以 44.1 kHz 的采样率对每个样本进行多达十几个部分的计算,并在 iPhone 4 上的 iOS 4 中运行。我在 iOS 9 的模拟器上运行。我所做的唯一更改在这篇文章中进行了描述!

【问题讨论】:

  • 只是一个用于帮助我调试我的一些 CoreAudio 代码的 NaN“捕手-消音器”:if(x != x) x = 0;
  • @user3078414 - 抱歉,我不明白 NaN 捕手-消音器如何使用像 'float sineValue = (1.0f - b)*sine[a] + b*sine[ 这样的表达式C];'你的意思是'如果(b!= b)b = 0;' ?或“如果(正弦值!= 正弦值)正弦值 = 0;” ?这不会在波形中插入偶尔的不连续性吗?
  • 这样,正如所写的那样,它当然会插入一个不连续性(而 NaN 和其他几个原因也可能使线程崩溃),但这将证明您的代码确实有一个 NaN问题,所以你会限制你的搜索区域。你基本上是在调试一个实时无限循环,所以从实时的角度观察它是有原因的。
  • @user3078414 - 是的,这是一个很好的策略。最好不要假设 NaN 是唯一的问题。也许也可以修改 'if(x != x) x = 0;'并覆盖任何不连续性,例如'如果(x!= x)x = y;'其中 y 是根据 'x[n-2]' 和 'x[n-1]' 之差计算得出的 'x[n]' 的值
  • 当然我会先试试你原来的建议

标签: ios objective-c iphone core-audio


【解决方案1】:

我的 NaN 问题原来与 Core Audio 没有直接关系。这是由我的代码的另一个区域的更改引入的边缘条件引起的。真正的问题是在实时计算声音包络的持续时间时尝试除以零。

但是,在尝试确定该问题的原因时,我确信我的 iOS 7 之前的音频会话已被基于 AVFoundation 的工作设置所取代。感谢我的初始代码Matthijs Hollemans 的来源以及Mario Diana,他的博客解释了所需的更改。

起初,我的 iPhone 上的音量明显低于模拟器上的音量,这个问题由代工厂here 解决。我发现有必要通过替换马里奥的

来包含这些改进
    - (BOOL)setUpAudioSession

代工的

    - (void)configureAVAudioSession

希望这可能对其他人有所帮助。

【讨论】:

    猜你喜欢
    • 2014-11-25
    • 2016-03-21
    • 1970-01-01
    • 1970-01-01
    • 2011-01-10
    • 1970-01-01
    • 1970-01-01
    • 2018-09-02
    • 2016-12-01
    相关资源
    最近更新 更多