神经网络 - 检查节点激活答案

【问题标题】：Neural Networks - Checking for node activation神经网络 - 检查节点激活
【发布时间】：2019-11-21 13:21:15
【问题描述】：

我参与了一个研究项目，该项目正在研究在安全关键环境中使用神经网络。这项研究的监管框架的一部分针对的是系统中必须没有休眠代码的状态。必须有一条通过系统每个部分的路径，并且该路径必须是可测试/可验证的。

显然，神经网络由许多节点组成。输入/输出节点很容易测试激活，但有人知道测试隐藏层节点激活的方法吗？

显然，激活取决于节点的输入值和激活函数，并且可能存在数学方法。

最终代码将使用 C/C++，但我们正在使用 Python 进行 NN 开发。因此，任何涉及相关工具集的想法都会受到欢迎。如果这有助于此测试，我还可以将 NN 结构和矩阵导出/导入到另一个包或环境。

希望你们都满脑子都是想法，因为 Google 没有提供任何东西。 :(

谢谢。

【问题讨论】：

【解决方案1】：

techytushar 的评论不知何故将我的大脑推向了新的推理路线，我认为这非常有帮助：

所以我要解决的问题是：“不可能有休眠代码。”是那些永远不会也永远不能被访问的 C 或数组元素行。

因此，当经过训练的 NN 作为编译后的 C 应用程序运行时，应用程序将计算每个神经元的值并评估其激活函数，而与节点的输入值无关。所以实际上在这方面没有休眠代码或数组元素之类的东西。只是那个节点当时激活的真/假输出。它可能会在下一刻改变。这一切都会被重新计算，即使数学上的结果总是没有激活。

因此问题从这个主题转移到确保节点激活的任何组合都不会导致系统处于危险状态。那是原始问题的主题，所以我想我可以在这个下面画一条线......？

【讨论】：