【问题标题】：How to manage complexity while using IPython notebooks?如何在使用 IPython 笔记本时管理复杂性？
【发布时间】：2017-04-18 17:43:35
【问题描述】：
想象一下，您使用分布在一堆 CSV 文件中的大型数据集。您打开 IPython 笔记本并探索内容、进行一些转换、重新排序和清理数据。
然后您开始对数据进行一些实验，创建更多笔记本，最后发现自己堆满了一堆不同的笔记本，其中埋有数据转换管道。
如何以这样的方式组织数据探索/转换/学习过程：
- 复杂度不吹，逐渐升高；
- 保持您的代码库易于管理和导航；
- 能够重现和调整数据转换管道？
【问题讨论】：
标签：
python
ipython-notebook
code-organization
project-organization
【解决方案1】：
嗯，我在处理大量数据时时不时会遇到这个问题。复杂性是我学会忍受的东西，有时很难保持简单。
我认为对我有很大帮助的是将所有内容放在 GIT 存储库中，如果您管理得当并使用写得好的消息进行频繁提交，您可以轻松跟踪对数据的转换。
每次我做一些测试时，我都会创建一个新分支并在上面做我的工作。如果它无处可去，我只需回到我的主分支并继续从那里工作，但如果我需要，我所做的工作仍然可供参考。
如果它带来一些有用的东西，我只需将它合并到我的主分支并继续进行新测试，根据需要创建新分支。
我不认为它回答了你所有的问题，也不知道你是否已经在你的笔记本中使用了某种版本控制，但这对我有很大帮助，我在使用 jupyter 时真的推荐它-笔记本。