【问题标题】:A plea for a basic Notebook example getting data into and out of Google Cloud Datalab请求一个基本的笔记本示例,将数据输入和输出 Google Cloud Datalab
【发布时间】:2016-07-07 04:51:35
【问题描述】:

我已经开始尝试使用 Google Cloud datalab。虽然我知道它是一个 Beta 产品,但至少可以说,我发现 Doc 非常令人沮丧。

这里的问题和缺乏回应以及在项目可用的几个月内缺乏新的修订或文档让我想知道是否对产品有任何承诺?

首先是一个笔记本,它显示从外部源摄取数据到数据存储系统和大查询系统。这是一个常见的用例。我想使用我自己的数据,如果有一个笔记本来摄取它会很棒。似乎不需要付出巨大的努力就可以做到?它会让我(和其他人)摆脱混乱,试图将来自各种产品和工作空间的各种简洁文档链接起来并一起工作。..

除了对 Git hub 连接过程的更好解释(之前的问题))

【问题讨论】:

    标签: google-app-engine google-bigquery google-cloud-platform google-cloud-datastore google-cloud-datalab


    【解决方案1】:

    对于 BigQuery,请参见此处:https://github.com/GoogleCloudPlatform/datalab/blob/master/content/datalab/tutorials/BigQuery/Importing%20and%20Exporting%20Data.ipynb

    对于 GCS,请参见此处:https://github.com/GoogleCloudPlatform/datalab/blob/master/content/datalab/tutorials/Storage/Storage%20Commands.ipynb

    这是 Datalab 当前支持的仅有的两个存储选项(在任何情况下都不应将其用于大规模数据传输;这些是用于可容纳在 Datalab VM 内存中的小规模传输)。

    有关 Git 支持,请参阅https://github.com/GoogleCloudPlatform/datalab/blob/master/content/datalab/intro/Using%20Datalab%20-%20Managing%20Notebooks%20with%20Git.ipynb。但是请注意,这与 Github 无关。

    至于最近的低水平活动,那是因为我们一直在为 GCP Next 做准备(这将在下周发生)。一旦结束,我们应该能够将一些新功能迁移到 Datalab 并很快发布新的公开版本。

    【讨论】:

    • 感谢您的指点,我在活动方面似乎有些严峻。而且我确实认为该项目具有巨大的潜力。我希望看到它起飞。
    • 这些示例都没有显示从本地计算机上传到云存储。 ???
    【解决方案2】:

    Datalab 未在您的本地计算机上运行。只是演示部分在您的浏览器中。因此,如果您指的是浏览器客户端机器,那将不是一个好的解决方案 - 您会将数据从本地机器移动到运行 Datalab Python 代码的 VM(并且该 VM 的存储空间有限),然后再次将其移动到真正的目的地。相反,您应该在本地计算机上使用云控制台或(最好)gcloud 命令行。

    【讨论】:

    • 嗯,我明白你的意思,但我不明白为什么这些命令不能在浏览器/笔记本中运行,从本地机器读取并写入云存储容器。虽然可能需要一个小部件并将极大地帮助使用分析能力。浏览器都可以访问?
    • 这里的麻烦在于通过正确的路径和所有权将内容进出环境,以便从本地存储进行分析。
    • 我们真的不想在 Datalab UX 中重新实现云控制台的大部分内容,这就是这样(因为通过 Datalab VM/Python 代码将是一个完整的非出于性能原因的启动器)。我们很快就会有另一种方法来满足您的需求。
    • 我们所需要的只是使用 Jupyter 中的终端工具和/或 vi 的 Magic 工具访问云控制台的能力和示例。
    猜你喜欢
    • 1970-01-01
    • 2017-11-07
    • 1970-01-01
    • 2019-03-28
    • 1970-01-01
    • 1970-01-01
    • 2017-09-26
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多