如何在虚拟机上通过命令行获取 kaggle 比赛数据？答案

【问题标题】：How to get kaggle competition data via command line on virtual machine?如何在虚拟机上通过命令行获取 kaggle 比赛数据？
【发布时间】：2020-03-08 07:26:17
【问题描述】：

我正在寻找使用 bash 在虚拟机上下载 kaggle 比赛数据（训练和测试）的最简单方法，以便能够在不上传到 git 的情况下在那里训练它。

【问题讨论】：

标签： cookies machine-learning command-line wget kaggle

【解决方案1】：

三年后快进，您可以使用 CLI 使用 Kaggle's API，例如：

kaggle competitions download favorita-grocery-sales-forecasting

【讨论】：

【解决方案2】：

首先，您需要将 kaggle 网站的 cookie 信息复制到一个文本文件中。有一个chrome extension 可以帮助您做到这一点。复制cookie信息并保存为cookies.txt。

现在使用命令将文件传输到 EC2 实例

scp -i /path/my-key-pair.pem /path/cookies.txt user-name@ec2-xxx-xx-xxx-x.compute-1.amazonaws.com:~

接受竞赛规则并复制您要从 kaggle.com 下载的数据集的 URL。例如Intel & MobileODT Cervical Cancer Screening比赛的sample_submission.csv文件下载地址为：https://kaggle.com/c/intel-mobileodt-cervical-cancer-screening/download/sample_submission.csv.zip

现在，从终端使用以下命令将数据集下载到实例中。

wget -x --load-cookies cookies.txt https://kaggle.com/c/intel-mobileodt-cervical-cancer-screening/download/sample_submission.csv.zip

【讨论】：

Chrome 扩展程序 link 不工作。
它对我有用。搜索 chrome cookies.txt 导出

【解决方案3】：

安装CurlWget chrome 扩展。

开始下载你的 kaggle 数据集。 CurlWget 会给你完整的 wget 命令。使用 sudo 将此命令粘贴到终端。

任务完成。

【讨论】：

【解决方案4】：

在 chrome 上安装 cookies.txt 扩展并启用它。
登录 kaggle
转到您想要从中获取数据的挑战页面
点击右上角的cookie.txt扩展，下载当前页面的cookie。它将下载 cookies.txt 文件中的 cookie
使用 scp 或其他方法将文件传输到远程服务
复制kaggle页面显示的数据链接（右键复制链接地址）
运行wget -x --load-cookies cookies.txt <datalink>

【讨论】：