如何修复因“FailureReason”而失败的 SageMaker 数据质量监控计划作业：“作业输入没有数据”答案

【问题标题】：How to fix SageMaker data-quality monitoring-schedule job that fails with 'FailureReason': 'Job inputs had no data'如何修复因“FailureReason”而失败的 SageMaker 数据质量监控计划作业：“作业输入没有数据”
【发布时间】：2022-02-26 12:38:18
【问题描述】：

我正在尝试按照this AWS documentation page 中提到的步骤在 AWS SageMaker 中安排数据质量监控作业。我已经为我的端点启用了数据捕获。然后，在我的训练 csv 文件上训练了一个基线，统计信息和约束在 S3 中可用，如下所示：

from sagemaker import get_execution_role
from sagemaker import image_uris
from sagemaker.model_monitor.dataset_format import DatasetFormat

my_data_monitor = DefaultModelMonitor(
    role=get_execution_role(),
    instance_count=1,
    instance_type='ml.m5.large',
    volume_size_in_gb=30,
    max_runtime_in_seconds=3_600)

# base s3 directory
baseline_dir_uri = 's3://api-trial/data_quality_no_headers/'
# train data, that I have used to generate baseline
baseline_data_uri = baseline_dir_uri + 'ch_train_no_target.csv'
# directory in s3 bucket that I have stored my baseline results to 
baseline_results_uri = baseline_dir_uri + 'baseline_results_try17/'


my_data_monitor.suggest_baseline(
    baseline_dataset=baseline_data_uri,
    dataset_format=DatasetFormat.csv(header=True),
    output_s3_uri=baseline_results_uri,
    wait=True, logs=False, job_name='ch-dq-baseline-try21'
)

并且数据在 S3 中可用：

然后我尝试通过关注this example notebook for model-quality-monitoring in sagemaker-examples github repo 来安排监控作业，通过根据错误消息的反馈进行必要的修改来安排我的数据质量监控作业。

以下是尝试从 SageMaker Studio 安排数据质量监控作业的方法：

from sagemaker import get_execution_role
from sagemaker.model_monitor import EndpointInput
from sagemaker import image_uris
from sagemaker.model_monitor import CronExpressionGenerator
from sagemaker.model_monitor import DefaultModelMonitor
from sagemaker.model_monitor.dataset_format import DatasetFormat

# base s3 directory
baseline_dir_uri = 's3://api-trial/data_quality_no_headers/'

# train data, that I have used to generate baseline
baseline_data_uri = baseline_dir_uri + 'ch_train_no_target.csv'

# directory in s3 bucket that I have stored my baseline results to 
baseline_results_uri = baseline_dir_uri + 'baseline_results_try17/'
# s3 locations of baseline job outputs
baseline_statistics = baseline_results_uri + 'statistics.json'
baseline_constraints = baseline_results_uri + 'constraints.json'

# directory in s3 bucket that I would like to store results of monitoring schedules in
monitoring_outputs = baseline_dir_uri + 'monitoring_results_try17/'

ch_dq_ep = EndpointInput(endpoint_name=myendpoint_name,
                         destination="/opt/ml/processing/input_data",
                         s3_input_mode="File",
                         s3_data_distribution_type="FullyReplicated")

monitor_schedule_name='ch-dq-monitor-schdl-try21'

my_data_monitor.create_monitoring_schedule(endpoint_input=ch_dq_ep,
                                           monitor_schedule_name=monitor_schedule_name,
                                           output_s3_uri=baseline_dir_uri,
                                           constraints=baseline_constraints,
                                           statistics=baseline_statistics,
                                           schedule_cron_expression=CronExpressionGenerator.hourly(),
                                           enable_cloudwatch_metrics=True)

大约一个小时后，当我像这样检查日程安排的状态时：

import boto3
boto3_sm_client = boto3.client('sagemaker')
boto3_sm_client.describe_monitoring_schedule(MonitoringScheduleName='ch-dq-monitor-schdl-try17')

我得到如下失败状态：

'MonitoringExecutionStatus': 'Failed',
  ...
  'FailureReason': 'Job inputs had no data'},

整个消息：

```
{'MonitoringScheduleArn': 'arn:aws:sagemaker:ap-south-1:<my-account-id>:monitoring-schedule/ch-dq-monitor-schdl-try21',
 'MonitoringScheduleName': 'ch-dq-monitor-schdl-try21',
 'MonitoringScheduleStatus': 'Scheduled',
 'MonitoringType': 'DataQuality',
 'CreationTime': datetime.datetime(2021, 9, 14, 13, 7, 31, 899000, tzinfo=tzlocal()),
 'LastModifiedTime': datetime.datetime(2021, 9, 14, 14, 1, 13, 247000, tzinfo=tzlocal()),
 'MonitoringScheduleConfig': {'ScheduleConfig': {'ScheduleExpression': 'cron(0 * ? * * *)'},
  'MonitoringJobDefinitionName': 'data-quality-job-definition-2021-09-14-13-07-31-483',
  'MonitoringType': 'DataQuality'},
 'EndpointName': 'ch-dq-nh-try21',
 'LastMonitoringExecutionSummary': {'MonitoringScheduleName': 'ch-dq-monitor-schdl-try21',
  'ScheduledTime': datetime.datetime(2021, 9, 14, 14, 0, tzinfo=tzlocal()),
  'CreationTime': datetime.datetime(2021, 9, 14, 14, 1, 9, 405000, tzinfo=tzlocal()),
  'LastModifiedTime': datetime.datetime(2021, 9, 14, 14, 1, 13, 236000, tzinfo=tzlocal()),
  'MonitoringExecutionStatus': 'Failed',
  'EndpointName': 'ch-dq-nh-try21',
  'FailureReason': 'Job inputs had no data'},
 'ResponseMetadata': {'RequestId': 'dd729244-fde9-44b5-9904-066eea3a49bb',
  'HTTPStatusCode': 200,
  'HTTPHeaders': {'x-amzn-requestid': 'dd729244-fde9-44b5-9904-066eea3a49bb',
   'content-type': 'application/x-amz-json-1.1',
   'content-length': '835',
   'date': 'Tue, 14 Sep 2021 14:27:53 GMT'},
  'RetryAttempts': 0}}
```

您可能认为我这边出了问题或可能帮助我解决问题的可能：

用于基线的数据集：我尝试使用带有和不带有目标变量（或因变量或 y）的数据集创建基线，并且错误两次都持续存在。所以，我认为这个错误是由不同的原因引起的。
没有为这些作业创建的日志组供我查看并尝试调试问题。基线作业具有日志组，因此我认为用于监控调度作业的角色没有创建日志组或流的权限没有问题。
role：我附加的角色由get_execution_role() 定义，它指向一个对sagemaker、cloudwatch、S3 和其他一些服务具有完全访问权限的角色。
推理期间从我的端点收集的数据：以下是保存到 S3 的 .jsonl 文件的一行数据，其中包含推理期间收集的数据，如下所示：

{"captureData":{"endpointInput":{"observedContentType":"application/json","mode":"INPUT","data":"{\"longitude\": [-122.32, -117.58], \"latitude\": [37.55, 33.6], \"housing_median_age\": [50.0, 5.0], \"total_rooms\": [2501.0, 5348.0], \"total_bedrooms\": [433.0, 659.0], \"population\": [1050.0, 1862.0], \"households\": [410.0, 555.0], \"median_income\": [4.6406, 11.0567]}","encoding":"JSON"},"endpointOutput":{"observedContentType":"text/html; charset=utf-8","mode":"OUTPUT","data":"eyJtZWRpYW5faG91c2VfdmFsdWUiOiBbNDUyOTU3LjY5LCA0NjcyMTQuNF19","encoding":"BASE64"}},"eventMetadata":{"eventId":"9804d438-eb4c-4cb4-8f1b-d0c832b641aa","inferenceId":"ef07163d-ea2d-4730-92f3-d755bc04ae0d","inferenceTime":"2021-09-14T13:59:03Z"},"eventVersion":"0"}

我想知道在整个过程中出了什么问题，导致数据没有被提供给我的监控工作。

【问题讨论】：

从捕获的数据中，您的输入编码为JSON，输出编码为BASE64。由于不支持输入和输出的不同编码，您是如何解决这个问题的？
我认为这是一个不同的问题。这个问题是关于没有找到合并操作的数据。并且在那之后进行监视，需要为此编写脚本，但我没有这样做。更多：github.com/aws/sagemaker-python-sdk/issues/2665
您能否成功安排数据质量监控作业？如果是，你能分享你的工作代码 sn-p 吗？
@Pythoncoder，不，我做不到，这就是上面链接的 github 问题仍然开放的原因。如果您成功地安排了数据质量监控作业，我请求您在该 github 问题上发布您的工作脚本。

标签： amazon-web-services aws-sdk amazon-sagemaker

【解决方案1】：

在 ground-truth-merge 作业期间，当 spark 在“/opt/ml/processing/groundtruth/”或“/opt/ml/processing/input_data/”目录中找不到任何数据时，就会发生这种情况.当您没有向 sagemaker 端点发送任何请求或没有基本事实时，就会发生这种情况。

我收到此错误是因为映射到监控容器的 docker 卷的文件夹 /opt/ml/processing/input_data/ 没有要处理的数据。发生这种情况是因为，促进整个过程的东西，包括获取数据，在 S3 中找不到任何东西。发生这种情况是因为，端点捕获数据将保存到的目录中有一个额外的斜杠（/）。详细说明，在创建端点时，我曾提到目录为s3://<bucket-name>/<folder-1>/，而它应该只是s3://<bucket-name>/<folder-1>。因此，虽然将数据从 S3 复制到 docker 卷的东西试图获取该小时的数据，但它试图从中提取数据的目录是 s3://<bucket-name>/<folder-1>//<endpoint-name>/<variant-name>/<year>/<month>/<date>/<hour>（注意两个斜杠）。因此，当我在 S3 目录中删除斜杠再次创建端点配置时，此错误不存在，并且作为模型质量监控的一部分，ground-truth-merge 操作成功。

我之所以回答这个问题，是因为有人阅读了这个问题并对其投了赞成票。意思是，其他人也遇到过这个问题。所以，我已经提到了对我有用的东西。我写了这个，这样 StackExchange 就不会认为我在向论坛发送垃圾邮件。

【讨论】：