search

machine-learning-challenge / tutorial_mnist

This repository contains the code for Machine Learning Challenge tutorial with MNIST.
11 stars 13 forks source link

Batch Prediction을 수행하고 storage에 저장되는 명령어에 오류가 있습니다. #3

Open GzuPark opened 7 years ago

GzuPark commented 7 years ago

${JOB_NAME}.csv 폴더에 결과값을 가진 파일이 두개 있습니다. 따라서 아래와 같이

gsutil -m cp -r ${BUCKET_NAME}/batch_predict/${JOB_NAME}.csv /tmp/batch_predict/${JOB_NAME}.csv

CommandException: Destination URL must name a directory, bucket, or bucket
subdirectory for the multiple source form of the cp command.
CommandException: Destination URL must name a directory, bucket, or bucket
subdirectory for the multiple source form of the cp command.
CommandException: 2 files/objects could not be transferred.

같은 오류를 발생하게 됩니다.

GzuPark commented 7 years ago 
gcloud ml-engine jobs submit prediction ${JOB_NAME} --verbosity=debug \
--model-dir=${EXPORTED_MODEL_DIR} --data-format=TF_RECORD \
--input-paths='gs://kmlc_test_train_bucket/mnist/test.tfrecords' \
--output-path=${BUCKET_NAME}/batch_predict/${JOB_NAME}.csv --region=us-east1 \
--runtime-version=1.2 --max-worker-count=10

이 부분에서 output-path는 문서에 나와있듯이 저장 경로일 뿐입니다. storage의 ${BUCKET_NAME}/batch_predict 의 경로를 보면 kmlc_mnist_batch_prediction_날짜_시간.csv 폴더가 있고 그 안에 prediction.results-00000-of-00001, prediction.errors_stats-00000-of-00001 두개의 파일이 있습니다. 두 파일 중 results 부분이 예측 결과이지만 csv파일의 형식이 아닙니다.

제출은 Evaluation and Inference에서 생성된 prediction.csv 파일을 제출할 수 있지만 Batch Prediction을 활용한 방법에서 진행이 되질 않아 개인적인 실수인지 다 같은 문제를 가지고 있는지 궁금합니다.