notebook.community

Edit and run 





In [ ]:



    


#@title Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

tf.data を使って CSV をロードする

View on TensorFlow.org View source on GitHub Download notebook

Note: これらのドキュメントは私たちTensorFlowコミュニティが翻訳したものです。コミュニティによる 翻訳はベストエフォートであるため、この翻訳が正確であることや英語の公式ドキュメントの 最新の状態を反映したものであることを保証することはできません。 この翻訳の品質を向上させるためのご意見をお持ちの方は、GitHubリポジトリtensorflow/docsにプルリクエストをお送りください。 コミュニティによる翻訳やレビューに参加していただける方は、 docs-ja@tensorflow.org メーリングリストにご連絡ください。

このチュートリアルでは、CSV データを tf.data.Dataset にロードする手法の例を示します。

このチュートリアルで使われているデータはタイタニック号の乗客リストから取られたものです。乗客が生き残る可能性を、年齢、性別、チケットの等級、そして乗客が一人で旅行しているか否かといった特性から予測することを試みます。

設定





In [ ]:



    


import functools

import numpy as np
import tensorflow as tf



    











In [ ]:



    


TRAIN_DATA_URL = "https://storage.googleapis.com/tf-datasets/titanic/train.csv"
TEST_DATA_URL = "https://storage.googleapis.com/tf-datasets/titanic/eval.csv"

train_file_path = tf.keras.utils.get_file("train.csv", TRAIN_DATA_URL)
test_file_path = tf.keras.utils.get_file("eval.csv", TEST_DATA_URL)



    











In [ ]:



    


# numpy の値を読みやすくする
np.set_printoptions(precision=3, suppress=True)

データのロード

それではいつものように、扱っている CSV ファイルの先頭を見てみましょう。





In [ ]:



    


!head {train_file_path}

pandasでデータを読み込んでから Numpy の array を TensorFlow に渡すというのは可能です。もし、大規模なデータに対応するためにスケールアップしたり、データの読み込み処理を TensorFlow や tf.data に統合されたものにしたい場合、tf.data.experimental.make_csv_dataset 関数が利用できます。

The only column you need to identify explicitly is the one with the value that the model is intended to predict.





In [ ]:



    


LABELS = [0, 1]
LABEL_COLUMN = 'survived'

コンストラクタの引数の値が揃ったので、ファイルから CSV データを読み込みデータセットを作ることにしましょう。

（完全なドキュメントは、tf.data.experimental.make_csv_dataset を参照してください）





In [ ]:



    


def get_dataset(file_path, **kwargs):
  dataset = tf.data.experimental.make_csv_dataset(
      file_path,
      batch_size=5, # Artificially small to make examples easier to show.
      label_name=LABEL_COLUMN,
      na_value="?",
      num_epochs=1,
      ignore_errors=True, 
      **kwargs)
  return dataset

raw_train_data = get_dataset(train_file_path)
raw_test_data = get_dataset(test_file_path)



    











In [ ]:



    


def show_batch(dataset):
  for batch, label in dataset.take(1):
    for key, value in batch.items():
      print("{:20s}: {}".format(key,value.numpy()))

データセットを構成する要素は、(複数のサンプル, 複数のラベル)の形のタプルとして表されるバッチです。サンプル中のデータは（行ベースのテンソルではなく）列ベースのテンソルとして構成され、それぞれはバッチサイズ（このケースでは5個）の要素が含まれます。

実際に見てみましょう。





In [ ]:



    


show_batch(raw_train_data)

上で見たように、この CSV の列には名前がついています。Dataset のコンストラクターはこれらの列名を自動的に抽出します。一行目に列名が記されていない CSV を扱う場合には、列名のリストを make_csv_dataset 関数の column_names 引数に渡してください。





In [ ]:



    


CSV_COLUMNS = ['survived', 'sex', 'age', 'n_siblings_spouses', 'parch', 'fare', 'class', 'deck', 'embark_town', 'alone']

temp_dataset = get_dataset(train_file_path, column_names=CSV_COLUMNS)

show_batch(temp_dataset)

このサンプルでは利用できるすべての列を使います。もし、データセットから特定の列を除外したい場合には、利用したい列名のリストを作成し、コンストラクタのオプショナルな引数である select_columns にそのリストを渡してください。





In [ ]:



    


SELECT_COLUMNS = ['survived', 'age', 'n_siblings_spouses', 'class', 'deck', 'alone']

temp_dataset = get_dataset(train_file_path, select_columns=SELECT_COLUMNS)

show_batch(temp_dataset)

データの前処理

CSV ファイルに含まれるデータには様々な型のものがありえます。データをモデルに入力する前に、典型的なケースでは、様々な型を含んだデータを固定長のベクトルに変換する必要があります。

TensorFlow には典型的なデータ変換を行う tf.feature_column が組み込まれています。詳細はこのチュートリアルを参照してください。

また、任意のツール (たとえば、nltk や sklearn ) を使って前処理を行い、前処理した結果を TensorFlow にわたすこともできます。

モデルの内部で前処理を行う最大の利点は、モデルをエクスポートしたときにその中に前処理が含まれていることです。この方法を取れば、生データをそのままモデルに入力することができます。

連続データ

すでにデータが適切に数値型になっている場合、モデルに渡す前にそのデータをベクトル形式にできます。





In [ ]:



    


SELECT_COLUMNS = ['survived', 'age', 'n_siblings_spouses', 'parch', 'fare']
DEFAULTS = [0, 0.0, 0.0, 0.0, 0.0]
temp_dataset = get_dataset(train_file_path, 
                           select_columns=SELECT_COLUMNS,
                           column_defaults = DEFAULTS)

show_batch(temp_dataset)



    











In [ ]:



    


example_batch, labels_batch = next(iter(temp_dataset))

次のサンプルは、数値型の列をベクトルに変換するシンプルな関数の例です。





In [ ]:



    


def pack(features, label):
  return tf.stack(list(features.values()), axis=-1), label

この関数をデータセットのそれぞれの要素に適用します。





In [ ]:



    


packed_dataset = temp_dataset.map(pack)

for features, labels in packed_dataset.take(1):
  print(features.numpy())
  print()
  print(labels.numpy())

様々な型を含んだデータセットを利用する場合、シンプルな数値型のフィールドだけを分離したくなるかもしれません。tf.feature_column はそのような処理を実現できますが、いくらかのオーバーヘッドを発生させるため、それが本当に必要になる場合以外ではできるだけ避けるべきでしょう。様々な型を含んだデータセットに話を戻しましょう。





In [ ]:



    


show_batch(raw_train_data)



    











In [ ]:



    


example_batch, labels_batch = next(iter(temp_dataset))

数値型の特徴量を選んで、それらをベクトル化して単一の列に変換する、より一般的な前処理器を作成しましょう。





In [ ]:



    


class PackNumericFeatures(object):
  def __init__(self, names):
    self.names = names

  def __call__(self, features, labels):
    numeric_features = [features.pop(name) for name in self.names]
    numeric_features = [tf.cast(feat, tf.float32) for feat in numeric_features]
    numeric_features = tf.stack(numeric_features, axis=-1)
    features['numeric'] = numeric_features

    return features, labels



    











In [ ]:



    


NUMERIC_FEATURES = ['age','n_siblings_spouses','parch', 'fare']

packed_train_data = raw_train_data.map(
    PackNumericFeatures(NUMERIC_FEATURES))

packed_test_data = raw_test_data.map(
    PackNumericFeatures(NUMERIC_FEATURES))



    











In [ ]:



    


show_batch(packed_train_data)



    











In [ ]:



    


example_batch, labels_batch = next(iter(packed_train_data))

データの正規化

連続値をとるデータは常に正規化されるべきでしょう。





In [ ]:



    


import pandas as pd
desc = pd.read_csv(train_file_path)[NUMERIC_FEATURES].describe()
desc



    











In [ ]:



    


MEAN = np.array(desc.T['mean'])
STD = np.array(desc.T['std'])



    











In [ ]:



    


def normalize_numeric_data(data, mean, std):
  # Center the data
  return (data-mean)/std

数値型の列を作成しましょう。tf.feature_columns.numeric_column では normalizer_fn 引数で正則化のための関数を受け取ります。また、渡された関数はそれぞれのバッチに対して実行されます。

functools.partial を用いて関数を部分適用し、normalize_numeric_data の引数 MEAN と STD を固定しておきましょう。





In [ ]:



    


# See what you just created.
normalizer = functools.partial(normalize_numeric_data, mean=MEAN, std=STD)

numeric_column = tf.feature_column.numeric_column('numeric', normalizer_fn=normalizer, shape=[len(NUMERIC_FEATURES)])
numeric_columns = [numeric_column]
numeric_column

モデルの訓練時には、数値データのブロックを選び出して利用できるように、作成した特徴量の列を入力に含めましょう。





In [ ]:



    


example_batch['numeric']



    











In [ ]:



    


numeric_layer = tf.keras.layers.DenseFeatures(numeric_columns)
numeric_layer(example_batch).numpy()

ここで用いられた、平均を用いた正規化を利用するためには、それぞれの列の平均値を事前に知っている必要があります。

カテゴリデータ

この CSV データ中のいくつかの列はカテゴリ列です。つまり、その中身は、限られた選択肢の中のひとつである必要があります。

tf.feature_column API を用いて、それぞれのカテゴリ列のためのコレクションを tf.feature_column.indicator_column で生成しましょう。





In [ ]:



    


CATEGORIES = {
    'sex': ['male', 'female'],
    'class' : ['First', 'Second', 'Third'],
    'deck' : ['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J'],
    'embark_town' : ['Cherbourg', 'Southhampton', 'Queenstown'],
    'alone' : ['y', 'n']
}



    











In [ ]:



    


categorical_columns = []
for feature, vocab in CATEGORIES.items():
  cat_col = tf.feature_column.categorical_column_with_vocabulary_list(
        key=feature, vocabulary_list=vocab)
  categorical_columns.append(tf.feature_column.indicator_column(cat_col))



    











In [ ]:



    


# See what you just created.
categorical_columns



    











In [ ]:



    


categorical_layer = tf.keras.layers.DenseFeatures(categorical_columns)
print(categorical_layer(example_batch).numpy()[0])

モデルを構築する際、これは入力レイヤーで行われるデータ処理の一部になります。

一体化した前処理レイヤー

2つの特徴量列のコレクションを結合し、tf.keras.layers.DenseFeatures に入力して、両方のデータ型を読み込んで前処理する入力レイヤーを作成しましょう。





In [ ]:



    


preprocessing_layer = tf.keras.layers.DenseFeatures(categorical_columns+numeric_columns)



    











In [ ]:



    


print(preprocessing_layer(example_batch).numpy()[0])

モデルの構築

preprocessing_layer から始まる tf.keras.Sequential を構築しましょう。





In [ ]:



    


model = tf.keras.Sequential([
  preprocessing_layer,
  tf.keras.layers.Dense(128, activation='relu'),
  tf.keras.layers.Dense(128, activation='relu'),
  tf.keras.layers.Dense(1),
])

model.compile(
    loss=tf.keras.losses.BinaryCrossentropy(from_logits=True),
    optimizer='adam',
    metrics=['accuracy'])

訓練、評価、そして予測

これでモデルをインスタンス化し、訓練することができます。





In [ ]:



    


train_data = packed_train_data.shuffle(500)
test_data = packed_test_data



    











In [ ]:



    


model.fit(train_data, epochs=20)

モデルの訓練が終わったら、test_data データセットでの正解率をチェックできます。





In [ ]:



    


test_loss, test_accuracy = model.evaluate(test_data)

print('\n\nTest Loss {}, Test Accuracy {}'.format(test_loss, test_accuracy))

単一のバッチ、または、バッチからなるデータセットのラベルを推論する場合には、tf.keras.Model.predict を使います。





In [ ]:



    


predictions = model.predict(test_data)

# 結果のいくつかを表示
for prediction, survived in zip(predictions[:10], list(test_data)[0][1][:10]):
  print("Predicted survival: {:.2%}".format(prediction[0]),
        " | Actual outcome: ",
        ("SURVIVED" if bool(survived) else "DIED"))

Content source: tensorflow/docs-l10n

Similar notebooks:

notebook.community | gallery | about