# データセットを理解する

データセットオブジェクトには2つの種類があり、通常の[Dataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset)と、✨[IterableDataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.IterableDataset)✨です。[Dataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset)は行への高速なランダムアクセスとメモリマッピングを提供し、大規模なデータセットを読み込んでも、デバイスメモリを比較的少量しか使用しません。しかし、ディスクやメモリに収まらないほど非常に大きなデータセットの場合、[IterableDataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.IterableDataset)を使用すると、ダウンロードが完全に終わるのを待たずにデータセットにアクセスして利用できます。

このチュートリアルでは、[Dataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset)と[IterableDataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.IterableDataset)を読み込み、アクセスする方法を示します。

## データセット

データセットの分割を読み込むと、[Dataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset)オブジェクトが返されます。[Dataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset)オブジェクトでは多くの操作が可能ですが、内部に格納されているデータを操作し、それとやり取りする方法を学ぶことが重要です。
 
このチュートリアルでは[rotten_tomatoes](https://huggingface.co/datasets/rotten_tomatoes)データセットを使用していますが、お好みのデータセットを読み込んで、そのまま進めていただいても構いません。

```py
>>> from datasets import load_dataset

>>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes", split="train")
```

### インデックス作成

[Dataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset)はデータの列を含み、各列は異なるタイプのデータを持つことができます。*index*（軸ラベル）は、データセットからサンプルにアクセスするために使用されます。例えば、行でインデックス指定すると、データセットのサンプルの辞書が返されます。

```py
# Get the first row in the dataset
>>> dataset[0]
{'label': 1,
 'text': 'the rock is destined to be the 21st century\'s new " conan " and that he\'s going to make a splash even greater than arnold schwarzenegger , jean-claud van damme or steven segal .'}
```

`-` 演算子を使用して、データセットの末尾から開始します:

```py
# Get the last row in the dataset
>>> dataset[-1]
{'label': 0,
 'text': 'things really get weird , though not particularly scary : the movie is all portent and no content .'}
```

カラム名でインデックス指定すると、そのカラムのすべての値のリストが返されます:

```py
>>> dataset["text"]
['the rock is destined to be the 21st century\'s new " conan " and that he\'s going to make a splash even greater than arnold schwarzenegger , jean-claud van damme or steven segal .',
 'the gorgeously elaborate continuation of " the lord of the rings " trilogy is so huge that a column of words cannot adequately describe co-writer/director peter jackson\'s expanded vision of j . r . r . tolkien\'s middle-earth .',
 'effective but too-tepid biopic',
 ...,
 'things really get weird , though not particularly scary : the movie is all portent and no content .']
```

行名と列名のインデックスを組み合わせることで、特定の位置の値を返すことができます:

```py
>>> dataset[0]["text"]
'the rock is destined to be the 21st century\'s new " conan " and that he\'s going to make a splash even greater than arnold schwarzenegger , jean-claud van damme or steven segal .'
```

インデックスの順序は重要ではありません。列名でインデックス付けすると、[Column](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Column)オブジェクトが返され、通常どおり行インデックスでアクセスできます。

```py
>>> import time

>>> start_time = time.time()
>>> text = dataset[0]["text"]
>>> end_time = time.time()
>>> print(f"Elapsed time: {end_time - start_time:.4f} seconds")
Elapsed time: 0.0031 seconds

>>> start_time = time.time()
>>> text = dataset["text"][0]
>>> end_time = time.time()
>>> print(f"Elapsed time: {end_time - start_time:.4f} seconds")
Elapsed time: 0.0042 seconds
```

### スライシング

Slicingは、データセットのスライス（部分集合）を返します。これにより、複数の行を一度に表示できます。データセットをスライスするには、`:`演算子を使用して位置の範囲を指定します。

```py
# Get the first three rows
>>> dataset[:3]
{'label': [1, 1, 1],
 'text': ['the rock is destined to be the 21st century\'s new " conan " and that he\'s going to make a splash even greater than arnold schwarzenegger , jean-claud van damme or steven segal .',
  'the gorgeously elaborate continuation of " the lord of the rings " trilogy is so huge that a column of words cannot adequately describe co-writer/director peter jackson\'s expanded vision of j . r . r . tolkien\'s middle-earth .',
  'effective but too-tepid biopic']}

# Get rows between three and six
>>> dataset[3:6]
{'label': [1, 1, 1],
 'text': ['if you sometimes like to go to the movies to have fun , wasabi is a good place to start .',
  "emerges as something rare , an issue movie that's so honest and keenly observed that it doesn't feel like one .",
  'the film provides some great insight into the neurotic mindset of all comics -- even those who have reached the absolute top of the game .']}
```

## IterableDataset

[IterableDataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.IterableDataset) は、[load_dataset()](/docs/datasets/v5.2.0/ja/package_reference/loading_methods#datasets.load_dataset) で `streaming` パラメータを `True` に設定すると読み込まれます:

```py
>>> from datasets import load_dataset

>>> iterable_dataset = load_dataset("ethz/food101", split="train", streaming=True)
>>> for example in iterable_dataset:
...     print(example)
...     break
{'image': <PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=384x512 at 0x7F0681F5C520>, 'label': 6}
```

*既存の*[Dataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset)から[IterableDataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.IterableDataset)を作成することもできますが、データセットがローカルファイルからストリーミングされるため、ストリーミングモードよりも高速です:

```py
>>> from datasets import load_dataset

>>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes", split="train")
>>> iterable_dataset = dataset.to_iterable_dataset()
```

[IterableDataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.IterableDataset) は、データセットを1つのサンプルずつ順次反復処理するため、データセット全体をダウンロードするのを待たずに使用を開始できます。すぐに使用したい大規模なデータセットに対して、非常に有用であることが想像できるでしょう。

### インデックス作成

[IterableDataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.IterableDataset)の動作は、通常の[Dataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset)とは異なります。[IterableDataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.IterableDataset)では、サンプルへのランダムアクセスはできません。代わりに、その要素を反復処理する必要があります。例えば、`next(iter())`を呼び出すか、`for`ループを使用して、[IterableDataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.IterableDataset)から次のアイテムを取得します。

```py
>>> next(iter(iterable_dataset))
{'image': <PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=384x512 at 0x7F0681F59B50>,
 'label': 6}

>>> for example in iterable_dataset:
...     print(example)
...     break
{'image': <PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=384x512 at 0x7F7479DE82B0>, 'label': 6}
```

ただし、[IterableDataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.IterableDataset)は、カラムの値をイテラブルとして返すカラムインデックスをサポートしています:

```py
>>> next(iter(iterable_dataset["label"]))
6
```

### サブセットの作成

[IterableDataset.take()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.IterableDataset.take) を使用すると、特定の数のサンプルを含むデータセットの部分集合を返すことができます:

```py
# Get first three examples
>>> list(iterable_dataset.take(3))
[{'image': <PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=384x512 at 0x7F7479DEE9D0>,
  'label': 6},
 {'image': <PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=512x512 at 0x7F7479DE8190>,
  'label': 6},
 {'image': <PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=512x383 at 0x7F7479DE8310>,
  'label': 6}]
```

ただし、[スライシング](access/#slicing)とは異なり、[IterableDataset.take()](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.IterableDataset.take)は新しい[IterableDataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.IterableDataset)を作成します。

## 次のステップ

これらの2種類のデータセットの違いについて詳しく知りたいですか？[`Dataset`と`IterableDataset`の違い](about_mapstyle_vs_iterable)の概念ガイドで詳しく学んでください。

これらのデータセットタイプをより実践的に学ぶには、[Process](process)ガイドで[Dataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.Dataset)の前処理方法や、[Stream](stream)ガイドで[IterableDataset](/docs/datasets/v5.2.0/ja/package_reference/main_classes#datasets.IterableDataset)の前処理方法を確認してください。

