# データファイルの設定

データセットリポジトリの構成方法に制約はありません。

ただし、Dataset Viewer で特定のデータファイルを表示させたい場合や、データセットを train/validation/test のスプリットに分離したい場合は、データセットを適切に構成する必要があります。多くの場合、スプリット名に合わせてデータファイルに名前を付けるだけで済みます。例えば、`train.csv` や `test.csv` のようにです。

## スプリットとサブセットとは何ですか？

機械学習のデータセットには通常、スプリットがあり、サブセットを持つこともあります。データセットは一般的に、モデルの学習や評価の異なる段階で使用される_スプリット_（例: `train`と`test`）で構成されています。_サブセット_（_設定_とも呼ばれます）は、より大きなデータセットに含まれる部分データセットです。サブセットは、言語ごとに異なるサブセットが存在する可能性のある多言語音声データセットで特に一般的です。スプリットとサブセットについてさらに詳しく知りたい場合は、[Splits and subsets](/docs/datasets-server/configs_and_splits)ガイドをご覧ください！

![split-configs-server](https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/split-configs-server.gif)

## 自動スプリット検出

スプリットは、ファイル名とディレクトリ名に基づいて自動的に検出されます。例えば、以下は`train`、`test`、`validation`のスプリットを持つデータセットです:

```
my_dataset_repository/
├── README.md
├── train.csv
├── test.csv
└── validation.csv
```

データファイルやディレクトリにスプリット名を付けてデータセットを構成する方法については、[ファイル名とスプリット](./datasets-file-names-and-splits)のドキュメントおよび[サンプルデータセットのコレクション](https://huggingface.co/collections/datasets-examples/file-names-and-splits-655e28af4471bd95709eb135)を参照してください。

## 手動での分割とサブセットの設定

YAML を使用して、データセットの Dataset Viewer に表示するデータファイルを選択できます。どのファイルをどの split に割り当てるかを手動で指定したい場合に便利です。

データセットに複数のサブセットを定義することもでき、データセット構築のパラメータ（例: CSVファイルで使用する区切り文字）を渡すこともできます。

`test`スプリットを持つ、"benchmark" というサブセットを定義する設定の例を以下に示します。

```yaml
configs:
- config_name: benchmark
  data_files:
  - split: test
    path: benchmark.csv
```

詳細については、[手動設定](./datasets-manual-configuration)のドキュメントを参照してください。また、[サンプルデータセット](https://huggingface.co/collections/datasets-examples/manual-configuration-655e293cea26da0acab95b87)もご覧ください。

## サポートされているファイル形式

サポートされている形式のリストと、データセットに関する推奨事項については、[File formats](./datasets-adding#file-formats)のドキュメントページを参照してください。データセットがCSVまたはTSVファイルを使用している場合は、[example datasets](https://huggingface.co/collections/datasets-examples/format-csv-and-tsv-655f681cb9673a4249cccb3d)で詳細を確認できます。

### Dataset Viewerのサイズ制限エラー（`TooBigContentError`）

`Error code: TooBigContentError` が表示される場合、データセットビューアが制限内でプレビューを読み取れなかったことを意味します。一般的なメッセージには、`Parquet error: Scan size limit exceeded` や `The size of the content of the first rows exceeds the maximum supported size` が含まれます。

実行できること:

- Parquetファイルの場合、Viewerが必要なデータのみを読み取れるように、より小さいrow groupを使用し、ページインデックス（`write_page_index=True`）を含めてください。
- 最初の行に非常に大きな値（非常に長い文字列、大きなJSONブロブ、base64ペイロード）を避けてください。可能な場合は、大きなペイロードを別のファイルに移動してください。
- 非常に大きなファイルを小さなシャードまたはスプリットに分割してから、再アップロードしてください。
- 問題が解決しない場合は、[Dataset Viewer の設定](./datasets-viewer-configure)を確認し、完全なエラーテキストを添えて、データセットのページでディスカッションを開始してください。

## 画像、音声、動画のデータセット

画像/音声/動画の分類データセットでは、ディレクトリを使用して画像/音声/動画のクラス名を指定することもできます。また、画像/音声/動画ファイルにメタデータ（キャプション、バウンディングボックス、文字起こしなど）がある場合は、それらのファイルの隣にメタデータファイルを配置できます。

以下の2つのガイドをご参照ください：

- [画像データセットの作成方法](./datasets-image)（[サンプルデータセット](https://huggingface.co/collections/datasets-examples/image-dataset-6568e7cf28639db76eb92d65)）
- [オーディオデータセットの作成方法](./datasets-audio)（[データセットの例](https://huggingface.co/collections/datasets-examples/audio-dataset-66aca0b73e8f69e3d069e607)）
- [動画データセットの作成方法](./datasets-video)