1.1　MNISTについて

1.1.1　概要

　MNISTは「0」〜「9」の手書き数字が描かれた画像を集めた大規模なデータセットです。入力画像から何の数字を示しているか分類する画像分類問題のデータセットとして人気が高く、深層学習の入門データセットとしてよく使用されています。

　名称に関しては主にMNIST（エムニスト）と呼ばれていますが、正式名称は「Mixed National Institute of Standards and Technology database」です。翻訳すると「国立標準技術研究所混合データベース」となりますが、これだとデータベースの出処しか分からずデータの中身に何が含まれているのか少し分かりにくいですね。MNISTは、手書きの数字「0」～「9」の画像で構成されるデータセットであると理解すればよいと思います。

　このMNISTデータは、1998年にアメリカ国立標準技術研究所＝NIST（National Institute of Standards and Technology）のYann LeCunさん達の手によって作成されました。データの内容や詳細については後述しますが、データの数量としては訓練用データが60000枚、テスト用データが10000枚、合計70000枚の画像で構成されたデータセットです。またデータセットの特徴として、画像サイズは固定で、手書き文字が画像の中心に位置するように正規化されていることが挙げられます。

<公式サイトよりダウンロード可能なMNISTデータリスト>
train-images-idx3-ubyte.gz:  training set images (9912422 bytes)
train-labels-idx1-ubyte.gz:  training set labels (28881 bytes)
t10k-images-idx3-ubyte.gz:   test set images (1648877 bytes)
t10k-labels-idx1-ubyte.gz:   test set labels (4542 bytes)

　次章ではPyTorchライブラリを使用して、MNISTの中身を確認します。まずデータの中身を実際に見てみたいと思われる方は、次章をご覧ください。

1.1.2　データ内訳

　ここでは具体的なMNISTデータセットの中身について確認していきます。既に述べた通り、MNISTは「0」〜「9」の手書き数字の画像データで構成されています。図1.1に実際の各数字の画像データの一部の例を示します。紙面上は大きく見えるかもしれませんが、実際のデータとしての画像サイズは28×28ピクセルの小さい正方形の白黒画像で表現されています。MNISTデータセットでは各画像に合わせてどの数字に該当するかを示す「0」～「9」の正解ラベルデータも存在しています。

　MNISTの訓練用データ、テスト用データの内訳を表1.1に示します。ここでいう訓練用データとは学習に使用するデータ、テスト用データは学習ではなく評価に使用するデータを意味しています。訓練用データとテスト用データはそれぞれデータを集めた抽出元が2箇所存在しており、同じ数量の訓練用データとテストデータがそれぞれの場所から抽出されています。抽出元と振り分けの内訳を以下の表に示します。MNISTについて記述されている論文には、データ抽出先①の「米国勢調査局職員」の文字は、一方のデータ抽出先②の「高校生」達と比較すると文字がきれいで認識しやすいと述べられています。それを踏まえて、訓練用データとテスト用データは混合して構成されたようです。

　また「0」～「9」までの数字の各ラベルに対する訓練用データとテスト用データの枚数は以下の表1.2の通りです。含まれている数字は同数ではなく、枚数にばらつきが存在しています。ただし訓練用とテスト用どちらも、ラベル毎のデータ枚数の割合はほぼ同じに調整されています。例えば「0」のラベルに着目すると訓練用データの全体に対する割合は5923/60000=9.87%、テスト用データは980/10000=9.80%となり割合がほぼ同じになっています。またデータ数の最大最小に関しては最も多いラベルは「1」で、逆に最も少さいラベルは「5」のようです。最大最小のラベルのデータ数を比べると、訓練用データだと約1300枚近く枚数差があります。

　MNISTデータセットのもうひとつの特徴としては、手書き文字の著者数に関する情報を持っていることがあります。著者数は訓練用データ：250名、テスト用データ：250名に分かれて収集されており、訓練用とテストデータに同じ著者は存在しない構成となっています。

1.1.3　分類性能

　MNISTの画像分類性能について、データセット作成者のYann LeCunさん達のサイトでは各機械学習モデルにおけるMNISTのテストデータに対する分類性能の研究成果も公開されています。例えばConvolutional nets（畳み込み層を使ったニューラルネットワーク）における最新の2012年の結果を確認すると、テストデータに対して99.77%の割合で画像の分類に成功しています。

　またニューラルネット以外の機械学習手法での分類性能の結果が公開されており、2002年と少し古い結果ではありますがSVM（Support Vector Machine）を活用した結果もあります。しかしながらSVMの手法では99.44%と0.33%低い値であり最新のニューラルネットの結果の方が良い性能を出しています。

　いろいろと結果を眺めていると、1998年に発表された層が少ない2層のニューラルネット（隠れ層が300ユニットのモデル）では95.3%の分類性能であるなど、過去の段階ではニューラルネットワークモデルは他の手法に比べて見劣りしています。しかしながら近年での結果を見ると、より多層にしたり畳み込み層を追加する等モデルの変化によって改善されていることが確認できることから、現在のニューラルネットモデルの急激なパフォーマンス向上を表していることがうかがえます。

　下記表1.3にはYann LeCunさんのサイトから一部引用し、各手法における最新の結果をまとめたものを示します。Test Error Rateでの表記のため、分類成功率ではなく失敗率を示しています。そのため、値が小さい方が分類性能が良い手法となります。