MNIST 데이터베이스 - MNIST database

MNIST 데이터베이스 ( 국립 표준 기술 연구소는 ) 일반적으로 사용되는 필기 숫자의 큰 데이터베이스입니다 훈련 의 다양한 이미지 처리 시스템. [1] [2] 데이터베이스는 기계 학습 분야의 교육 및 테스트에도 널리 사용됩니다 . [3] [4] NIST의 원래 데이터 세트에서 샘플을 "재 혼합"하여 생성되었습니다. [5] 제작자는 NIST의 교육 데이터 세트가 미국 인구 조사국 직원에게서 가져 왔고 테스트 데이터 세트는 미국 고등학교 에서 가져온 것이라고 느꼈습니다.학생들은 기계 학습 실험에 적합하지 않았습니다. [6] 또한, NIST에서 흑백 화상 하였다 정규화 28x28 화소 바운딩 박스에 맞도록하고 안티 앨리어싱 , 계조 레벨을 도입한다. [6]

MNIST sample images
MNIST 테스트 데이터 세트의 샘플 이미지

MNIST 데이터베이스에는 60,000 개의 교육 이미지와 10,000 개의 테스트 이미지가 포함되어 있습니다. [7] 훈련 세트의 절반과 테스트 세트의 절반은 NIST의 훈련 데이터 세트에서 가져 왔고, 훈련 세트의 나머지 절반과 테스트 세트의 나머지 절반은 NIST의 테스트 데이터 세트에서 가져 왔습니다. [8] 데이터베이스의 원래 작성자는 테스트 된 방법의 목록을 보관합니다. [6] 의 원래 논문들은 용도 지원 벡터 머신을 0.8 %의 에러율을 얻을. [9] EMNIST라는 MNIST와 유사한 확장 데이터 세트가 2017 년에 발표되었으며, 여기에는 240,000 개의 교육 이미지와 40,000 개의 필기 숫자 및 문자 테스트 이미지가 포함되어 있습니다. [10]

데이터 세트

MNIST 데이터베이스의 이미지 세트는 NIST의 두 데이터베이스 인 특수 데이터베이스 1과 특수 데이터베이스 3의 조합입니다. 특수 데이터베이스 1과 특수 데이터베이스 3은 각각 미국 인구 조사국 의 고등학생과 직원이 작성한 숫자로 구성 됩니다. . [6]

공연

일부 연구자들은 신경망위원회를 사용하여 MNIST 데이터베이스에서 "인간에 가까운 성능"을 달성했습니다. 같은 논문에서 저자는 다른 인식 작업에서 인간의 두 배의 성능을 달성했습니다. [11] 데이터베이스의 원래 웹 사이트에 나열된 [6 ] 의 가장 높은 오류율 은 12 %이며, 이는 전처리없이 간단한 선형 분류기를 사용하여 달성됩니다. [9]

2004 년에 연구자들은 Rosenblatt의 퍼셉트론 원리를 기반으로하는 세 개의 뉴런 계층이있는 신경 분류 기인 LIRA라는 새로운 분류기를 사용하여 데이터베이스에서 0.42 %의 최상의 오류율을 달성했습니다. [12]

일부 연구자들은 무작위로 왜곡 된 데이터베이스를 사용하여 인공 지능 시스템을 테스트했습니다. 이러한 경우 시스템은 일반적으로 신경망이며 사용되는 왜곡아핀 왜곡 또는 탄성 왜곡 인 경향이 있습니다 . [6] 때때로 이러한 시스템은 매우 성공적 일 수 있습니다. 그러한 시스템 중 하나는 데이터베이스에서 0.39 %의 오류율을 달성했습니다. [13]

2011 년에는 유사한 신경망 시스템을 사용하는 연구자들이 0.27 %의 오류율로 이전의 최고 결과를 개선했다고보고했습니다. [14] 2013 년 DropConnect를 이용하여 뉴럴 네트워크에 기초하여 정규화 방법은 0.21 %의 에러율을 달성하기 위해 주장되었다. [15] 2016 년 단일 컨볼 루션 신경망의 최고 성능은 0.25 % 오류율이었습니다. [16] 2018 년 8 월 현재, 데이터 증대를 사용하지 않고 MNIST 훈련 데이터에 대해 훈련 된 단일 컨볼 루션 신경망의 최고 성능 은 0.25 % 오류율입니다. [16] [17]또한 Parallel Computing Center (Khmelnytskyi, 우크라이나)는 MNIST에서 0.21 % 오류율로 수행하는 5 개의 컨벌루션 신경망 앙상블을 얻었습니다. [18] [19] 거의 읽을 0 % 시험 에러율에 도달하지 못할 수도 테스트 세트의 일부 이미지. [20] 2018 년, 버지니아 대학교 시스템 및 정보 공학과의 연구원들은 3 가지 종류의 신경망 (완전 연결, 반복 및 컨볼 루션 신경망)을 동시에 쌓을 때 0.18 % 오류를 발표했습니다. [21]

분류 자

다음은 분류기 유형별로 데이터 세트에 사용 된 일부 기계 학습 방법과 오류율을 보여주는 표입니다 .

유형 분류 자 왜곡 전처리 오류율 (%)
선형 분류기 쌍별 선형 분류기 없음 기울기 보정 7.6 [9]
극도로 무작위 화 된 트리를 사용한 의사 결정 스트림 단일 모델 (깊이> 400 레벨) 없음 없음 2.7 [22]
K- 최근 접 이웃 비선형 변형이있는 K-NN (P2DHMDM) 없음 이동 가능한 가장자리 0.52 [23]
부스트 된 그루터기 Haar 기능 에 대한 그루터기 제품 없음 Haar 기능 0.87 [24]
비선형 분류기 40 PCA + 2 차 분류기 없음 없음 3.3 [9]
랜덤 포레스트 생존, 회귀 및 분류를위한 고속 통합 랜덤 포레스트 (RF-SRC) [25] 없음 간단한 통계적 픽셀 중요도 2.8 [26]
서포트 벡터 머신 (SVM) 가상 SVM , deg-9 폴리, 2 픽셀 지터 없음 기울기 보정 0.56 [27]
심층 신경망 (DNN) 2 층 784-800-10 없음 없음 1.6 [28]
심층 신경망 2 층 784-800-10 탄성 왜곡 없음 0.7 [28]
심층 신경망 6 층 784-2500-2000-1500-1000-500-10 탄성 왜곡 없음 0.35 [29]
컨볼 루션 신경망 (CNN) 6 층 784-40-80-500-1000-2000-10 없음 훈련 데이터의 확장 0.31 [30]
컨볼 루션 신경망 6 층 784-50-100-500-1000-10-10 없음 훈련 데이터의 확장 0.27 [31]
컨볼 루션 신경망 (CNN) 13 단 64-128 (5x) -256 (3x) -512-2048-256-256-10 없음 없음 0.25 [16]
컨볼 루션 신경망 35 개 CNN위원회, 1-20-P-40-P-150-10 탄성 왜곡 너비 정규화 0.23 [11]
컨볼 루션 신경망 5 개 CNN위원회, 6 층 784-50-100-500-1000-10-10 없음 훈련 데이터의 확장 0.21 [18] [19]
RMDL (Random Multimodel Deep Learning) 10 NN-10 RNN-10 CNN 없음 없음 0.18 [21]
컨볼 루션 신경망 Squeeze-and-Excitation 네트워크가있는 20 개의 CNNS위원회 [32] 없음 데이터 증대 0.17 [33]

또한보십시오

참고 문헌

  1. ^ "지원 벡터 기계 속도 패턴 인식-비전 시스템 설계" . 비전 시스템 설계 . 2013 년 817 일에 확인 .
  2. Gangaputra, Sachin. "필기 숫자 데이터베이스" . 2013 년 817 일에 확인 .
  3. Qiao, Yu (2007). "손으로 쓴 숫자의 MNIST 데이터베이스" . 2013 년 818 일에 확인 .
  4. Platt, John C. (1999 년). "분석적 QP 및 희소성을 사용하여 지원 벡터 머신의 교육 속도 향상" (PDF) . 신경 정보 처리 시스템의 발전 : 557–563. 2016 년 3 월 4 일에 원본 (PDF) 에서 보관되었습니다 . 2013 년 818 일에 확인 .
  5. ^ Grother, Patrick J. "NIST 특별한 데이타베이스 19-손으로 인쇄 한 형태와 특성 데이타베이스" (PDF) . National Institute of Standards and Technology .
  6. ^ a b c d e f LeCun, Yann; Cortez, Corinna; Burges, Christopher CJ "MNIST 손글씨 숫자 데이터베이스" . Yann LeCun의 웹 사이트 yann.lecun.com . 2020 년 4 월 30 일에 확인 .
  7. Kussul, Ernst; Baidyk, Tatiana (2004). "MNIST 데이터베이스에서 테스트 된 향상된 필기 숫자 인식 방법". 이미지 및 비전 컴퓨팅 . 22 (12) : 971–981. 도이 : 10.1016 / j.imavis.2004.03.008 .
  8. ^ 장, 빈; Srihari, Sargur N. (2004). " 클러스터 기반 트리를 사용한 빠른 k- 최근 접 이웃 분류" (PDF) . 패턴 분석 및 기계 지능에 대한 IEEE 트랜잭션 . 26 (4) : 525–528. DOI : / TPAMI.2004.1265868 10.1109을 . PMID 15382657 . S2CID 6883417 . 2020 년 4 월 20 일에 확인 .
  9. ^ a b c d LeCun, Yann; Léon Bottou; Yoshua Bengio; 패트릭 해프너 (1998). "문서 인식에 적용된 기울기 기반 학습" (PDF) . IEEE 절차 . 86 (11) : 2278–2324. DOI : / 5.726791 10.1109을 . 2013 년 818 일에 확인 .
  10. Cohen, Gregory; Afshar, Saeed; Tapson, Jonathan; 앙드레 반 샤익 (2017-02-17). "EMNIST : MNIST를 손으로 쓴 편지로 확장". arXiv : 1702.05373 [ cs.CV ].
  11. ^ a b Cires¸an, Dan; Ueli Meier; Jürgen Schmidhuber (2012). "Multi-column deep neural networks for image classification" (PDF). 2012 IEEE Conference on Computer Vision and Pattern Recognition. pp. 3642–3649. arXiv:1202.2745. CiteSeerX 10.1.1.300.3283. doi:10.1109/CVPR.2012.6248110. ISBN 978-1-4673-1228-8. S2CID 2161592.
  12. ^ Kussul, Ernst; Tatiana Baidyk (2004). "Improved method of handwritten digit recognition tested on MNIST database" (PDF). Image and Vision Computing. 22 (12): 971–981. doi:10.1016/j.imavis.2004.03.008. Archived from the original (PDF) on 21 September 2013. Retrieved 20 September 2013.
  13. ^ Ranzato, Marc’Aurelio; Christopher Poultney; Sumit Chopra; Yann LeCun (2006). "Efficient Learning of Sparse Representations with an Energy-Based Model" (PDF). Advances in Neural Information Processing Systems. 19: 1137–1144. Retrieved 20 September 2013.
  14. ^ Ciresan, Dan Claudiu; Ueli Meier; Luca Maria Gambardella; Jürgen Schmidhuber (2011). "Convolutional neural network committees for handwritten character classification" (PDF). 2011 International Conference on Document Analysis and Recognition (ICDAR). pp. 1135–1139. CiteSeerX 10.1.1.465.2138. doi:10.1109/ICDAR.2011.229. ISBN 978-1-4577-1350-7. S2CID 10122297. Archived from the original (PDF) on 22 February 2016. Retrieved 20 September 2013.
  15. Wan, Li; Matthew Zeiler; Sixin Zhang; Yann LeCun; 롭 퍼거스 (2013). DropConnect를 사용한 신경망의 정규화 . 기계 학습에 관한 국제 회의 (ICML).
  16. a b c SimpleNet (2016 년). "간단하게 유지하십시오. 단순한 아키텍처를 사용하여 더 깊고 복잡한 아키텍처를 능가하십시오" . arXiv : 1608.06037 . 2020 년 12 월 3 일에 확인 .
  17. SimpNet. "딥 컨볼 루션 네트워크의 원칙적 설계를 향하여 : SimpNet 소개" . Github . arXiv : 1802.06205 . 2020 년 12 월 3 일에 확인 .
  18. ^ a b Romanuke, Vadim. "Parallel Computing Center (Khmelnytskyi, 우크라이나)는 MNIST에서 0.21 % 오류율로 수행하는 5 개의 컨볼 루션 신경망의 앙상블입니다 . " 만회 년 11 월 (24) 2016 .
  19. a b Romanuke, Vadim (2016). "MNIST 데이터 세트 오류율을 줄이기 위해 데이터 확장 및 컨볼 루션 신경망 부스팅 훈련" . NTUU "Kyiv Polytechnic Institute"의 연구 게시판 . 6 (6) : 29–34. DOI : / 1810-0546.2016.6.84115 10.20535을 .
  20. ^ MNIST 분류기, GitHub. "컨볼 루션 신경망을 사용하여 MNIST 숫자 분류" . 2018 년 8 월 3 일에 확인 .
  21. ^ a b Kowsari, Kamran; Heidarysafa, Mojtaba; Brown, Donald E .; 메이 만 디, 키 아나 자파리; 반스, 로라 E. (2018-05-03). "RMDL : 분류를위한 랜덤 멀티 모델 딥 러닝". 정보 시스템 및 데이터 마이닝에 관한 2018 년 국제 컨퍼런스 회의록 . arXiv : 1805.01890 . DOI : / 3206098.3206111 10.1145을 . S2CID 19208611 .
  22. Ignatov, D.Yu .; Ignatov, AD (2017). "의사 결정 흐름 : 깊은 의사 결정 트리 육성" . IEEE Ictai : 905–912. arXiv : 1704.07657 . Bibcode : 2017arXiv170407657I . DOI : / ICTAI.2017.00140 10.1109을 . ISBN 978-1-5386-3876-7.
  23. ^ Keysers, Daniel; Thomas Deselaers; Christian Gollan; Hermann Ney (2007 년 8 월). "이미지 인식을위한 변형 모델". 패턴 분석 및 기계 지능에 대한 IEEE 트랜잭션 . 29 (8) : 1422–1435. CiteSeerX 10.1.1.106.3963 . DOI : / TPAMI.2007.1153 10.1109을 . PMID 17568145 . S2CID 2528485 .
  24. Kégl, Balázs; 로버트 부사 페 케테 (2009). "기본 분류 자의 부스팅 제품" (PDF) . 기계 학습에 관한 제 26 회 연례 국제 컨퍼런스 회보 : 497–504 . 2013 년 827 일에 확인 .
  25. ^ "RandomForestSRC: Fast Unified Random Forests for Survival, Regression, and Classification (RF-SRC)". 21 January 2020.
  26. ^ "Mehrad Mahmoudian / MNIST with RandomForest".
  27. ^ DeCoste and Scholkopf, MLJ 2002
  28. ^ a b Patrice Y. Simard; Dave Steinkraus; John C. Platt (2003). "Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis". Proceedings of the Seventh International Conference on Document Analysis and Recognition. 1. Institute of Electrical and Electronics Engineers. p. 958. doi:10.1109/ICDAR.2003.1227801. ISBN 978-0-7695-1960-9. S2CID 4659176.
  29. ^ Ciresan, Claudiu Dan; Ueli Meier; Luca Maria Gambardella; Juergen Schmidhuber (December 2010). "Deep Big Simple Neural Nets Excel on Handwritten Digit Recognition". Neural Computation. 22 (12): 3207–20. arXiv:1003.0358. doi:10.1162/NECO_a_00052. PMID 20858131. S2CID 1918673.
  30. ^ Romanuke, Vadim. "The single convolutional neural network best performance in 18 epochs on the expanded training data at Parallel Computing Center, Khmelnytskyi, Ukraine". Retrieved 16 November 2016.
  31. ^ Romanuke, Vadim. "Parallel Computing Center (Khmelnytskyi, Ukraine) gives a single convolutional neural network performing on MNIST at 0.27 percent error rate". Retrieved 24 November 2016.
  32. ^ Hu, Jie; Shen, Li; Albanie, Samuel; Sun, Gang; Wu, Enhua (2019). "Squeeze-and-Excitation Networks". IEEE Transactions on Pattern Analysis and Machine Intelligence. 42 (8): 2011–2023. arXiv:1709.01507. doi:10.1109/TPAMI.2019.2913372. PMID 31034408. S2CID 140309863.
  33. ^ "GitHub - Matuzas77/MNIST-0.17: MNIST classifier with average 0.17% error". 25 February 2020.

Further reading

외부 링크