피상적으로 이야기하면 기존의 어떤 학습 모델보다 neural network가 훨씬 더 정교한 근사 함수를 만들 수 있는 모델이기 때문이죠. 기존에는 모델 자체가 가진 정교성은 크더라도 이를 학습시킬 방법이 없었는데, (1) 학습 이론의 발전과 (2) 대량의 데이터 확보, (3) 컴퓨팅 유닛/메모리 하드웨어 성능 향상으로 학습이 가능하게 된 것이고요.
물론 새롭게 등장하는 neural network 구조 간의 비교 우위는 이론적으로 설명이 잘 안되는 것 같긴 한데, 그렇다 하더라도 특정 분야들에서는 압도적인 성과를 내고 있기 때문에 갑자기 몰락하진 않을 것 같아요. 지금의 과열된 분위기는 좀 식기야 하겠지만.