inference는 real time을 요구하는 분야가 많기 때문에 AI accelerator를 쓰는것. 알파고를 예를 들면, 수만개의 기보로 training하는 것은 몇일 시간 여유가지고 했지만, 이세돌과 대국둘때는 제한된 시간내에 inference를 바로바로 해야하기 때문에, h/w 설계자들은 inference에 맞춰서 개발할 수 밖에 없는 것이고. nvidia가 AI accelerator (tensor core)를 같이 넣고 딥러닝용 GPU라 해서 그렇지, 32b FP 연산에 특화된 GPU와 8b, 16b neural network calculation에 특화된 AI accelerator는 또 달라요. TPU, NPU, Neural Engine등등 이름이 제각각.