Fuse는 전기와 상관없이 connect 되었냐 아니냐를 체크합니다.
당연히 엔진 끄고 fuse빼낸 다음에 multimeter에서 connection체크 하는 옵션 선택하고 소리가 나는지 안나는지 보는겁니다.

휴즈를 빼지 않고 휴즈가 꽂힌 상테에서 휴즈머리 부분을 멀티미터 빨간색 케이블, 밧데리 -극에 멀티미터 검은색 케이블을 접촉하여 해도 되나요?

가능합니다.
단 멀티미터의 셀렉터를 Ω (Ohm)에 맞추어 주시고 측정했을때 “0.00”에 가까운 수치가 나오면
그 휴즈는 이상 없는 겁니다.