너무 쉬워서 대답들이 없으신가요.. 생각보다 간단합니다. 아래와 같이 따라해보세요. 인터넷익스플러로의 메뉴중에서 도구 -> 인터넷옵션 -> 일반 -> 열어본페이지목록 -> 목록지우기를 클릭하세요.

목록지우기 보다는 색깔을 바꾼다면
쿠키를 지우는 것이 맞는 것 입니다.
목록지우기는 주소창에 있는 주소록까지 없애 버리니
좀 불편하긴 하죠..
원글님 말처럼 색깔만 안본것 처럼 하고 싶다면
쿠키 삭제 하시면 됩니다.