Je prvič omenjen kot Costel leta 1336. Grad, zgrajen na koničastem hribu nad Kolpo so imenovali Castell, Khostl, Kostel (castellum – trdnjava ali zatočišče), v nemški obliki pa se omenja kot Graffenwarth ( grofovska straža ).

Stoji na nadmorski višini 406 m, kar pomeni da je skoraj 200 m nad Kolpo. Po velikosti je drugi največji grajski kompleks na Slovenskem in edini, ki v sebi združuje grad in živeče naselje pod njim.

Prvotni grad je bil le velik stolp, obdan z obzidjem in manjšimi stolpiči, postavljen za zavarovanje ortenburške posesti. V listinah je zapisano, da je Kostel že od nekdaj imel lastno sodišče, ki je sodilo tudi na smrt. Leta 1420 so ga po pogodbi dobili grofje Celjski, ki so ga v naslednjih letih temeljito povečali in utrdili s petimi obrambnimi stolpi. Tako je grad služil kot mejna utrdba v obrambi Kranjske in celjske posesti ter postal pomembna trgovska postojanka. Pozneje je služil tudi kot pomembna obrambna točka pred turškimi vpadi. Leta 1809, v času francoske okupacije, so zaradi upora Kostelcev in Kočevarjev francoski vojaki kostelski grad požgali.

Grad je zanimiv, ker so na njem obnovljene vse stavbne sestavine gradu iz različnih gradbenih faz. Poleg tega so vidni tudi različni arhitektonski členi različnih obdobij (renesančni vhod, kamniti okenski okvirji, oboki, strelne line in podobno). Na gradu potekajo obnovitvena in konservatorska dela. http://www.info-kostel.si/