Бантей Кдей известен среди других храмов своим архитектурным беспорядком. Начало строительства этого храма относят к XII веку, но в последующее время храм неоднократно перестраивался и надстраивался, из-за чего в его архитектуре присутствуют детали разных стилей и эпох и доподлинно так и не утановлено, когда и кем точно он построен. Название храма переводится кака «Цитадель келий», хотя оно было присвоено преждевременно и в данный момент не оправдано.

Археологи во время раскопок и восстановления этого храма неоднократно делали предположения, какому божеству посвящен этот храм — Шиве, Вишну, Брахме? Но ни одно из предположений не получило подтверждения.

Начать посещение храма можно с западной или восточной стороны, при этом можно пройти его насквозь, если договориться с водителем тук-тука ожидать вас на другой стороне. Со всех сторон храм окружает ров с водой за которым установлена наружная ограда храма. За ней, во внутреннем периметре, за чередой торговых палаток и всевозможных предложений от местных жителей, расположена терраса центрального входа. Она окружена охранниками львами и нагами.

За террасой входа следует второе ограждение, за которое можно попасть пройдя через центральную гопуру. В отличие от своих «коллег», храм был построен из очень хрупкого песчаника, поэтому разрушения в нем практически необратимы. Из-за такого просчета древних строителей, храм практически не реставрируется, лишь кое-где вставлены опорные балки, предотвращающие падение перекрытий.

Традиционно в Камбодже при строительстве храма используется архитектура храма-горы, возвышая все строение к центру, олицетворяющая священную гору Меру в космологии буддизма. Но Бантей Кдей построен одноуровневым, и о Меру здесь напоминают лишь повышающаяся этажность отдельных центральных строений. Барельефы храма практически не сохранились, в некоторых местах можно увидеть витиеватый орнамент или апсар.

В центре храма расположены галереи, перекрытия которых тоже практически не сохранились. Подобная конструкция храма делает его похожим по стилю с Ангкор Ватом. Часть галерей была восстановлена, от других же остались лишь колонны, направленные в небо.

В этом месте совсем немного туристов, но много местных жителей, которые отдыхают на территории храма в тени его строений и джунглей. Кое-где даже пристроены небольшие лачуги с приусадебным хозяйством.