掛川城の表玄関にふさわしい楼門造りの本格的な櫓門は、木造日本瓦葺き入母屋づくりになっています。白壁で板ひさしが配され、棟の上にはシャチ瓦が飾られた勇壮な構えです。
間口は7間（約12.7メートル）、奥行は3間（約5.4メートル）あります。

平成5年に行われた発掘調査で門の礎石が12か所確認されましたが、新しい道路を避けるため、平成7年に当時の位置から50ｍほど北に復元されました。

大きくて重量のある門を支えるため、直径2ｍ深さ1ｍ50cmくらいの大きな穴に、40cm前後の河原石を円形に4～5段積み重ねて根固め石とし、その上に門柱の礎石が置かれていました。
この「礎石根固め石」をそのままの状態で取り上げたものが、大手門内に展示されています。

大手門のすぐ北側にひかえる番所は、城内に出入りする者を監視する役人の詰め所でした。掛川宿と掛川城とを連絡する唯一の番所で、城内に出入りする者は全てここで調べられました。
現在残されている建物は、嘉永7年（1854年）の大地震で倒壊後、安政6年（1859年）に再現されたものです。番所が現存するのは全国的にも珍しく、市の文化財に指定されています。