かつては高天神城攻略の起点として築城され、その後280余年に渡り横須賀藩の中心であった横須賀城は、明治維新とともに廃城となり、残された城跡は現在国の指定文化財として整備が進められています。
　　戦国時代末期、この地方は西の徳川勢力と東の武田勢力との境界地帯となって攻防が続きました。
　天正6年（1578年）徳川家康は家臣の大須賀康高（初代城主）に命じて高天神城攻略の拠点として横須賀城を築かせました。天正9年（1581年）高天神城は落城と共に廃城となり、横須賀城が遠州南部の拠点として位置づけられました。以後、明治維新で廃城となるまでの288年間20代の城主を数えます。
　明治元年（1868年）20代城主西尾忠篤は明治維新の動乱のなか、安房国花房（現千葉県鴨川市）に移され、横須賀藩は静岡藩に含まれることとなりました。横須賀城は明治2年8月に廃城。さらに明治6年には城内の土地、建物、石垣、樹木まで民間に払い下げられましたが、城跡消滅の危機に住民から保存の声が上がり、昭和56年5月8日付けで国の史跡に指定されました