横山城は、長浜市東部の丘陵上に造られ、東に伊吹山、西に琵琶湖、北に小谷城を見、眼下には北国脇往還を見下ろす軍事・交通の要衝に位置しています。東西南北に延びる尾根や谷沿いに、城の縄張を構成する郭（くるわ）や多数の砦（とりで）が残っています。
京極氏の支城であった横山城は、永正14年（1517年）に浅井亮政（あざいすけまさ）に攻め落とされ、浅井氏の所有になってからは、小谷城を守るための出城の役目がありました。
元亀元年（1570年）姉川合戦に際して、織田信長は、丘陵突端の龍ケ鼻（たつがはな）に本陣を置きました。浅井・朝倉連合軍を破った織田信長はすぐに横山城の攻略に着手し、時の城主三田村氏は降伏し、落城しました。
姉川合戦の後、小谷城攻めの際は織田信長軍の拠点となりました。