Najstariji tragovi života ljudi na ovim prostorima potiču iz perioda Ilira (1500 god. p.n.e.), kada su ove prostore naseljavala ilirska plemena Autarijati i Ardijeji. U okolini su pronađene njihove grobnice. U kasnijem periodu ovaj kraj je ulazio u sastav rimske provincije „Malavico“. Dolinom Drine je prolazio rimski put „Via Drina“, a u ovaj kraj tada dolaze germanski rudari Sasi, po kojima jedan dio Višegrada i danas zovemo Sase.
U župi, nizvodno od Višegrada, pronađeni su rimski novčići Constantinus I i II. Istraživanjima Zemaljskog muzeja iz Sarajeva iz 1966. godine na području sela Mušići pronađeni su ostaci slovenske keramike iz VI i VII vijeka koji svjedoče o naseljavanju Slovena na ovom prostoru. U okolini Višegrada nalazi se i veliki broj lokaliteta sa srednjovjekovnim stećcima, od kojih su najpoznatija Velika i Mala Gostilja. Zbog svog geografskog, strateškog i ekonomskog položaja Višegrad je imao burnu istoriju i bio meta mnogih osvajača. U vrijeme Stefana Nemanje čitav kraj ulazi u sastav srpske države Nemanjića. Sredinom 14. vijeka bio je pod vlašću srpskog župana Nikole Altomanovića. Tada ovaj kraj zauzima bosanski kralj Tvrtko I i priključuje ga Bosanskom kraljevstvu.
Višegrad se prvi put pominje 1433. godine kada je pripadao moćnoj srpskoj vlastelinskoj porodici Pavlovića, pod čijom je upravom bio i srednjovjekovni grad Dobrun. Na vrhu brda iznad drinskog mosta nalaze se tragovi starog grada ili Pavlovine (po vojvodi Pavlu Radenkoviću). Same ruševine se nalaze na dva mjesta i zovu se „Gornji grad“ i „Donji grad“. Pri dnu starog grada, na nepristupačnim stijenama iznad Drine nalazi se kula koja je u narodu poznata kao“Kula Kraljevića Marka“, a koja je imala ulogu osmatračnice. To je okrugla građevina čija visina danas iznosi 8 m, a za vrijeme Turaka zatrpana je kamenjem kako se u nju ne bi skrivali hajduci i srpski ustanici. Kako je zapisao čuveni turski putopisac Evlija Čelebija, Mehmed Paša je oko 1577. godine sagradio donju Višegradsku varoš, a pošto je postojalo i naselje iznad, odnosno više njega, grad je dobio ime Višegrad. Po turskim izvorima 1544. godine ovaj grad osvaja Osman Paša i on ostaje pod turskom vlašću, sve do Berlinskog kongresa 1878. kada čitavu Bosnu preuzima Austrougarska. Dolaskom Austrougara Višegrad dobija konture gradske sredine. Oni grade vodovod, uvode zemljišne knjige, grade uskotračnu prugu i javne građevine.
Poslije Prvog svijetskog rata Višegrad ulazi u sastav Kraljevine Jugoslavije, u okviru Bosne i Hercegovine . Prvi i Drugi svjetski rat su ostavili grad u ruševinama, većina objekata je bila teško oštećena, uključujući i višegradsku ćupriju. Višegrad se danas nalazi u okviru Republike Srpske, koja je sastavni dio države Bosne i Hercegovine.
