Tõenäoliselt vanim teade Panga külast pärineb 1554. aastast. 19. sajandi lõpul ja 20. sajandi algul oli Panga küla piirkonnas üks suuremaid, kus tegeleti kalapüügi ja laevaehitusega.
Pangamüüril olevates Silmaallikates käidi haigeid silmi pesemas. Et allikavesi aitaks, tuli allikasse raha visata.
Panga panga kõrgel astangul asus püha hiis, ajalooline palve- ja tuletegemise koht ning meres ohvrikoht „mari kakk”. Sinna viidi igal aastal merejumalale meeleheaks kas inimene või loom. Hilisemal ajal valati merejumalale õlut või viina. Jõululaupäeva- ja uusaastaööl käidi seal teada saamas, kas ees on ootamas õnn või õnnetus. Samas kohas ennustati ka ilma.Pangal olev majakas on rajatud nõukogude ajal, tõenäoliselt 1960-ndatel aastatel. Varem ei ole Pangal tuletorni olnud.
