Самая древняя известная запись о деревне Панга относится к 1554 году. В конце XIX и начале XX веков деревня Панга была одним из крупнейших районов в регионе, где занимались рыболовством и судостроением.
Больные глаза мыли в источниках Силмаалликад на скале Панга. Чтобы получить целебный эффект от воды источника, люди бросали в него монеты.
На высоком утесе скалы Панга находился священный рощ, историческое место для молитвы и разведения костров, и жертвенное место "мари каак" в море. Каждый год туда приводили человека или животное в качестве жертвы морскому богу. Позже в качестве жертвы морскому богу наливали пиво или водку. В канун Рождества и Нового года туда ходили, чтобы узнать, будет ли у них удача или неудача. Также на том же месте предсказывали погоду. Маяк на Панга был построен во время советской эпохи, вероятно, в 1960-х годах. До этого на Панга не было маяка .