Легенды гласят, что на городище Пуня стоял замок князя Маргириса, который назывался Пиленай. Говорят, что в 1336 г. здесь произошла знаменитая битва при Пиленай, во время которой защитники и жители замка решили, что лучше погибнуть в пламени, чем сдаться в плен крестоносцам. Сегодня городище Пуня – одно из самых больших и красивых в Литве. Археологи установили, что в XIII-XIV в. на городище стоял замок, который позднее был сожжен. В XV в. на его месте был построен новый замок, который снова сгорел в XVI в. В конце того же самого века здесь был построен новый большой дворец. С городища открывается красивая панорама: широкая лента Нямунаса и бор Пуня.