В 1703 г. после того, как эта территория была отвоевана русскими войсками, здесь по распоряжению Петра I были насыпаны земляные бастионы. В 1971 г. проходили археологические раскопки. Сегодня можно увидеть остатки южной башни крепости. Толщина стен доходила до 4 метров, высота стен была около 15 метров. Макет крепости можно увидеть в Кингисеппском Историко-Краеведческом музее (здание бывшего Ямбургского коммерческого училища).
В новгородской летописи говорится, что крепость Ям была построена за 33 дня. Строили ее огромным количеством народа. Руководили стройкой пять новгородских воевод. В 1682 г. шведы заложили по периметру крепости 40 бочек пороха и взорвали ее.
Существует несколько версий названия Ям. Первая версия — это яма (ров). Вторая версия — это «почтовая станция». Третья версия — это название племени «Ямь», которое ранее населяло эту местность.