Au-delà des ruines croisées et byzantines, les fouilleurs ont voulu remonter jusqu’à la période juive, en sondant les lieux jusqu’au rocher. Les fouilles se sont étendues tout autour de l’église, révélant à l’Est un moulin et un ensemble de silos et de réserves, plusieurs bains rituels juifs et de nombreuses citernes.

Les pièces archéologiques découvertes à Saint-Pierre étaient transportées et exposées au musée de Notre-Dame de France. Celui-ci fut détruit et pillé pendant la guerre de 1948, une bombe éventrant l’aile Sud du bâtiment. Quelques-unes de ces pièces, souvent brisées, furent transférées à Saint-Pierre après 1967. Elles sont aujourd’hui présentées dans le mémorial inauguré le 28 juin 2018 et dédié au Père Germer-Durand.

À partir de 1993, de nouvelles fouilles menées par le Père Florentino Diez, archéologue de l’université espagnole de Salamanque, ont mis au jour, au Nord de l’Escalier Saint, des restes de maisons datant de l’époque juive, romaine, byzantine, arabe et croisée. Alors qu’au Nord se trouve un quartier de petites maisons, au Sud un vaste ensemble immobilier laisse penser qu’il peut s’agir du palais du grand prêtre Caïphe.

Comme beaucoup de lieux saints, le Palais de Caïphe a été l’objet de grands débats entre les archéologues. Les témoignages des premiers pèlerins appuient cependant sa localisation au sanctuaire de Saint-Pierre en Gallicante. Ainsi, le célèbre Pèlerin Anonyme de Bordeaux, venu en Terre Sainte en 333, écrit : « En sortant de Jérusalem pour monter à Sion, à gauche, dans le bas de la ville, près du mur, se trouve la piscine dite Siloé […]. De là-même, on monte à Sion et voici qu’apparaît le lieu où fut la maison du prêtre Caïphe : il y a encore-là la colonne à laquelle ils flagellèrent le Christ. A l’intérieur du mur de Sion apparaît le lieu où David eut son palais. »