Памятник расположен в северной части Ярославова дворища. Является одним из наиболее древних и сложных по своей строительной истории сооружений Новгорода. Это яркий пример многослойного памятника, в формах которого отложились значительные пласты разновременной архитектуры. Тем не менее, в результате плодотворной реставрации он имеет в целом гармоничный и непротиворечивый образ. Топонимическое указание «Опоки» обычно объясняют как «меловой известняк, белая глина. Однако существует и другое толкование – «заболоченное заполнение исчезнувшего ручья».

Согласно летописным данным, подтвержденным натурными исследованиями, храм заложен в 1127 г. новгородским князем Всеволодом Мстиславичем: «Заложи церковь камяну святого Иоанна Всеволод Новегороде на Петрятине дворе, в имя сына своего». Закончено строительство в 1130 г.: «Коньця церковь святого Иоанна». Когда строительство было завершено, сын князя уже умер. Поскольку позднее собор неоднократно перестраивался, от этого времени сохранился лишь фундамент и, следовательно, план здания. Архитектура этой древнейшей постройки реконструируется лишь частично. Это был большой шестистолпный собор с нартексом, трехапсидный, длиной 24,6 м, шириной 16 м. Предполагается, что существовали хоры, куда попадали по внутренней лестничной башне, расположенной в одном из западных компартиментов здания.  Количество глав неизвестно. Форма покрытия была, судя по всему, позакомарной. Интерьер был расписан фресками. Собор начала XII в. продолжил линию монументальных княжеских построек и оказал большое влияние на дальнейшее развитие зодчества в Новгороде, Пскове и Старой Ладоге.

Сразу после окончания строительства князь специальной грамотой («Рукописание князя Всеволода») передал собор новгородским купцам. Этим документом князь определил собор административным центром новгородского Торга, установил структуру его управления (тысяцкий, старосты от разных сословий), разместил здесь эталоны мер и веса («мерила торговые, скалвы вощаные, пуд медовый, гривенку рублевую, локоть еваньский»), т.е. организовал торговый суд. Эта функция сохранялась за храмом до XVII в.

По непонятной причине (вероятно, в результате возникновения деформаций) в 1184 г. древний собор был разобран и на старой основе возведен новый, вероятно с повторением прежних форм: «Заложи архепископ Илия с братом церковь святого Иоанна камяну на Търговищи. В точности был повторен план постройки, несколько утолщена западная стена (видимо, для устройства внутристенной лестницы), к центральной трети западного фасада примкнул каменный притвор. Типологические особенности предыдущего памятника были, вероятно, сохранены. Собор конца XII в. был уже архаичен для своего времени, когда доминировали постройки иной типологии. Но и от храма этого периода сохранилась лишь нижняя часть стен на высоту до 1,2 м.

В 1453 г. собор подвергся «реставрации» архиепископа Евфимия II, т.е. был разобран до земли и возведен заново на старой основе: «Того же лета, весне, почаша рушити церковь камену святого Ивана на Петрятине дворе, в торгу… Того же лета свершиша церковь святого Ивана, в торгу, на Петрятине дворе, месяца септяврия в 23 день…». Предполагается, что новое строительство выполнено с повторением основных старых форм (высота, узнаваемый силуэт). Однако появились и многие элементы, характерные для XV в. – деревянное междуэтажное перекрытие, узкие прямоугольные («евфимиевские») окна. В угловых каморах на хорах были освящены приделы св. Захарии и Стефана первомученика. По «Семисоборной росписи» Новгорода (последняя треть XV в.) храм Иоанна на Опоках значился как один из семи главных соборов города, к которому были приписаны 14 церквей с 16 приделами.

Основной объем кладки существующего памятника относится именно к XV в. Собор на Опоках в редакции Евфимия оказал огромное влияние на дальнейшее развитие новгородского зодчества: именно он взят за образец при сооружении «московским гостем» Иваном Сырковым церкви Жен Мироносиц в 1510 г., многие его особенности отразились в последующих храмах.  

В 1548 г. проведена перестройка собора: вместо деревянного сделано сводчатое междуэтажное перекрытие, вместо позакомарного устроено палаточное покрытие, пробиты новые широкие окна и северный портал, западный притвор заменен обширной папертью. Были какие-то перестройки и в последней четверти XVII в., о чем свидетельствуют широкие окна с характерными богатыми наличниками на южном и северном фасадах.

В 1825 г. расширена паперть, в ней освящены два придела, сооружена каменная колокольня, переделаны некоторые окна.

В 1930 г. разобраны паперть и колокольня.

В годы Великой Отечественной войны памятник получил значительные разрушения: были утрачены кровля, большая часть барабана, многие своды, имелись многочисленные утраты кладки, выбоины и сквозные трещины.

Реставрация проведена Т.В. Гладенко в 1952-1953 гг. Это была одна из первых послевоенных реставраций в Новгороде и первая на многослойном сильно разрушенном памятнике. По натурным следам и остаткам раскрыты все формы XVI и XVII вв. (палаточное завершение, окна, скупой декор) и отдельные окна XV в. Восстановлены своды, арки, барабан, кладка укреплена. В интерьере отделочные работы не проводились. Реставрацию признают весьма удачной и методически верной.

В 1979 г. П.А. Раппопортом (Институт истории материальной культуры) проведены локальные натурные исследования, сопровождавшиеся археологическими раскопками. Частично изучены древнейшая кладка стен снаружи и фундамент, определен объем сохранившихся частей XII в.

В настоящее время собор представляет собой большую вытянутую по оси восток-запад трехэтажную трехапсидную одноглавую постройку с палаточным завершением. В западной части размещены хоры с двумя угловыми каморами. Подцерковье, основной объем и хоры сообщаются посредством двух внутристенных лестниц. Фасады решены довольно лаконично: они расчленены лопатками в соответствии с внутренней структурой, стянутыми вверху двухуступчатыми арками, барабан завершен аркатурой. Окна XV в. (в нижней части, на уровне хор, на апсидах и в барабане) узкие, прямоугольной формы, вписаны в нишу с полуциркульным завершением. Окна XVI в. (?) – широкие, с пологой арочной или прямой перемычкой, вписаны в прямоугольную нишу. В средней части южного и северного фасадов имеются окна XVII в., широкие, с фигурными наличниками и «разорванным фронтоном». С южной и северной сторон расположены порталы. На восточном фасаде, над боковыми апсидами, размещен декор в виде кирпичных крестов и розеток из треугольных впадин.