Первая церковь во имя Благовещения Пресвятой Богородицы в Харькове была основана около 1655 года, одновременно с Николаевской и Рождественской. Деревянный однопрестольный храм Залопанского прихода был выполнен в традиционных украинских трёхкупольных формах с отдельно стоящей деревянной рубленной колокольней и обнесён плетнём вместо ограды. Бурное развитие поселения дало толчок к расширению прихода. После крупного пожара в 1738 году восстановлена в том же виде. Изображение сохранилось на плане города 1787 года. В 1789 году был заложен новый каменный однокупольный храм в стиле раннего классицизма по проекту П. А. Ярославского, освящённый 8 сентября 1794 года. Как и все приходские церкви Харькова, был однопрестольным до 1830-х годов, когда рост населения вызвал необходимость расширения старых харьковских храмов. В 1836—1838 годах были пристроены приделы во имя св. великомученика Иоанна Воина и св. великомученицы Варвары. Главным их устроителем был церковный староста купец Александр Дмитриевич Скрыпник. В 1844—1846 годах произведен капитальный ремонт. Старанием подполковника М. И. Батезатула главы на церкви, иконостас, горнее место, жертвенник и сень над престолом были вызолочены «лучшим червонным золотом». В связи со всё более увеличивавшимся ростом прихода был поднят вопрос о кардинальной реставрации храма, но остался открытым, а церковь была только несколько расширена. 22 ноября 1887 года по инициативе небольшого кружка именитых и зажиточных прихожан и с разрешения архиепископа Амвросия (Ключарева) состоялось расширенное собрание прихожан, на котором единодушно принято решение о строительстве нового храма. Торжественная закладка новой церкви была совершена 2 октября 1888 года рядом со старым храмом, действовавшим во время двенадцатилетнего строительства. По поручению строительного комитета проект был разработан архитектором Харьковского технологического института профессором М. И. Ловцовым, членом Благовещенского прихода. Финансирование строительства осуществлялось в основном за счёт многочисленных и щедрых пожертвований купцов, как харьковских, так и других городов. Все расходы по сооружению церкви и внутреннему убранству обошлись в 400 000 рублей, одного кирпича положено около 7 миллионов. Смело экспериментируя в модном русско-византийском стиле с элементами эклектики, архитектор придаёт храму, увенчанному традиционным московским пятиглавием, древневизантийское полусферическое очертание и противопоставляет его массивному объёму (34 м лицевого фасада на 59 м высоты) лёгкость неоготической ярусной колокольни (80 м). Обилие деталей и полихромное решение фасадов с чередованием горизонтальных рядов красного кирпича и светлой штукатурки создают своеобразный запоминающийся облик храма. Церковь была окончена и освящена в 1901 году. Тогда же снесён старый храм, из которого в новый были перенесены наиболее чтимые иконы Спасителя, Божией Матери, Николая Чудотворца, Иоанна Воина, великомученицы Варвары. Один из крупнейших храмов Российской империи вмещает 3500-4000 человек. Иконостас из белого каррарского мрамора был выполнен московским мастером В. И. Орловым. 29 икон главного иконостаса — А. Д. Данилевский (Санкт-Петербургская Императорская Академия художеств), иконы боковых иконостасов — М. Д. Михайлов, стенная роспись И.Н. Святенко (Харьков). Основные иконографические мотивы взяты из киевского Владимирского собора и отчасти из храма Христа Спасителя в Москве. Боковые апсиды, как и в прежней Благовещенской церкви, во имя святого великомученика Иоанна Воина и святой великомученицы Варвары. В цокольном крестильном храме престол в честь Всех Святых. 14 февраля 1930 года постановлением секретариата ВУЦИК собор был окончательно закрыт. Согласно постановлению, помещение храма должно было быть использовано для культурных целей. Однако, по свидетельству старожилов, некоторое время в его помещениях находились конюшня и склад нефтепродуктов. Со стороны алтаря была построена автозаправка, просуществовавшая до конца 60-х годов.
Собор в 1941 году, во время войны
Как и другие харьковские церкви, собор был открыт для богослужений во время германской оккупации; по окончательном восстановлении советской администрации в августе 1943 года остался открытым. В 1946 году стал кафедральным собором епархиального центра, которым остаётся и поныне. В 1948 году сюда были перенесены из Покровского монастыря мощи харьковского святителя Мелетия (Леонтовича), а из музея — мощи святителя Афанасия Пателария, Патриарха Константинопольского. В 1993 году в соборе были помещены мощи священномученика Александра (Петровского), харьковского архиепископа, репрессированного в 1938 году.