Храм-часовня был построен в 1930‒1931 на русском участке главного белградского кладбища Ново Гробле (Новое кладбище) после того, как советские власти в 1929 уничтожили одноименную часовню XVII века у Воскресенских ворот перед Красной площадью в Москве. К этому времени на Новом кладбище уже были погребены некоторые известные российские деятели. В апреле 1920 здесь похоронили генерала от инфантерии М. В. Алексеева, верховного главнокомандующего российской армии в годы Первой мировой войны и инициатора создания Добровольческой армии. Он скончался еще 8 октября 1918, но гроб с телом генерала был увезен в эмиграцию.

Большую часть хлопот по организации сбора средств для постройки часовни взяла на себя председатель русского Мариинского сестричества княгиня Мария Александровна Святополк-Мирская. Деньги пожертвовали югославский король Александр I, принц Павел, принцесса Ольга, все проживавшие в эмиграции члены Российского императорского дома, русские и сербские церковные общины, а также большое количество русских эмигрантов из многих стран мира. 22 апреля 1930 Первоиерарх Русской православной церкви за границей митрополит Антоний (Храповицкий) заложил здание Иверской часовни, в фундамент которой была положена горсть русской земли.

Проект часовни разработал военный инженер В. В. Сташевский. Внешне она воспроизводила снесенную московскую часовню, но была выше и шире. Фасады здания были выкрашены в белый цвет, канелированные пилястры – в зеленый, капители и базы – в желтый. Венчал часовню голубой полукупол, украшенный золотыми звездами.

5 июля 1931 построенную за год с небольшим часовню освятили Сербский Патриарх Варнава (Росич) и митрополит Антоний. На ее стенах с внешней стороны в особых нишах были помещены два больших образа: свт. Николая – в память императора Николая II и свт. Алексия – в память цесаревича Алексея, доставленные с Афона. В часовне были собраны святыни главных городов России: в память Москвы – Иверская икона Божией Матери (привезенный с Афона список), в память Киева – икона Успения Божией Матери (из Иерусалима) и в память Петрограда – список образа Нерукотворного Спаса (бывшего в домике Петра Великого), подаренный афонским Свято-Пантелеимоновским монастырем.

Часовня имела алтарь и в 1930-е – 1950-е служила вторым приходским храмом Белграда. В крипте были помещены саркофаги с костями русских воинов, павших на Салоникском фронте, а также в составе двух русских батарей, защищавших Белград в 1915, на полу разложены артиллерийские снаряды, винтовки, медали и ордена погибших солдат. Две иконы для крипты позднее написал будущий архиепископ Антоний (Бартошевич): «Сошествие в ад» и св. ап. Иоанна Богослова. В этой усыпальнице были погребены: скончавшийся в 1936 Первоиерарх Зарубежной Русской церкви митрополит Антоний (Храповицкий) и его келейник архимандрит Феодосий (Мельник). Слева от входа в часовню похоронили умершего в 1932 епископа Лондонского Николая (Карпова) и скончавшегося в 1940 протопресвитера Петра Беловидова.

Вскоре после освящения часовни полковник Михаил Федорович Скородумов, георгиевский кавалер, раненый 11 раз, потерявший на войне правую руку, выступил с идеей установки рядом с ней памятника русским воинам, павшим в годы Первой мировой войны. Он же организовал сбор необходимых средств, каждый камень, пошедший на строительство памятника, был оценен в 300 динаров, а на нем выбивалась фамилия дарителя. Сам Скородумов писал позже в своих воспоминаниях: «Дабы остановить развивавшиеся симпатии сербов к Совдепии и вернуть их к царской России, я затеял постройку памятника русским воинам и переноску останков русских офицеров и солдат с Салоникского фронта в Белград. Казалось бы, что это в интересах всех русских эмигрантов, предлог объединиться и устроить обще-Югославянско-Русскую манифестацию в честь национальной России».

Величественный памятник павшим русским воинам был спроектирован скульптором и архитектором Р. Н. Верховским. Непосредственные работы по возведению памятника выполнял В. В. Сташевский. Памятник был установлен напротив Иверской часовни и открыт 9 апреля 1933 в присутствии короля Александра I. Высокий монумент был выполнен из серого камня в форме артиллерийского снаряда с пятиметровой фигурой Архангела Михаила, покровителя воинства, на вершине. На лицевой стороне памятника по-русски написано: «Вечная память Императору Николаю II и 2 000 000 русских воинов Великой войны», а на противоположной стороне, по-сербски: «Храбро павшим братьям русским на Солунском фронте. 1914-1918 гг.», тут же значатся имена вождей Белого движения, названия воинских союзов и объединений, имена жертвователей на постройку памятника. У подножия полулежит на знамени фигура русского офицера с шашкой.

В небольшом часовне-склепе под монументом, сделанном на средства Сербского Патриарха Варнавы, были погребены перевезенные из разных мест останки 623 русских воинов, погибших в Первую мировую войны на территории Сербии: в составе двух русских батарей оборонявших Белград и экспедиционного корпуса на Салоникском фронте. Над входом в склеп, украшенным резным мраморным порталом, написано «Спите орлы боевые», а на сделанном из рельсов большом кресте в часовне ‒ «Русские герои, жизнь свою положившие за свободу Сербии».

Всего на Салоникском фронте погибло более 6 тысяч русских воинов, но лишь десятую часть из них смогли перезахоронить в склеп памятника. Одна из таких церемоний – торжественное захоронение 8 офицеров и 379 солдат ‒ состоялась в 1935 в день славянских просветителей свв. Кирилла и Мефодия в присутствии множества русских и сербов. В своем надгробном слове Патриарх Варнава сказал: «Мы давно ожидали дня, когда всенародно и торжественно сможем принести им нашу благодарность и засвидетельствовать перед всей нашей страной и перед всем человечеством, что ничто не может угасить наших чувств любви и благодарности к царской России и к великому русскому народу… В истории мира не было страны, подобной России: эта страна – бездонный океан святых чувств православной, христианской любви!.. И все мы хорошо знаем, как наши северные братья, русские, вместе с нами боролись и гибли в битвах на полях Сербии и своею кровью, своею смертью подтвердили свою любовь к нам, меньшим братьям своим».

На русском участке Нового кладбища были погребены многие известные представители русской эмиграции в Югославии: ученые, генералы, артисты театра, художники, общественные деятели, и в частности, архитектор Н. П. Краснов.

К началу XXI века русский участок пришел в упадок, но в конце 2008 с участием русских и сербских добровольцев был создан специальный благотворительный фонд, и началось его восстановление. Еще в 1995 на средства вооруженных сил России был отреставрирован памятник русским воинам, погибшим в Первую мировую войну, а в 2013 с помощью российского правительства и благотворителей началась реставрация Иверской часовни, которая с 1945 находится в юрисдикции Московского Патриархата.