Существует легенда, что именно у источника Карла IV, который в то время называли Жроут – Обжора, у исторического Рынка под Замковой башней лечил больные ноги император Карл IV. На этом месте была также построена старейшая карловарская баня. Вначале источники защищала простая беседка с крышей на столбах и короткой прогулочной террасой.

Резная деревянная колоннада в швейцарском стиле была построена на месте  старой карловарской ратуши в 1882 – 1883 гг. по проекту известных венских архитекторов Фердинанда Фельнера и Германа Гельмера. Строительство здания, которое должно было быть временным, поручили венскому плотнику Эстерайхеру. В 1904 – 1905 гг. колоннада была достроена до выхода Рыночного источника по проекту директора городского строительного департамента Франца Дробного.

В галерею Рыночной колоннады выведены три минеральных источника – Источник Карла IV, Нижний замковый источник и Рыночный источник.