Вы используете устаревший браузер. Этот и другие сайты могут отображаться в нём некорректно. Вам необходимо обновить браузер или попробовать использовать другой.
Смотри ImDrawList::AddRect/AddRectFilled, там есть параметр rounding который указывает загруление в пикселях и flags который описывает какие именно углы закруглять.