Вы используете устаревший браузер. Этот и другие сайты могут отображаться в нём некорректно. Вам необходимо обновить браузер или попробовать использовать другой.
В imgui (как и практически везде) все на самом деле рендерится из текстурированных треугольников.
Например прямоугольник/квадрат это два треугольника (4 вершины и 6 индексов), треугольник понятно, круг тоже из треугольников (как пицца, чем больше треугольников тем меньше фпс но больше плавности), прямоугольник с закругленными краями это 4 четверти круга + 10/6 треугольников, и так со всеми двухмерными фигурами.
В imgui уже есть многие высокоуровневые функции
В твоем конкретном случае нужно AddRectFilled + rounding описывает радиус закругление в пикселях + flags (ImDrawCornerFlags_*) описывают какие углы закруглять.