ты рендеришь через dx9 используя имгуи, твоя w2s матрица обнуляется/обновляется в момент когда начинается отрисовка нового кадра, поэтому у тебя телепортации/дрожь и прочее, с rgflCoordinateFrame аналогично, тебе нужно синхронизировать эти функции с игрой, и все будет перфект, либо используй...