Первое, что приходит в голову - сделать две модели, одну целую, а другую разбитую, состоящую из нескольких самостоятельных моделей осколков, к примеру. К осколкам подключаешь физику и скрываешь эту модель. А потом, при интерактиве с основной (целой) моделью, скрываешь ее и активируешь разбитую