民法において相殺は、相殺適状に達した時点で、一方から、相手方の承諾を得ずとも相殺をおこなうことが出来るとされています。
対応策として、まずは今回の損害賠償額を明確にした上で確定させ、解体工事代金と相殺する旨を、内容証明郵便にて相手方へ通告なさることをお勧めします。
内容証明郵便はご自分で作成すれば郵送料1,200～2,000円程度です。
（司法書士・行政書士などの専門家へ依頼すると2～3万円程度・自分で作成した書面の内容確認・添削だけでも２万円程度掛かります）
きちんとした書面で通告すれば、相手方も相応の対応を余儀なくされるかと存じます。
ご一考ください。
下記URL、ご参照ください。
内容証明郵便の書き方↓
https://kigyobengo.com/media/useful/608.html
内容証明郵便（日本郵便）↓
https://www.post.japanpost.jp/service/fuka_service/syomei/index.html
ご自身で作成する場合は、こちらもご参照ください↓
https://bengoshihoken-mikata.jp/archives/2459
瑕疵修補に代わる損害賠償と未払の請負債務との相殺↓
http://www.h-osaka-kigyouhoumu.com/153/1531111/