初めまして、行政書士のＳＵＰＥＲＴＯＮＴＯＮでございます。
それは大変お悩みのことと思います。
ご心痛お察し申し上げます。
お話から、民法２０９条の隣地使用権の問題と思います。
基本的に、所有権は絶対ではなく、法律などに制限を受けます。
今回のように、境界で壁などの修理をする場合には、隣地の使用の請求が可能です。
その場合、相手は正当な理由が無い限り拒むことが出来ません。
また、そのことで、損害を出した場合は、相手に損害賠償をしないといけません。
とりあえず、相手側の承諾が必要ではありますが、正当な理由が無いのに
拒むのも違法ですから、そのことを相手に伝えることです。
状況としては、ご相談者様が、一度、相手を注意しているので、そのことで感情的な
トラブルになっているのでしょう。
一応を、菓子折りを持っていって礼を尽くすなど、されてみるのも手です。
それでも、応じない場合は、相手を脅迫罪などで訴えるなり
正当な理由のない拒絶なので、民事調停を申し立てると主張されるのも手です。
延長した工事期間の費用などを損害賠償請求すると主張されても良いでしょう。
頑張って下さい。