こんにちは。司法書士のkanekiyoと申します。質問をご投稿頂き、誠に有難うございます。
ご質問への回答は以下の通りとなります。分かりやすい回答を心がけてはおりますが、ご不明点等ございましたら、お気軽にご返信下さい。
無断使用をした旨の確認書までとっているのであれば、損害賠償請求可能ですし、仮に相手が任意に支払わず、訴訟することになった場合でも勝訴の見込みは高かろうかと存じます。
しかし、無断使用を理由に境界の費用を負担させることはなかなか難しいので、請求等しては過去数十年にわたる無断使用を理由に賃料相当損害金を請求する形が一般的かと存じます。
土地自体の価値はそれほど高くないように思いますが、期間が相当長いので最終的には訴訟等を検討しても良いくらいの金額（数十万）を請求できる可能性は十分にあろうかと存じます。
※現況等をみないとはっきりとしたことは言えませんので、この場で確約は致しかねます旨、ご了承ください。
下記にお住まいの県の弁護士会及び司法書士会のHPへのリンクを張っておきますので、ご自分で請求してみて駄目であれば、実際に専門家にご相談されてみてもよろしいのではないかと存じます。
【香川県弁護士会】
http://kaben.jp/
【香川県司法書士会】
http://www.kagawa-shiho.com/
※請求額が140万以内であれば司法書士もご本人を代理することができます。
140万を超える場合に、請求手続きの代理してほしい場合は弁護士さんにご依頼することをお勧めいたします。