Az Ivánczy család 15. században reneszánsz stílusban épült nemesi kúriája a falu északi végén állt.

1588-ban a törökök a környező településeken végighaladva földig rombolták Szentmártont is.

A várkastély, amely a domb tetején magasodott és a középkori templom, amely a mai temető helyén lehetett, elpusztult. A maradványokat a környékbeliek elhordták, de árkai, sáncai még ma is felismerhetőek.