松阪城跡内、城跡碑を向かって右側に坂道を登っていくとこの資料館がある。明治45年に皇太子行啓を記念して建てられたこの建物は税金を使わず民間の寄付金だけで飯南郡図書館として誕生したもので昭和51年ごろまで市立図書館として使われ、後に改装され民俗資料館として公開された。市で唯一の「登録有形文化財」に指定されている。木造の明治洋風建築の館内には松阪商人資料をはじめ、伊勢白粉や松阪木綿の資料が展示されている。