富永家は、江戸時代に神田村（現三和区神田）に土着し、幕末まで庄屋役を務めた名家を本家としています。神田地区には、本家の富永家から分家した一族が多く居を構えました。林富永家もそのひとつであり、奥州小名浜（現いわき市）の代官の手代を務めた富永護右衛門が安永9年（1780年）に神田村に帰郷し、居住したことに端を発しています。
明治8年（1875年）には、4代目の富永護右衛門がかつて高田藩の御林であった土地を購入し、明治16年（1883年）に現在の建物を建設して居を移しました。この地名が「立林」でしたので、これ以降「立林」の「林」を屋号として取り、林富永と言われるようになりました。
林富永邸は、平成19年（2007年）に上越市文化財に指定されています。文化財指定の館に相応しく、田園風景が一望できる小高い庭園の中にあります。入口の杉並木を抜けると、どっしりとした茅葺き屋根の住宅が落ち着いた佇まいを見せます。母屋の南側および西側は、杉苔を敷き詰めた枯山水庭園となっています。
庭園の西側の一部の杉林を切り開いて広がるのは、眼下に広がる水田を「海」に、西頸城の鉾が岳や権現岳を「山」として、水田に貼り出した丘陵を「岬」に見立てた借景庭園です。
庭園には銘木や巨木が多く、杉は約500年、もみ・しだれ桜・もみじは200～300年の樹齢と言われています。
重量感があり豪雪にも耐えてきたけやきの梁が、農民仕様の広間に豪快な印象を与えています。また、四方を囲む差し鴨居も雪国ならでは太さです。建造物はほぼ当時のままで、室内には囲炉裏やかまどがそのままの形で残されており、当時の生活を偲ぶことができます。
床の間、襖、長押、天井などが許された武家仕様の座敷は書院造りとなっており、派手さはありませんが上品で繊細な建具の細工や木材の吟味がされています。
奥座敷の狩野派の屏風や勝海舟の書。他にも、犬養毅、五姓田芳柳、巌谷修など、著名人・文化人との交流がありました。勝海舟は、岩の原葡萄園の創業者・川上善兵衛と子弟関係にあり、林富永邸にも訪れています。