耶律楚材是蒙古帝國大臣，先后侍奉了成吉思汗、窩闊臺汗兩任大汗，為蒙古的建立，發展及繁榮都貢獻出了自己的力量。在成吉思汗在任期間對耶律楚材就無比信任，在去世之前對窩闊臺說一定要信任耶律楚材，對他委以重任。

窩闊臺在位期間也聽從耶律楚材的很多建議，是蒙古國得以不斷地發展，壯大。但在窩闊臺去世之后，皇后脫列哥那，史稱乃馬真后趁機奪取政權，收買了親屬及一些大臣，掌權長達5年之久。在皇后脫列哥那掌權期間，啟用一些諂媚，不學無術之臣，打擊忠良之士，漢法名臣。作為一個國家的掌權人，她只知道搜刮財物，盡情享樂，為人斤斤計較，注重私人恩怨。而作為國家重臣的耶律楚材也很自然的仕途開始變得坎坷，受盡排擠。

脫列哥那執政期間，重用奧都剌合蠻，對他十分信任。為此罷免了財政大臣和大宰相鎮海，并將汗廷的印章和空紙交給了奧都喇合蠻，讓他自己填寫，后遭到耶律楚材的強烈反抗，最終不了了之。后來脫列哥那又頒布一系列法令支持奧都剌合蠻，而每次耶律楚材都給予反對意見，長此以往，真乃皇后便對耶律楚材有了很大的反感，處處針對耶律楚材。耶律楚材在政治上空有一腔抱負，但卻無處施展。眼看著國家在脫列哥那的統治下法度不一，內外交困，使得人民怨聲載道，官場上烏煙瘴氣。耶律楚材長期郁郁寡歡，最終于公元1244年抑郁而死。

耶律楚材因與元乃真馬皇后的政見多有不同，屢遭迫害，抑郁難平，于1224年6月20日，逝世于蒙古高原，享年55歲。耶律楚材死后乃馬真后派近臣麻里扎查驗家產，結果卻發現耶律楚材為官數十載甚至作為兩代皇帝重用的的大臣，家中只有琴阮十余，古今書畫、金石、遺文數千卷而已。真是一心為公，清正廉潔。

蒙古人民聽聞耶律楚材死訊之后也悲傷不已，紛紛用各自的行動來表達對耶律楚材的敬重和懷念。

耶律楚材死后遵循他的遺愿，將耶律楚材的遺體運回燕京故里，將他安葬在了玉泉山下的甕山泊(今昆明湖)之濱，并且與他的先去世的夫人進行了合葬，并為之建廟立像。耶律楚材生前就十分喜歡玉泉山下的環境，他晚年號玉泉老人也正是因此得名。

耶律楚材祠是一所雙層套園，院中有三間北房都是祠堂，并且擺放著一張供桌。門前豎著一座石碑，石碑上刻著乾隆皇帝的御制詩，旁邊還立著一個石翁仲。三間北房里堆起一座幾米高的土紅色巨家，就是耶律楚材以及他的續弦夫人蘇氏合葬的墳墓。耶律楚材祠因時代變遷和歷史問題幾經興廢。明代，由于中原人對于蒙古族的痛恨，耶律楚材祠遭到破壞，祠堂被毀，墳墓被鏟平，石人也被推倒砸壞。到了乾隆十五年，乾隆對耶律楚材的政績予以肯定，因此命人在原地重新修建祠堂，恢復墓地，并在中間供奉塑像，為其親筆題詩。到1984年，耶律楚材祠經過修整后又重新開放，游人又可以來此處參觀憑吊。

耶律楚材祠的恢復與開放，是世人對于耶律楚材所作所為的一種肯定和贊賞，是對于歷史的一種認可。