邱处机在成吉思汗的大营里停留了大半年的时间，这个过程中，楚材跟他有着密切的交往，两人之间还有着诗作的唱和，比如邱处机作了一首七律：“阴山西下五千里，大石东过二十程。雨霁雪山遥惨淡，春分河府近清明。园林寂寂鸟无语，风日迟迟花有情。同志暂来闲睥睨，高吟归去待升平。”而楚材与之唱和了一首《壬午西域河中游春十首》，其中第一首为：“幽人呼我出东城，信马寻芳莫问程。春色未如华藏富，湖光不似道心明。土床设馔谈玄旨，石鼎烹茶唱道情。世路崎岖太尖险，随高逐下坦然平。”
按说，楚材信奉的是佛教，而邱处机是道教著名人物，本应当道不同不相为谋，然两人共同服务于蒙古首领，可能也正因为如此，才有了求大同存小异的相融。但到了邱处机去世之后，耶律楚材就对道教给予了很多的指责。邱处机返回北京后的第三年就去世了，此后不久，耶律楚材写了本《西游录》，在此书中，楚材写出了对邱处机的十大不满，其中前五为：“初进见，诏询其甲子，伪云不知。安有明哲之士不知甲子者乎？此其一也。对上以徽宗梦游神霄之事，此其二也。自谓出神入梦，谓彼宗之极理，此其三也。又云圣贤提真性遨游异域，自爱梦境，此其四也。不识鲁直赞意，此其五也。”楚材首先说，邱处机这个人不诚实，因为成吉思汗当初问邱多大年纪时，邱称他自己也不知道，其实邱是不能说，因为向成吉思汗举荐邱处机的人是刘温，而这位刘温告诉成吉思汗说，邱处机已经三百岁了。大汗觉得，邱处机肯定有长生的秘诀，所以才把他请到了大营之中。而后楚材又从其他的几个方面指责邱处机的不堪，但他同时也说：“予与邱公，友其身也，不友其心也；许其诗也，非许其理也。”也就是说楚材以邱为朋友，更多的是喜欢他的诗作，而对他的人并不在意。
楚材为什么对邱有着较深的成见，这确实是件奇怪的事。从他的历史经历来说，楚材对于道教也并不排斥，比如他早年的时候还读过《庄子》，后来他在回忆少年时的经历，还写过一首《复用前韵唱玄》：“昔年学道颇得趣，鱼兔入手忘筌蹄。残编断简披《庄子》，日日须当诵《秋水》。”对于老子的思想，他同样不排斥，楚材在《西域和王君玉诗二十首》中，其中之九为“临风畅饮题玄语，方信无为无不为。莫道无为云便了，有为何处不逢玄”。而著名的全真教也同样并不是传统的道教观念，因为本教主张三教合一，此教奉《道德清净经》《般若心学》和《孝经》为本宗经典。如此说来，全真教的观念中，也有佛教的成份。按理来说，楚材并不会完全排斥，那他对邱处机的大为不满就只能从两人行为处事方式的差异来解释了。
耶律楚材流传至今的诗作，总计有六百多首。金代诗歌的诗风分为两大派别，即宗苏派和宗黄派，耶律楚材似乎两派并重，但相比较而言，他更偏重于东坡的诗风。当年蒙古人占领了金人的南都开封时，耶律楚材得到了东坡生前用过的铁杖，这件事令他很兴奋，为此他写了多首来歌咏此事，而楚材的第二位妻子苏氏，据传就是苏东坡的四世孙苏公弼的女儿。由这些都可看出，他对东坡是何等的崇拜，故而他的诗风也偏重于苏调。楚材的友人孟攀麟在《湛然居士文集》序言中称：“词锋挫万物，笔下无点俗。挥洒如龙蛇之肆，波澜若江海之放。其力雄豪，足以排山岳；其辉绚烂，足以灿星斗。斡旋之势，雷动飚举；温纯之音，金声玉振。……是皆造其真境，至于自然而然。”
清初的顾嗣立编有《元诗选》，顾对楚材特别推崇，其在该书中称：“按元裕之《中州集》载右相文献公诗。又称赵闲闲为吾道主盟，李屏山为中州豪杰。知晋卿学问渊源有自来矣。旁通诣极，而要以儒者为归。故当经营创制之初，驰驱绝域，宜若无暇于文。而雄篇秀句，散落人间，为一代词臣倡始，非偶然也。”
而纪昀则在《四库全书》总目中对楚材的诗作给予了如下的评价：“……考僧行秀所作《集序》，称楚材年二十七，受显诀于万松，尽弃宿学。其耽玩佛经，盖亦出于素习。……今观其诗，语皆本色。惟意所如，不以研炼为工。虽时时出入内典，而大旨必归于风教。邻之所云，殆为能得其真矣。”。但是，对于耶律楚材的这些诗，王国维认为他在声韵方面有着不太讲究的毛病，王在《耶律文正公年谱余记》中称：“《湛然集》中律诗以入声作平声者凡数十见，此决非讹字，亦非拗体，盖公习用方言，不自觉其为声病也。公为诗在三十以后，及官既高，人亦无此告公者，遂有此病。”
从经历来看，耶律楚材特别有语言天分，他父亲耶律履对于契丹文非常精通，虽然没有机会跟父亲学，但耶律楚材在西征途中，认识了前西辽郡王李世昌，于是他开始跟此人学契丹文，一年之后，他就能熟练应用，将一门完全不熟悉的语言仅用一年时间就达到了熟练应用的程度，可见其语言天分是何等之高。其实不尽如此，他还将辽朝寺公大师用契丹文所写的著名诗歌《醉义歌》翻译成了汉语，这首歌长达122句，是流存至今的惟一一首契丹诗歌长篇，而流存至今的原因，正是有赖于楚材的翻译。
楚材还写过一首长诗，名为《怀古一百韵赠张敏之》，除了前面的引用部分，该诗的起首一句就气度不凡：
兴亡千古事，胜负一盘棋。
感恨空兴叹，悲吟乃赋诗。
楚材生逢乱时，看到了城头变幻大王旗，所以才有着兴亡千古事、尽在不言中的感叹。他尤其喜欢将历史形容成一盘棋，楚材还做过一首《示忘忧》：
历代兴亡数张纸，千年胜负一盘棋。
因而识破人间梦，始信空门一着奇。
这些感叹跟他的经历有着很大的关系，成吉思汗去世后，他继续受到了蒙古统治者的重用，而后又受到了内部排挤，直到后来的郁郁而终，这让他更加觉得人生之无常。
耶律楚材去世前，曾留下遗嘱，说自己死后希望埋葬在老家的玉泉东瓮山，他去世十七年后，其子耶律铸将父亲遗骸迁葬于此，并且耶律铸在《拜尊大人领省瓮山原茔域寝园之壁》一文中谈到了其父之墓所在的具体位置：“尊大人领省茔域在燕都西北一舍，西至玉泉五里，实曰瓮山，寝园居在昊天罔极禅寺之右，正寝去隧东北百余步。”到了明代，楚材的墓遭到破坏，明沈德符《万历野获编》卷二十八称：“近日一友人治别业于京师外西山，忽发一冢，开榇得大头颅，加常人几倍，不知何人葬地……未几掘得碣石，则楚材墓也。虽稍为葺治，闻圹中他物散去多矣。”原来沈的朋友在北京西山建别墅，无意中挖开了一座古墓，发现里面尸骨的头颅比常人大许多，当时并不知道此为何人，而后又挖到了墓室，终于得知这是楚材之墓，于是其友又将此墓修造完好，但墓中的很多陪葬品都散失了。
到了明末，刘侗、于奕正在《帝京景物略》中更为详细地记录了楚材墓当时的情形以及那时发生的奇异现象，“翁山，去阜城门二十余里，土赤赢，童童无草木。……山下数十武，元耶律楚材墓。墓前祠，祠废像存，像以石存也。石表偈、石马虎等，已零落，一翁仲，立未去。天启七年夏，夜有萤十百集翁仲首，土人望见，夜哗曰：‘石人眼光也。’质明，共踣而争碎之。后夜萤来，无所集，集他树。人复望见，锄耰夜往，树上乃萤也，而墓前无一器也，突然一丘。”
清乾隆十五年，弘历下令建造清漪园，耶律楚材的祠墓包在了园内，乾隆皇帝对这位前贤倒是很尊重，他下令重新修建墓祠，并且亲书御碑，同时给享堂御赐了“元枢宰化”匾额。到了清末，慈禧太后在清漪园遗址上修建颐和园，耶律楚材的墓祠也同样得以保留。1998年9月19日，颐和园在修建地下文物库房时，无意间挖到了楚材之子耶律铸以及妻妾们的合葬墓，由此确认，而今的颐和园就是耶律楚材的老家玉泉东瓮山。
耶律楚材的墓在北京，对我的寻访来说，这当然是个便利，然而我却打听到，这个墓祠早已不对外开放，可惜的是我跟公园方面又没什么熟人。但真是天无绝人之路，某次我在华宝斋办讲座时，经蒋凤君女史之介，竟然认识了颐和园的丛一蓬园长，这个结识令我大喜，但我觉得初次见面就提出要求太过功利，于是跟他客套一番，还是把自己的要求咽了回去。
终于走进了院内
几天之后，终于忍不住，于是给丛园长打了个电话，向他讲出了自己的要求，他告诉我说，此处不开放，但是我还是向他解释了耶律楚材在我的寻访之中有着何等重要的位置，因为金元时代没有几位像样的文学家，而楚材为其中较为重要者之一。闻我所言，丛园长沉吟了一下说，那你就来一趟吧。闻听此言，我立即奔颐和园而去，因为我早已准备好了拍照设备。赶到颐和园时，给丛园长去电话，他说自己正在开会，但他已经安排好一位同事带我前去参观。
门前的“游人止步”
等待打开墓园的小门
按照那位同事的电话指引，我把车开到了颐和园的东门，在东门口见到了丛园长的同事，寒暄之后，他带着我继续前行，仅往前走了百十余米，从文昌院门口进入，进院不足50米，右手一片翻新的古建即是耶律楚材祠。果真门口及墙上都挂着游人止步的提示牌，我问带我来的先生可否进内一看，他很爽快地推开门让我拍照，并且说近几年这里已改成了办公室。祠堂的西面有一很小的院门，此先生专门去拿来了钥匙，他拿来钥匙数量之多，吓了我一大跳，几个大铁盘上转着圈排满了一串串的钥匙，恐怕有几百个都不止，这么多的钥匙，能够找到开门所需者，恐怕不太容易，而事实果真如此，一把把地试下去，换了两大串才打开。
墓园的第三道门
古老的插门方式而今依然在使用
沿夹墙间窄窄的小甬道前行，转到祠堂的后面又是一个拱形的小门，仍然上着锁，但是手中的钥匙似乎没有能开这把锁者，带路的先生又出去跑了两回才开开这个小门。有意思的是开锁之后他并没推门入内，而是用右手在墙缝处摸出一截小钢锯，然后拨弄门与门之间的一截木插板，这是什么防控措施我始终没弄明白。他打开门让我先别进去，说里面放着狗，他先将狗拴起来，果真门院里响起了狗叫声，等一会儿他过来又给我开门，让我小心不要滑倒，原来地面的石板上有一层薄薄的青苔，看得出有不短的一段时间没有进来过人了，但我不解的是为什么一个古人的墓要层层上锁，还有专门的狗来防护，但不管怎么样我总算进来了。
拨开木门闩的工具原来在这里
乾隆御碑
神道碑介绍牌
进门即是乾隆御笔所书的大碑，碑旁有中英文对照的说明牌，说此为乾隆十五年所立的神道牌，正面为乾隆帝所撰诗文，记重修耶律楚材墓之缘由，碑的背面则出自刑部尚书汪由效之笔，记祠墓的重新修建及表彰耶律楚材的历史功绩。祠堂也同样上了锁，但我实在不好意思再让此先生跑过去拿一趟，这时又产生了另一个疑问，为什么不一并将钥匙拿来呢，从热情程度看并没有阻止我拍照的意思。
耶律楚材像锁在这里面
耶律楚材墓占满了整个小房间
我沿着祠堂的窗棱缝向里望了望，中间端座着耶律楚材的银塑像，从颜色看肯定是个古物。转过祠堂后面又是一间像小庙一样的青砖房，他介绍说这里面就是耶律楚材之墓，我扒着铁栅栏门向内一望，果真屋正中央是一个圆圆的硬顶大墓冢，体积基本上把小屋子占满，将墓盖在屋子里面，这我还是第一次见到，至圣先王孔圣人的墓不也在露天的院子里吗？为何要将楚材的墓包在房子里呢？但转念一想，也许墓原来就在旷野中，而后来的不知什么人为了保护这个墓，在墓冢上又盖了间房，我觉得自己的这个猜想应该不会错。但这样产生一个问题，就是难以给这个墓冢拍照，从外面拍是间房子，而里面又没有拍照的空间，当然盖房者不会也不可能考虑到多少年后有人给它拍照产生困难的问题。
里面无法拍照，只能拍这个侧影
拍照完毕，这位先生陪我出来一路聊天，他说以前这个祠和墓也是对外开放的，但由于进出的甬道过于狭窄，担心出问题就封闭了起来，但此之后再有人看都会通过上面的关系，他说：“前一段有个乌兹别克斯坦的*想来这里看，办了好几道手续才给他开的门，也是我陪着，他说自己是个契丹人，并且是耶律楚材的后人，他还说他们国家还有一千多契丹人。”
