岳家军撤回武昌不久，许昌、陈州、蔡州、郑州等地又相继沦于金人手中。

岳飞志在“精忠报国”，别无私念。现在看到奸臣当道，朝廷昏庸，有力使不上，因此，十分痛心。奸相秦桧，经过长期思谋，认为各抗金将领兵权过大，有碍“和议”。特别是岳飞，更是他投降卖国的阻碍。他进言赵构，诏改岳飞为枢密副使。这实质上是解除了岳飞的兵权。接着，韩世忠的兵权也被解除了。

秦桧又进一步指使右谏议大夫万俟（上占下内）罗织罪名，要求免除岳飞的职务。紧接着，又使御史中丞何铸和殿中侍御史罗汝楫捏造罪名，连连上奏，对岳飞进行所谓弹劾。岳飞被罢官之后，秦桧和张俊便转而对付岳家军。他们首先收买了岳家军中的败类王俊，还说岳飞之子岳云曾写信给张宪，图谋占据襄阳等。王俊还亲自出来作证，说他见到过这封信。张俊逮捕了张宪，严刑逼供，张宪始终不屈。

绍兴十一年八月，正当秦桧阴谋进行解散岳家军时，金兀术扬言要继续南进。赵构、秦桧吓破了胆，急忙派人和谈。兀术捎信给赵构，说必须割让淮水以北的土地才可“议和”，又在暗中密令秦桧：“必杀飞，始可和。”于是，秦桧又诬说岳飞也曾写信给张宪，谈论“叛逆”的事。遂派人去庐山，谎称岳飞只要到朝廷去对质一下，张宪、岳云之事即可解脱。岳飞到了杭州后，立即被秦桧押入狱中，严刑“审问”。

在岳飞入狱前后，秦桧命其党羽四处活动，罗织岳飞的罪名。韩世忠听说岳飞有处死的危险，抑制不住心中的愤慨，质问秦桧事实真相。秦桧答：“岳飞儿子岳云与张宪书虽不明，其事体莫须有(或许有之意)？”韩世忠听了，愤然斥道：“‘莫须有’三字，何以服天下”这时，赵构也不认为非把岳飞处死不可，就连秦治的党羽亲信，对处死岳飞也有异议。御史中丞何铸经过“审讯”之后，也找不出岳飞有何罪。这使得秦桧迟疑不决，一时难以下手。

绍兴十一年腊月二十九日(公元1142年1月27日)，案桧闷坐在书房里。他的老婆王氏，人称长舌妇，最是心狠手毒。王氏见秦桧这等模样，就说：“捉虎容易，放虎难啊!”经过一番密谋，秦桧便手书一字条，传递到狱中。岳飞再次被提审，他知道最后的时刻到了，便奋笔疾书八个大字：“天日昭昭，天日昭昭!”

片刻之后，岳飞、岳云和张宪被秦桧害死于大理寺风波亭下。时岳飞仅三十九岁，岳云二十三岁。

除岳云外，岳飞还有四子一女，他们是：雷、霖、震、霞和孝娥。

岳飞死后不久，有些地方就挂起了岳飞的画像，寄托怀念之情。隆兴元年(公元1163午)在朝野的一片呼声中，孝宗为岳飞正名昭雪，复其官爵，赐以家地，禄其子孙，恤其家族。后溢武穆，追封鄂王。

历代歌颂岳飞的小说、戏剧和其他著作不下数百种，全国建造岳飞祠庙多达数十处。其中，以岳飞的家乡汤阴的岳庙规模较大，文物较多。

岳庙山门外青石台阶下，并排有五具铁跪像。他们是秦桧、王氏、万俟（上占下内）、张俊、王俊等五人，面皆朝北，与大殿中的岳飞塑像正相对。

铁像约铸于明正德年间。初为秦桧、王氏、万俟（上占下内）、罗汝楫四人，后去掉罗，增添了张俊、王俊。铸像一米多高，均是蓬头垢面，坦胸露脐，双手反缚，低首俯背。面目丑陋可憎。明万历年问，汤阴县知事刘贵钟题道：“逆桧和议长屈膝，人人争赠两三砖。”“手中恨少截铁剑，要斩奸头诉上昊。”（昊，意为天）

英雄流芳千古，奸相遗臭万年，这是历史的公正判决。

杭州岳墓旁是四具跪像，汤阴则是五具，多了王俊。查史不难明白：奸相秦桧专权，力主“议和“，是杀害岳飞的罪魁；王氏助约为虐，是个阴险的毒妇；万俟（上占下内）充当鹰犬，刑讯逼供，是个刽子手；张俊忌贤妒能，依附权势，是个帮凶。而王俊，则是岳家军中的败类，他专以诬陷他人为能事，卖身投靠权贵，是个灵魂肮脏的爬虫。人们让他长跪，可见对他憎恨之深。

施全祠内施全铜像左侧，原有隗顺塑像，塑像后立一碑名“宋义士隗顺之碑记”是为纪念保存岳飞遗体的隗顺而立。

岳飞被害后，尸体被扔弃。狱卒隗顺看到岳飞父子被害，十分同情。他趁人们都忙着除夕团圆之机找到岳飞遗体，背负出钱塘门外九曲丛祠北山旁，并将一个玉镯暗暗地放在岳飞遗体腰下。掩埋后，又在上边栽了两棵桔子树。隗顺年老时，又将此事嘱告儿子。他坚信岳飞冤死，日后终有昭雪之时。

果然不出这位正直的狱卒所料，二十一年之后孝宗即位，岳飞的冤案得到了昭雪。朝廷访求其尸，隗顺儿子报知，以礼改葬于西湖栖霞岭下。