1941年5月林礪儒先生被迫辭去廣東省立文理學院院后，在廣東曲江和許崇清等人共同編輯出版《教育新時代》、《新建設(shè)》等刊物，正確分析抗戰(zhàn)形勢，宣傳進步思想，對國民黨的反動報刊如《民族文化》等作了針鋒相對的斗爭。
林在1942年到廣西桂林擔任桂林師范學院教務(wù)長。當時他對國民黨政府的腐朽、反動本質(zhì)越來越看得透徹，從而也越來越受猜疑、壓迫，直到后來被視為“危險人物。”他在自己住所門前親筆寫了一付對聯(lián)：“讀書幸未成君子，學圃猶堪作小人”，道出了他不滿反動派和堅決與他們劃清界線的心情，他到桂林師范學院以后，曾邀請不少進步教師到院任教。如譚丕摸、林仲達等，特別是他曾盡最大努力為廣東文理學院受反動派迫害跑到桂林的進步學生設(shè)法安排學習、職業(yè)，并加以保護。他寫了一篇文章《精神剃須論》，諷刺反動派對青年的迫害、控制。此文發(fā)表于當時桂林的《文化雜志》。該雜志后來被反動派勒令?？?，并受到迫害。林對該院的地下黨員學生更十分關(guān)懷愛護，如鄭仲堅（現(xiàn)名鄭風）、陳炯高（現(xiàn)名陳忠）等，經(jīng)常從林處了解到該院和社會上的一些動態(tài)，為開展革命活動提供了方便。
林在桂林師范學院不論講課或與學生談話，均觀點鮮明，流露出對國民黨黑暗統(tǒng)治的不滿。他經(jīng)常啟發(fā)地引導(dǎo)學生追求真理，追求光明；特別是他在桂林師范學院期間，曾積極提倡民主自由教育，當時桂林《廣西日根》、《新教育》付刊，就是他進行這種宣傳并揭露國民黨教育制度的陣地?！缎陆逃返目撬岢龅?，主編該刊的張泉林也是他推薦的。
1944年夏，日軍侵入廣西，國民黨軍隊望風而逃。他不顧家室，只身帶著桂林師院學生歷盡千辛萬苦、徒步長途跋涉，經(jīng)柳州、黔桂邊境山區(qū)遷往貴州豐越，堅持上課。當時難民云集柳州，人心惶惶，文化界進步人士為堅定抗戰(zhàn)信心，舉行演劇及講演會，他首先登臺演講。這段時間，他一面講學，一面寫《教育哲學》?？箲?zhàn)勝利后，1946年1月，他又帶領(lǐng)桂林師院返回桂林。國民黨特務(wù)曾多次對他投寄恐嚇信，威脅他說：“將會步聞一多后塵”。而林對國民黨的進一步迫害，毫不動搖，繼續(xù)堅持真理，與國民黨反動派進行針鋒相對的斗爭。
1946年秋，在中國共產(chǎn)黨地下組織的指示下，桂林逸仙中學得以復(fù)校。林曾推薦和組織進步人士張泉林、鄭仲堅、吳師光、葉孟貞等負責此項工作。林當時還和其他一些進步人士（如石兆棠等）積極推動廣西新文化運動。同時，他還著有《教育危言》一書，以尖銳辛辣的筆鋒，揭露國民黨教育的黑暗和反動本質(zhì)，大力宣揚民主主義教育思想。
其后，林終因桂林環(huán)境惡劣，借口到廣州養(yǎng)病的機會而離開桂林師院。
1947年8月，他到福建廈門大學任教授。此時國民黨政府已把他列入教育門部不準發(fā)聘書的教授黑名單內(nèi)，他只有靠一些老朋友和學生的幫助才能留在學校（當時廈門大學校長汪德耀是他在北京師大附中任主任時的學生）。1949年春，國民黨反動政權(quán)在崩潰前夕對進步人士的迫害更加猖狂。林當時在廈門已受到特務(wù)的監(jiān)視。后在中國共產(chǎn)黨的關(guān)懷和安排下，他和其他一些進步人士，應(yīng)中央人民政府邀請，于1949年4月秘密離開廈門經(jīng)香港轉(zhuǎn)往北平，以無黨派民主人士身份參加中國人民政治協(xié)商會議的籌備會議。同年9月，作為中華全國教育工作者代表會議代表，滿懷激情地參加了全國政協(xié)第一次全體會議，并當選為全國政協(xié)第一屆委員會委員。他無限感慨地在會上發(fā)言，提出教育必須以工農(nóng)為主要對象；必須無保留地為新民主主義政治經(jīng)濟服務(wù)，他提出今后文化教育應(yīng)該成為人民大眾進行革命斗爭和建設(shè)國家的工具。
林在回顧解放前自己的經(jīng)歷時曾說：“我在舊中國雖從事教育三十年，但從不越校門一步，兢兢自保，盡力避免與惡勢力接觸，更談不上斗爭。今天回憶起來，只能說幸不墮落罷了。那種‘眾人皆醉我獨醒’的態(tài)度，在今天看來是不足為訓的。我在北京師大附中服務(wù)時，發(fā)覺我們對學生的期望與家長的期望大有逕庭。于是我得出這樣一個結(jié)論：要實現(xiàn)教育理想，須率其子弟，攻其父兄。然而如何可能？我得不到答案。我只能說是知其不可為而為之。這便是我當年埋頭做教育工作的心事。換言之，是一種游戲人間，曳尾涂中的消極心情。所異乎同時代的“教育家”者，是既知其不可，并不敢復(fù)言“教育救國”以自欺欺人耳。我這樣的消極心情，直到抗日戰(zhàn)爭開始，得讀《新華日根》，知道了一些中國共產(chǎn)黨領(lǐng)導(dǎo)人民抗日的大好形勢，才看出中國人民的光明前途。我的心情才大有轉(zhuǎn)變，才敢相信教育工作有可能生效。”這些話刻劃了他在舊社會時的思想狀況。他解放前的思想一貫傾向進步、同情革命。他逐步接受了馬克思、列寧主義關(guān)于社會發(fā)展的理論，認為無產(chǎn)階級革命事業(yè)必將獲得最后勝利。他在文章中歌頌過“蘇聯(lián)成功了空前的社會革命，工人和農(nóng)民取得了統(tǒng)治權(quán)。”他曾引用英國哲學家羅素的話：“共產(chǎn)主義與資本主義的爭端若不解決，世界絕不會和平的。況且若非共產(chǎn)主義勝利，這種爭端也決不能解決。因為到了將來，資本主義必不再會使人滿意”。
在舊社會，林向來拒絕在反動政府集團中當官。他在擔任學校負責人時，嚴以律己、廉潔自持，努力為學生的作業(yè)講解。他一貫提倡教育民主，反對封建家長式的治校方法。解放前辦學校，他就吸收教師、學生代表民主管理校務(wù)；學校財務(wù)帳目定期公之于眾。他提倡愛護兒童、尊重青年，并且身體力行，和學生打成一片。這些方面，他的許多學生都有很深感受。
他對世界和中國的教育發(fā)展史有較深的研究。他寫道：“進步的政治必產(chǎn)生進步的教育；頹廢的政治必不能完成進步的教育”。他又指出：“封建社會的教育是為人們造就身份的。資本主義的教育是為人們謀求職業(yè)的；當然也抬高身價。他們的‘大學之道’都是一條‘利祿之路’！無產(chǎn)階級的教育，要教導(dǎo)人民為人民服務(wù)，這條路從未有人走過。而新舊教育的分水嶺卻在此”。“教育工作要擺脫為少數(shù)剝削階級的利益服務(wù)，要擺脫‘利祿之路’。這是他多年來在教育工作中的主導(dǎo)思想。
他一向埋頭教育工作，很少公開言論或發(fā)表文章。但在抗戰(zhàn)時期，在國家民族危急存亡之際，他目睹國民黨反動派統(tǒng)治更加腐朽，也看到全國人民奮起抗戰(zhàn)謀求解放的偉大行動，因而“有點憋不住氣，寫作多了點”，陸續(xù)寫了數(shù)十萬字的文稿，包括概論教育、國民教育、師范教育及其他一些問題。在他寫作的過程中，當然免不了要受到國民黨反動派的攻擊和迫害。例如1940年，他寫了“為學術(shù)大眾化進一言”，文章僅僅揭露了階級社會中反動統(tǒng)治者壟斷教育、文化、學術(shù)，以致歪曲真理的事實，就遭到了當時在廣東曲江出版的國民黨反動派報刊的圍攻。
中華人民共和國成立以后，他除當選為第一屆政協(xié)全國委員會委員外，以后曾繼任第一、第二、第三屆全國人民代表大會代表、中央教育部中等教育司司長兼北京師范大學校長、教育部副部長。在任師范大學校長期間，毛澤東主席曾親自和他談話，要求師大盡可能擴大規(guī)模，為新中國培養(yǎng)大量師資。這使他受到極大的鼓舞。在擔任教育部副部長期間，他努力貫徹黨對教育工作的方針、路線和政策。他盡管年老體弱，也不滿足于在辦公室內(nèi)工作，除到全國各地了解教育工作情況外，他還主動到教育部附近的各中學聽教師講課，并親自復(fù)信解答各校教師提出的問題；他還為《人民教育》等報刊撰寫有關(guān)教育方面的文章。
在“文化大革命”的浩劫中，盡管在林彪、“四人幫”反革命路線干擾下無法工作，他仍然非常關(guān)心國家大事，關(guān)心教育革命。他寫信給周恩來總理提出教育革命的建議。他對林彪“四人幫”的破壞罪行逐漸有所覺察、不滿這些人。從他給一些教師的復(fù)信中就反映出來。例如，當“四人幫”瘋狂破壞教育質(zhì)量時，他曾寫道：“智育第一論必須批判，但馬克思把教育理解為三件事，第一就是智育。對這真理，必須深深領(lǐng)會。無產(chǎn)階級的教育，必須無限的提高人民文化水平，也鼓勵人民無止境地進攻科學。要這樣，才有足夠的力量發(fā)展壯大無產(chǎn)階級政權(quán)，解放全人類，也解放自己”。他還說：“孟子之道性善，固然是先驗論，而荀子言性惡，不也是先驗論嗎？”以這來批駁了“四人幫”歪曲歷史、古為幫用的謬誤。
他堅定地擁護中國共產(chǎn)黨、毛主席和社會主義制度，熱愛祖國，關(guān)心國家大事，熱心人民教育事業(yè)，刻苦學習馬列著作和毛主席著作，工作認真負責，為人民的教育事業(yè)貢獻了自己的力量。他在重病中得悉以華主席為首的黨中央粉碎“四人幫”的偉大勝利，感到衷心喜悅，表示堅決擁護。
1977年1月20日，他因患胃癌醫(yī)治無效，在北京逝世，終年八十八歲。骨灰安葬于北京八寶山革命公墓。