1948年11月，由孙科接任翁文灏为行政院长后，翁文灏即送家眷去台湾，他自己则独自一人留在南京。心中的懊悔无法排遣，孙越崎便常去看他解闷。1948年除夕之夜，在南京，翁文灏和孙越崎一起守岁。孙越崎把10月间南京会议资源委员会决定留在大陆的情况告诉了翁文灏，并且说：那样一个小小的海岛，能有什么搞建设的余地？要搞真正的实业，还是留在大陆好。翁文灏摇摇头，黯然神伤地说：你可以这样做，我却是不能不走的，我是第12名战犯呀！说着指了指桌子上的那张新华社发表的战犯名单。
1949年4月，国共和谈破裂，翁文灏悄悄地告诉孙越崎，国民党已经垮了，石油公司决定留在大陆，他让长子翁心源也留下，维护好公司的人员和财产油料，他自己先去台湾，在那里不打算久留，很快将转去香港。在那儿再等等，看看事态如何发展，再定行止。
1949年5月，翁文灏准备带翁心源去台湾探亲。孙越崎知道后，忙赶来劝，说：心源还年轻，你何必害他呢？我看心源就不要到台湾去了。翁心源也连忙表示自己不想去台湾，并对父亲说：您这次探亲回来，请把儿媳和孙女从台湾接回来。翁文源郑重应允了。
1949年9月27日，中华人民共和国建立的前夕，孙越崎在香港轮船码头遇见了翁文灏下船，一问才知道，翁文灏是要去广州向李宗仁辞去秘书长职务，脱离国民党政府。那一年翁文灏刚刚年过花甲，堂堂一个大中国的前行政院长，此时只身一人到处奔走，不知将来归宿何在，怎么能不让人心生同情。孙越崎心中动情，说：翁先生，资源委员会的人都留在大陆了，不久我也要回大陆，你的儿子、儿媳，孙女他们也都在大陆。只有你和老父老妻三人流落海外，晚景太凄凉了。翁文灏叹口气说：我何尝不想回大陆呢。孙越崎说：你先在香港住一段时候，托人与共产党慢慢联系，得到许可就可以回家团圆。我们一些老朋友也可以经常见面了。这时，翁文灏抬起了头，面对老友吐露真情，说了一句：我还是要想办法回去的。但我回国的问题，非得到毛泽东同意才能解决，这就太难了。
孙越崎建议翁文灏找找邵力子，他在北平，是他们的好朋友。可以请他帮助。
六十花甲的翁文灏，此时居无定所，何去何从，命运把自己从一位实践的地质学家，转而从政，管理工业建设，最终搞成了个名列第12名的战犯。这几十年，他都是勤勤恳恳，兢兢业业地工作，日出而作，日入而息，每天过着极为忙碌，极为规律的生活，虽然曾遭过车祸，然而大难不死，焉知无有后福。现在，漂泊在海外，正因为有了思乡、思子、思友、思国之情，才有了一定要返回祖国的信念。
实际上，中国共产党人中的有识之士是绝不会放弃翁文灏的。上海解放后的第三天，陈毅就到资源大楼接见资源委员会留在上海的主要负责人吴兆洪，并问起翁文灏先生现在哪里？吴兆洪回答：在法国。接着试探着说：他是战犯。陈毅就说：他是书生，他留在国内，我们也不会难为他，请他就回来嘛。吴兆洪一听，心中暗喜，趁机说：他的儿子翁心源就在上海中国石油公司工程室任主任。陈毅果断地说：那很好，请他转告翁先生回来吧。这样，吴兆洪在上海征得中共华东局统战部的同意后，派代世英到香港劝说翁文灏转变立场，与蒋介石划清界线。
当时的翁文灏隐居在香港的铜锣湾，石油公司宿舍，在这里也有许多他的挚友来劝他和台湾方面断绝关系。翁文灏有四男四女，除次子心翰在对日空战中殉国外，三个儿子都在大陆，一个女儿在美国，三个在台湾，老父老妻当时也在台湾。孙越崎劝他快把老父老妻从台湾接来香港，迟则怕出不来，即使将来回不了国，住香港也比住台湾好。翁文灏赶紧去台湾，亲自把老父老妻接到了香港，并写信给在上海中国石油公司的大儿子翁心源到香港接祖父和母亲回上海。
翁文灏归国的另一个有利因素，正在于他的大儿子翁心源。驻中国石油公司的军代表徐今强一直积极鼓励翁心源争取使翁文灏早日回国，翁心源也已由上海调到北京燃料工业部石油总局工作，与孙越崎就住在锡拉胡同的一个大院里。他们俩常联名写信给翁文灏，报告国内形势，周恩来总理则派了一个秘书专门同心源联系，了解翁文灏的情况。
这一步他走对了，离家又近了一步，他却停住了脚步，仍住在香港。孙越崎给在北京的邵力子写信说，翁文灏想回国，要请他帮忙。邵力子立刻回信说愿意大力帮助，但一定要翁文灏先写一份悔过书，这样以便他能够进言。
中央的明确指示使翁心源极为欣慰和振奋，他立即准备赴港。行前打电报给父亲：我将来港探亲，盼接祖父和母亲来港。
翁文灏很快拟文一篇，文长两千余言，首述个人历次从政经历，最后表示：余本身志愿，本非从政之才，更无从政之愿。以前求学范围，地质之外，兼重地理。历年经行所及涉猎尚多。甚愿得有余时，阅读记录，为此新时代之一良民，倘能如愿，实所企盼。
当时的孙越崎，应中国共产党之邀正要北上，于是翁文灏托孙越崎携带一份书信进京转呈中央，另一份由翁心源亲带上海。翁文灏还给邵力子写信，希望通过邵力子与中央沟通信息，争取尽早回国。
从当时的这封信中可以看出，翁文灏此时此刻既不是为自己的性命担忧，也非为一家老小的安危惶恐，他唯一忧虑的是自己的一世声名。而北京、上海却迟迟没有答复。原来翁的自白书内居然还有“委员长蒋”、“行政院长宋”等字样，这让居中沟通的人士邵力子怎么敢拿出手呢。
滞留在香港的翁文灏决定归国，但他的态度与刚刚建立新中国的共产党政府相去甚远。翁文灏下不了决心，继续留香港等待。台湾方面也在争取翁文灏，他当然不回去，又怕被暗杀，因此临时决定离港赴法国巴黎暂避，给台湾留下一纸辞职书，辞去他在国民党政权中的最后一个职务──中国石油有限公司董事长，于11月下旬悄然离港赴法，翁心源则陪同祖父和母亲乘船返沪。
翁文灏到巴黎后，一方面等待中共对他“自白书”的反应，一方面潜心读书，欲探究世界潮流所向，各国盛衰之理，为此还翻译了一本《近世西洋通史》。
朝鲜战争爆发后，美国第七舰队进驻台湾海峡。台湾和美国方面开始关注翁文灏的行踪。台湾驻法国“大使”段茂澜三天两头约请他吃饭，或登门拜访，促其早日赴美。美国雷诺金属公司致信翁文灏，欲高薪聘为公司顾问；美国地质调查所也来函相邀。美国矿冶工程和机械工程学会甚至表示将特开大会欢迎名誉会员翁文灏赴美。10月，美国驻法使馆三秘斯柏劳司还亲到翁文灏寓所，表示尽管美国对国民政府的高官去美一律拒签，“惟独对你例外”。
此时，台湾也动员他去。何去？何从？翁文灏的面前摆着三条路：美国、台湾、大陆。
而翁文灏那封不够深刻的“自白书”最终还是到了周恩来总理手中，并得到周恩来的谅解，周恩来考虑到让一个孤悬海外，对共产党、新中国没有任何感性认识的人做出深刻思想反省的实际困难，同意他归国之后再继续提高认识，关于战犯问题，周总理说，这是新华社发的消息，不是党和政府正式宣布的，可请其放心。1950年4月下旬，周恩来面告邵力子：中央允准翁文灏先行由瑞士转苏联回国，回国后再商定发表声明。邵力子当即于4月29日致函翁文灏，转达周恩来的指示。信中说：“对于先生欲早归国土，许为爱国，对于过去一切，亦并无不可谅解之症结。”关于自白书一事，最后同意可径到北京，“倾诚相谈，再定稿发表”
接到邵力子信的时候，翁文灏依然在最后一道防线前徘徊。他对必须划清界限，谴责蒋介石反动集团，似乎有一种难以启齿的羞涩，回信要求声明中只做自责，不骂他人。虽然如此，所有这些条件，都无法动摇翁文灏的归国之情。他说：归乡尚少把握。叛国决非素心，审顾国局，不应逃亡，宁冒艰辛，归向祖国。他给爱子翁心源写信说：我心已定，不愿在外蹉跎，近日即将归来。
1951年1月，正是中国抗美援朝大军跨过鸭绿江的时候，经过费力周折，翁文灏终于由法国回到了祖国怀抱，由香港当天便转到广州，又由中共广州市委派人送他到了北京。此举引起了当时国外朝野和台湾的强烈震动。在毛选第五卷中，毛泽东曾称道翁文灏是“有爱国心的国民党军政人员。”
到家门口了，翁文灏没想到自己还回不了家门。1951年3月7日，翁文灏回到北京，因为悔过程度不到位，不能回家，直接送到王府饭店，一住小半年。直到8月反省结束，这才回到家中，与阔别二年的亲人团聚，祖孙四代合家团聚，从此定居北京，翁文灏和孙越崎俩位老朋友亦同住在同院，朝夕相见，这位国民党的前行政院长，此时，成了北京四合院中不计其数无人问津的普通小老头儿。
蜗居家中的翁文灏趁这样的赋闲时刻，写下了回忆自己一生的长诗《洄溯吟》，共有58首七律组成。其中这一首关于从政的律诗，接上了翁文灏的来自鄞州的传统文化背景：自问才非济世佳，凭何救国作安排？
梨洲学识传鄞万，恕谷殷惓胜习斋。
识力为民应致用，精研有物不虚埋。
宗邦事不须臾待，要有明光扫阴霾。
闲居期间，翁文灏运用他所擅长的地质学、古生物学、古人类学、考古学等方面的综合知识，开始研究中国古代史和人类进化史，概述人类进化发展的历史过程，从地质时代、地壳形成、一直叙述到原始人类的语言、文字、艺术，其价值在于全文贯穿着唯物史观，融会了中国古代典藉，学术观点颇具开创性，并被后来的发现所印证。
学问越做越深，生活越来越苦，翁文灏养着父亲和病妻。定居北京后已三迁其居，最后搬到一个大杂院里去了。眼看着坐吃山空，他想找个工作而不得。最为可怕的是，他发现他被剥夺了选举权。从政多年的翁文灏实际上早已不是自己想象的那样，只要学术生命就可以安身立命了。他比以往任何时候都更需要政治生命。他发现，他周围的那些当年的国民政府同事，现在在共产党政府里，照样问政议政，便自问自己为什么不可以。从香港归大陆时他曾声明政治污秽损害清誉，今后决不沾边，希望致力于教学与研究。现在才知道，他早已离不开政治了。
他被剥夺了选举权，这就好比剥夺了他的政治生命，打听之后，内心更凉了半截，原来他不属于起义者，和傅作义等人自然待遇不同。正值1954年8月，周总理托人给他带来了共产党的声音，问他还坚持他的不骂蒋介石的立场吗？他愿意对台湾进行广播吗？
翁文灏非常愿意，因为翁文灏要工作，要进行他的学术研究，更要他的政治生命，这比什么有失君子之风要重大不知多少倍。况且，新中国成立后的开端，比那个让翁文灏失望透了的蒋介石政权，不知道要清廉多少倍，他的实业救国的理想，在这个崭新的政府面前，真正露出了希望的曙光。翁文灏愿意在这样的政府里实现他的强国之梦，振兴中华的理想，他要以一个公民身份生活在自己一寸寸丈量过的土地上。
站在这样的认识立场上反省自己，自然有了不同的认识，正如他本人写的“回忆往事”一文中所说的：我先治自然科学，后来参加蒋政权，我自心的志愿却是想超然于政党之外，而始终没有争取正确的政治观点，以致受环境之支配误入歧途，不能自拔。
1954年12月4日，《人民日报》《光明日报》《大公报》同时发表了翁文灏的署名文章《沉痛追溯我的反动罪行》。中国共产党的反应何其之快，当天下午，全国政协协商下届人选，周总理就提名翁文灏并当场通过。第二天翁文灏又在各大报上发表了《在台湾的人们应速弃暗投明响应解放台湾》。第四天，各大报又刊登了翁文灏的《拒绝美国学术团体的名誉联系以抗议美国在台湾的狂妄行为》。同一天，全国政协正式通知他，他已经被当选为全国政协委员。
1954年12月20日，在全国政协会议上，翁文灏以大会发言的方式，公开表态要重新做人，报效祖国，并说：我是冒着危险又相信共产党而回到祖国的。毛泽东则握着他的手高兴地说：翁先生回来了，好啊，好啊！
立刻，一切都好起来了，月工资有了260元，是相当高的工资了。第四次搬家咸鱼翻身，一所四合院前后两进，大小16间房子。1955年1月9日，翁文灏与夫人林韵秋金婚纪念的日子就在这里进行。翁家四世同堂，其乐融融，翁文灏终于度过了人生凶险无比的政治险滩，开始了他相对平稳的晚年生涯。
归家的道路并非坦途。新中国的地质部长是李四光，和翁文灏虽然是老相识老同事，但他们在学术上的观点是不一样的，再加上翁文灏的国民政府从政生涯，以及极左思潮的影响，翁文灏对中国地质学的巨大贡献，被时代遮蔽了。
