吉姆·佛雷10岁那年，父亲就意外丧生，留下他和母亲及另外两个弟弟。由于家境贫寒，他不得不很早就辍学，到砖厂打工赚钱贴补家用。他虽然学历有限，却凭着爱尔兰人特有的热情和坦率，处处受人欢迎，进而转入政坛。他连高中都没读过，但在他46岁那年就已有四所大学颁给他荣誉学位，并且高居民主党要职，最后还担任邮政首长之职。
有一次有记者问起他成功的秘诀，他说：“辛勤工作，就这么简单。”记者有些疑惑，说道：“你别开玩笑了！”
他反问道：“那你认为我成功的原因是什么？”
记者说：“听说你可以一字不差地叫出1万个朋友的名字。”
“不，你错了！”他立即回答道，“我能叫得出名字的人，少说也有5万这就是吉姆·佛雷的过人之处。每当他刚认识一个人时，他定会先弄清他的全名、他的家庭状况、他所从事的工作，以及他的政治立场，然后据此先对他建立一个概略的印象。当他下一次再见到这个人时，不管隔了多少年，他一定仍能迎上前去在他肩上拍拍，嘘寒问暖一番，或者问问他的老婆孩子，或是问问他最近的工作情形。有这份能耐，也难怪别人会觉得他平易近人，和善可亲。
