曾经的仕宦书香之家，到了冯志沂的祖辈和父辈这两代人却命乖运蹇，长期在艰难困苦的逆境中挣扎。
祖父讳廷重，字任斋，号毅庵，乾隆五十一年（1786）中举，考职二等，拣发直隶河工署沧州州判，试用期内以“勤慎能干”获好评，补授静海县（今属天津市）主簿，虽为九品末职，总算吃上皇粮，成了朝廷命官。但遗憾的是，原配徐氏久婚不育，无奈之下，又纳了一房小妾刘氏，仍然无出。
本生祖廷谊，字宗谊，增广生员，因患羊癫病，只活了四十二岁，于乾隆五十九年去世。遗子二，长冯佶，次冯俨，就是冯志沂的伯父和父亲；其时，都不满十岁。廷重公苦于无子，接受了族长的建议，将小侄儿冯俨过继为嗣，顶门垫户。
冯廷重筮仕静海，廉俸无几，“哦松冷署，清苦异常”，然能甘守清贫，不谋富贵，唯以翰墨自娱，且为人“性伉爽，尚气概”颇孚声望。静海城内有个绅士，姓张名大昌，监生出身，祖籍山西交城县；因经常协助衙门办事，结识了冯主簿，互称老乡，一来二往，遂成通家之好。
嘉庆十七年（1812），冯廷重的嗣子冯俨二十五岁，太学刚肄业，身材颀长，文质彬彬。张大昌膝下的爱女，芳龄二十有一，仪容俊秀，举止娴雅，两家都有攀亲联姻的心愿，通过媒妁说合，很快给小两口定了亲，并在静海举办了婚礼。这年的夏秋之际，冯俨遵从父命偕妻回了代州老家过日子。
冯志沂是在父母归乡二年头上诞生的，衰门添丁，可谓阖家的幸事。相传，冯廷重为给孙子过周岁，专门从河北静海县赶回来张罗庆喜宴，炫示后继有人。
志沂的父亲冯俨，字子恭，号仲恪，参加过两次乡试，都没考中。回乡后，在州衙门当了一段时间的吏员，觉得低三下四没出息，在他三岁那年，与伯父冯佶一齐客游京师，继续求取功名，并把他娘儿俩送到静海县随祖父生活。
幼年的冯志沂，园脸蛋，宽脑门，大眼睛，活泼可爱又天资聪颖，祖父冯廷重视如掌上明珠，每看见咿呀绕膝的小孙孙，抱起来亲吻个没够，孙子刚及五岁，便开始教念《三字经》、《百家姓》、《幼学琼林》、《弟子规》之类的书籍，这些蒙学读物，三字一句或四字一句，朗朗上口，先“念口瓜”，念熟了再教《诗经》。
“我昔五龄侍祖者，口授毛诗诵朗朗”，还有“我昔六七龄，王父授我诗，一篇甫成诵，犒以枣与梨”。这是冯志沂有趣的童年记忆。
嘉庆二十四年（1819），沉沦下僚多年的冯廷重，有幸升了清河县的县丞。县丞，过去人们称佐贰，略同现在的副县长。
清河县地处冀、鲁两省交界，水、旱、蝗灾害不断，连年歉收，是个出了名的穷地方。俗话说：民以食为天。无食就会生乱，前几年，这里暴发过天理教（白莲教的一个支派）号召下的农民起义，起义的队伍大闹官府，开仓放粮，劫富济贫，其声势使“远近震恐”。
事平后，冯廷重来到清河上任，衙门的职能几乎瘫痪，知县避匿不知去向，只剩下几个衙役看守。很快地，冯廷重被委署了县事（相当代理县长），每天听断的是告发偷抢的，杀人放火的，豪强盘剥的等等刑讼案件。冯廷重经过深入民间查访，摸清实情后，公正裁决，“仅十五日，积案为之一空”。
清河任内，冯廷重拼尽全力处理县事，还是吃不消来自方方面面的压力，流民抚不胜抚，贼盗防不胜防，市井萧条，物价腾贵，实感难治，再者人已暮景，告老还乡的念头越来越急迫，硬着头皮干了二年代理县令，决然辞职，于道光初年，携眷属回了代州。
归里后，弱龄八岁的冯志沂“应童子试”被录取，入州庠——斗山书院童子班就读。
志沂之母张氏性格内向，简默寡言笑，嫁到冯家，事事都得遵循封建礼教那一套规矩做事，如：待人接物，整饬家务，侍奉公婆，尊祖敬宗等等，非常贤惠。冯老爷子的小妾刘氏，能言巧辩，嘴不饶人，尤其好刺探婢仆之间的闲杂琐事，婢仆稍有过失，就遭责骂，气头上连儿媳也不给好脸色看。
张氏为了顾全家睦，有时遭到后婆婆的数落，尽量忍让克制，以免公公不愉快，每天，早早起床，强装笑脸问安，端茶递水伺候着，如此“十年如一日”，后婆婆逐渐对儿媳产生了好感。
丈夫冯俨久客京师，前途未卜，张氏把希望完全寄托在了儿子的身上，尽管十分的疼爱，却从不娇惯，每天儿子从书院回来，总要过问所学，如果先生表扬了，她就高兴，否则打屁股，“课之甚严”。看到儿媳妇苦心教子的行为，老公公深受感动，也不顾自己年老体衰，悉心辅导孙子作诗文，有时冯志沂嫌家庭作业太多，产生了抵触情绪，廷重公就抚摸着志沂的光脑门说：“孩子，爷爷若不能教你夺科第取封诰就对不起你阿母”。
道光三年（1823）农历八月十五前夕，全家等待冯俨回家共度中秋佳节。然而，万万没想到等来的是病亡京师的噩耗；突然的晴天霹雳，惊得张氏当下昏厥了过去，家人赶快切住人中穴，才慢慢苏醒过来。
中秋节后，冯佶扶棺回到代州，停柩于城隍庙街口的五道庙内，母子俩呼天抢地号啕大哭了几天，凄厉之声“邻不忍闻”。
过了月余，邻里亲朋主动上门帮忙料理丧事，葬柩于城北祖茔。这年，冯志沂十虚岁，《诗经·小雅·蓼莪》有“无父何怙，无母何恃”。古时用怙恃借指父母，失怙就是丧父。
