弗兰茨·约瑟夫·海顿于1732年3月31日出生于奥地利东部与匈牙利接壤的边境小镇洛劳，距维也纳约两个半小时的火车车程。流经下奥地利州与匈牙利的多瑙河支流莱塔河从小镇旁边经过，河岸两边是平坦的湿地。
作曲家就诞生在他父亲亲手所盖的小屋里。海顿家位于镇上集市的尽头处，常年有水淹的危险，海顿在世的时候，小屋就不时被洪水淹过，之后还有两次毁于洪水：一次是在海顿去世四年后的1813年，另一次是1833年。小屋在每次冲毁后都进行了精心重建，一直保存到现在，让好奇的人们得以一窥真容——这是一座房檐低矮的农舍，基本上还保持着原貌。1899年，一场火灾让房子遭受了一些损失。
不过，除了原来漂亮的茅草屋顶换成现在这种不太易燃的材料外，这座长方形立面的海顿故居仍像从前那样矗立在街边。
海顿确实出身贫寒，但家中并不缺乏温情。这是一个虔诚、俭朴、整洁的家，从狭小昏暗的房间里就能听到莱塔河潺潺的水声。
可以说，海顿一生中最快乐的时光就是在这里度过的。
海顿功成名就之后，回想起在洛劳的“年深日久反而愈加甜蜜”
的农舍生活时，心情是骄傲而不无伤感的。尽管他广受名流显贵的青睐和艺术爱好者的追捧，但从未因自己低微的出身感到羞耻，反而引以为豪。他说，他为自己“白手起家”而感到骄傲。他少小离家之后，好像很少返回洛劳，但他对出生之地始终留有美好的印象。1795年，海顿应邀回乡视察人们为他在洛劳城堡所立的纪念碑。当他来到集市边的老家时，一下跪倒在门槛上，亲吻起那片少年时代的他曾无数次踩踏过的地板。海顿立遗嘱时，又想到了洛劳。他把一部分遗产留给家乡两个最穷的孤儿，以抚育他们长大成人。
作曲家的父亲马蒂亚斯·海顿弟兄几个都是专做车轮的工匠，他本人还兼任当地教堂的司事。马蒂亚斯属于富裕阶层，尽管在现代人眼里他只能算是文盲，但还颇有几分艺术品位。他年轻时“四处游历”的时候，曾到过法兰克福，在那儿什么都学了一点儿。“他天生就热爱音乐，”他那着名的儿子说，“尽管一个音符都不识，他却能弹一手好竖琴。”他有一副男高音的好嗓子，一天的辛劳过后，他总是召集家人在一起唱歌，他自己则在一旁开心地伴奏。
海顿的父亲经常用竖琴和妻儿的歌声来举行他们的家庭音乐晚会。小海顿非常喜欢这种非正规的排练。据说他常常站在父亲身边，用一根木棍假装拉提琴，模仿村里小学老师的样子。做父亲的对儿子表现出来的这种音乐天赋感到非常高兴。他不像亨德尔的父亲那样，对这门神圣的艺术怀有荒谬的老思想，认为音乐是不体面的东西，相反，他想方设法鼓励小海顿。他梦想——哪个聪明孩子的父亲不做梦呢——有朝一日，约瑟夫会光宗耀祖；据说他和妻子一样，也打算让儿子成为神甫，尽管如此，他认为儿子那无可置疑的音乐品位经过精心培养，不但不会妨碍儿子成为神职人员，反而能有所裨益。
海顿小时候家里虽然贫穷，但家中父亲仅有的几分艺术品位都感染了他，从而使他功成名就。
