赏石文化，离不开中国古典园林的形成与发展。魏晋南北朝是“文学的自觉时代”，是中国独特美学思想的形成期。士人回归自然、注重意境和生命的体认，成为风尚。
庄子说：“天地有大美而不言。”被称为山水诗创始人的谢灵运（385～433），在《山居赋》中说：“敞南户以对远岭，辟东窗以瞩近田。”这标志着当时的园林追求自然与意境的自觉。谢灵运的山居在会稽山（今绍兴）中，包括南北两山之间的大片山水，修建了两处宽大的宅居。人居山中，意在境内，是当时士人的典型心态。
陶渊明（365～427）的田园在浔阳柴桑山栗里（今江西九江西南）。他在《归园田居》中说：“少无适俗韵，性本爱丘山。”在《饮酒》诗中说：“采菊东篱下，悠然见南山。”这也是晋人山岳情结与意境追求的写照，借景成为晋人园林的特色。宋人程师孟有诗：“万仞峰前一水傍，晨光翠色助清凉。谁知片石多情甚，曾送渊明入醉乡。”清袁枚有《过柴桑乱峰中，蹑梯而上观陶公醉石》诗：“先生容易醉，偶尔石上眠。谁知一拳石，艳传千百年。”醉石是古代石文化的组成部分，尚不具有赏石欣赏的美学特质。
唐代白居易（772～846）有《中隐诗》：“大隐住朝市，小隐入丘樊。丘樊太冷落，朝市太嚣喧。不如作中隐，隐在留司官。”白居易在《池上篇·序》和《磬石铭》诗中记载：乐天在洛阳履道里的园林占地十七亩左右，园中有天竺石二、太湖石五、青石三、磬石一。酒酣琴罢，乐童合奏，“曲未竟，而乐天陶然石上矣”。“中隐”思想在中晚唐被普遍推崇，园林是实现理想的重要场所。有唐一代，在洛阳就有裴度的集贤里、牛僧孺的归仁里、李德裕的平泉山庄、白居易的履道里等著名园林。这些园林一改前朝借景手法，将山岳化为奇石，成为园中的景观。唐代的赏石以大中型为主，小巧奇石偶尔有之，不占主导地位。
宋代的园林发展日臻完善，园中不但有独立的奇石，叠石缀山也蔚然成风。大者如赵佶在汴梁的艮岳，小者如苏舜钦在姑苏的沧浪亭，都是意韵深隽的盛景。与此同时，南唐至两宋文房日趋精致完善，几案清玩也成为文人珍藏的必备之物，小型赏石显著兴盛起来。宋孔传《云林石谱·序》中说：“虽擅一拳之多，而能蕴千岩之秀。大可列于园馆，小或置于几案。”南宋赵希鹄《洞天清录集》说：“怪石山而成峰，……可登几案观玩，亦奇物也。”宋李弥逊《五石》序云：“舟行宿泗间，有持小石售于市者，取而视之，其大可置掌握。”《宋稗类抄》记载：米芾守涟水，玩石成癖。时杨次公杰为察使往视，米氏左袖中连出三石，杨氏径取而去。石之小巧可爱以至如此。苏轼《文登蓬莱阁下》说：“我持此石归，袖中有东海。”苏轼《怪石供》中说：“得石二百九十有八枚，大者兼寸，小者如枣、栗、菱、芡。其一如虎豹，首有口鼻眼处，以群石之长。”此外，石质的研山、山子也日益增多，成为文房之中不可或缺的石玩。
赏石进入文房之内，几案之上，改变了以往园林赏石的从属地位。由宏大而趋小巧，赏石审美取向更加丰富，赏石趋向精致秀美。陆游《寄题李季章侍郎石林堂》说：“侍郎筑堂聚众石，坐卧对之旰忘食。千金博取直易尔，要是尤物归精识。”两宋以降，精美的掌中奇石进入文房之内，占据了赏石的重要位置。
晚明的政治黑暗和文人士大夫思想的个性解放，与魏晋风流颇有契合之处。晚明时期，江浙一带的城市商业经济空前发达，文化极度繁荣。同时，仕途的闭塞使士人不复他想，王阳明的心学使士人更加关注生命的体认。社会的世俗化使文人与能工巧匠融为一体，共同创造了晚明的精致生活和精致文化。
格心与成物构成晚明最精彩的景象。晚明生活的日渐精致和器物的小巧趋向，使各项艺术空前繁荣，大师巨匠层出不穷。文彭的印石，开一代印论之先河；供春的紫砂壶，被誉为陶壶鼻祖，大彬壶也成为旷世奇珍；子冈玉技艺空前绝后；朱松邻三代人的竹雕镂刻精妙；黄成的漆雕功力超凡，并有《髹饰录》传世；永乐、宣德的青花瓷和嘉靖、万历的五彩瓷都达到炉火纯青的境界；明式家具几成中国家具艺术的代名词。明张岱在《陶庵梦忆》中说：“以竹与漆与铜与窑名家起家，而其人与缙绅列坐抗礼焉。”
计成的《园冶》，是中国古典造园思想的集大成者。文震亨的《长物志》，可称为文房清玩和众多雅物的百科全书。林有麟的《素园石谱》，将古往今来赏石文化熔为一炉。这些名士是赏石精致化的巨力推手，以至构成晚明赏石的辉煌。
清于敏中《日下旧闻考》记载：“乐寿堂前有大石如屏，恭镌御题青芝岫三字。”该方巨石使明代米万钟（1570～1628）声名显著。其实，米氏向以收藏精致小巧奇石著称。现存故宫博物院的蓝英《拳石折技花卉》题：“丁酉花朝画得米家藏石并写意折技计二十页。”由此得知，这众多数寸巧石，皆为米万钟珍藏。明闽人陈衍《米氏奇石记》说：“米氏万钟，心清欲澹，独嗜奇石成癖。宦游四方，袍袖所积，惟石而已。其最奇者有五，因条而记之。”文中所记五枚奇石：“两枚高四寸许、壹枚高八寸许、两枚大如拳，皆小品也。”
明代的江南园林，变得更加小巧而不失内涵的志趣和写意的境界，追求“芥子纳须弥”式的园林空间美。明末清初《闲情偶记》的作者李渔的“芥子园”也取此意。晚明祁彪佳的寓山园中，有“袖海”、“瓶隐”两处景点，便有袖里乾坤、瓶中天地之意趣。计成《园冶·掇山》中说：“多方景胜，咫尺山林……深意画图，余情丘壑。”亦为如是。
晚明文房清玩达至鼎盛，形制更加追求古朴典雅。明屠隆所著《考槃馀事》记载有45种古人常用的文房用具。明文震亨在《长物志》中列出49项精致的文房用具。精巧的奇石自然是案头不可或缺的清玩。因几案陈设需要精小平稳，明代平底横列的赏石和拳石则更多地出现，体量越趋小巧。晚明张应文《清秘藏》记载：“灵璧石余向蓄一枚，大仅拳许，……乃米颠故物。复一枚长有三寸二分，高三寸六分，……为一好事客易去，令人念之耿耿。”晚明高濂《燕闲清赏笺》说：“书室中香几，……用以阁蒲石或单玩美石，或置三二寸高，天生秀巧山石小盆，以供清玩，甚快心目。”
晚明精致赏石的繁荣，与江南士子的文化浸淫密不可分。明王士性《广志绎》说：“姑苏人聪慧好古，又善操海内上及进退之权。其赏识品第本精，故莫能违。”精致赏石勃兴在晚明江南，弥漫及四海内外，绵延至后世今朝。清供于轩斋之中，珍藏于几案之上，摩挲于掌握之间。成为有序之传承、情操之寄托、理念之取向。
