徐福船队因避风来象虽是偶然，但象山优越的自然环境使徐福“隐迹两年”却事出有因。邑人何元均先生在《从天下剧变看徐福避秦东渡》一文中，提出了在当时的天下大势下，“隐迹象山是徐福的唯一选项”的新观点。因为当时南越（粤）已经有赵佗率五十万戍卒据守，北越（大越）会稽又是秦始皇的腹心之地，唯有闽中郡北隅的象山一带，才是秦始皇“帝力所不及”之地。
徐福船队离开渤海湾和山东沿海以后，南下途中，在一片汪洋中确实很难找到“仙山琼岛”。船队在进入浙江沿海特别是象山海域后，耳目为之一新。这里岛屿不断，而且青翠悦目。南宋抗元名臣文天祥在途经象山乱礁洋时，曾经禁不住赋诗赞叹此处的岛礁之美：“海山仙子国，万象画图中。”而且象山绝处海隅，三面环水，一线穿陆。整个半岛夹在象山港和三门湾之间，百里黄金海岸相绕，腹地纵深。600多个岛礁星罗棋布，自然环境无与伦比。难怪徐福称象山为蓬莱，在此挖井筑观，隐迹两年。蓬莱山下秦代古迹“丹井”尚在，徐福栖身的天然石屋至今还流淌着千古清泉。
徐福在象山隐迹，似乎已不想再寻找“仙山灵药”了。他的思想也似乎有了转变，他设想在此教养三千童男童女，播种五谷良种。他运用中原地区的先进生产工具和科学知识，筑坝抗台，发展生产。出于“方士”的本能，他也采药和丸，燃火炼丹，以便济民治疾，对外也可以声称是为秦始皇炼取“长生不死之药”。
徐福打着为秦始皇寻仙求药的幌子，遍历了象山的山山水水，他的足迹甚至到达了舟山群岛，多次往返于象山和岱山之间。但他的主要活动仍在象山蓬莱山一带，象山先贤撰文称他在象山“隐迹”两年，应当不是传说，而是信史。
无独有偶，徐福的“师兄”安期生也一度隐身象山。他在象山涂茨镇的海岛“道人山”采药，在爵溪渔村施药治病，均留下了诸多传说，象山一度因其名被称为“安化乡”（安期生羽化登仙之意）。爵溪的“游仙街”地名还在，安期生的“大瀛海”道院遗迹尚存，安期生和徐福在蓬莱山的“论道处”也准备重建。
总之，徐福和安期生在象山隐迹，主要是由象山僻远和封闭的地域特征决定的。当然，象山气候温暖，植被丰茂，山海萦绕，物产丰富的自然条件，也是重要原因。
