徐福在遍历了中国东南沿海各地之后，最终找到了象山这块风水宝地，并挖井筑观，开始了隐迹炼丹的行动，照理说他不应当很快离开象山。但两年后他最终率船队离象而去，究竟出于什么原因？
根据慈溪徐福研究会的20年探索，确信秦始皇在第五次东巡时，在渡过钱塘江，到会稽祭大禹陵以后，他曾经到过慈溪达蓬山千人坛祭天。古籍《越绝书》也记载，秦始皇确实到过浙东槿山头（古贸县、原宁波鄞县）。秦始皇一行到达离象山只有一港之隔的县，徐福在象山有几千人的船队的行踪，自然不可能不为秦始皇手下人所闻。徐福个人尽管行迹诡异，下人无法完全知晓，但他徒众数千人，衣食住行包括采购粮食物资，行踪不可能不为人知。在秦始皇的盛怒之下，徐福很难不被查处。
在万般无奈之下，徐福只好硬着头皮去见秦始皇。他在象山隐迹的愿望已经破灭，此处已经不是“帝力所不及”的理想隐迹之处了，但他带着船队另觅栖身之所的宏图大略犹存。为了家人和船队的安全，徐福三见秦始皇时，几乎是“只身闯关”了。
徐福在第三次面见秦始皇时，虽有“大鲛鱼作祟”的说辞，但“所费巨糜”、“旷日持久”两条罪名足以使他身首异处。后秦始皇梦见自己“与海神相搏”的巧遇，以及秦始皇船队居然也在芝罘海域亲见“大鲛鱼”出没及被射杀的情景，再一次解救了徐福。秦始皇不但放走了徐福，还破例答应为徐福船队拨付武士，装备强弓硬弩。
公元前210年夏秋之际，徐福最终集结船队，扬帆出海。
宋嘉祐八年（公元1063年），象山县令林旦在公务之余，曾在象山蓬莱山上赋诗：“采药东瀛去，扁舟竟不还。黄金成海外，故井独人间，乳滴岩花润，苔封石字斑。空令千载后，犹复望三山。”感叹的就是徐福由此东渡日本的史实。
