9月27日，日本政府派出了由外务省，公安调查局等官员和法医，DNA鉴定专业的专家11人组成的调查团，到朝鲜进行实地调查，其中包括与生存者见面、验明正身、调查死亡者的死因和察看他们的埋葬地点等。对于在朝鲜死亡的5名日本人，应日方的要求，朝方提供了包括骨灰在内的遗留品的调查结果。谁知日方竟称朝方提供的调查结果中存在诸多疑点，如数名被绑架者死亡日期和地点相同，朝方提供的死难者遗骨经不起DNA检测等。
为了协调政府内部的行动，日本政府内阁成立了关于解决绑架问题的专门干事会，由安倍晋三任议长。从此，日本政府有关绑架事件的决定大权就落入安倍晋三官房副长官手中。我们可以明显看到，从那以后朝日关系江河日下，原有的一些关系改善势头也全部都被扼杀了。
在越来越高的反朝声浪中，10月15日，按照朝日会谈的约定，日本政府专机又一次直飞平壤，迎回了5名“被绑架”生存者。安倍晋三虽然没有搭专机到平壤去迎接，但是他与绑架家属一起，在东京羽田机场停机坪等候专机返回。
这是朝日双方政府协议确定的项目，这5名“被绑架者”是短期回日本探亲的，日本政府也明确说是回国探亲10天左右。日本外务省《关于被朝鲜绑架日本人问题》的小册子上至今还明确写着：“绑架受害者5人回国探亲”。在这5人来日本的前一天，安倍晋三还和家属见面，告诉他们“5个人在日本大约住两星期，27日再用专机将5个人一起送回朝鲜，顶多延长1天。”至少可以说明日本政府，或者说是安倍晋三在邀请绑架受害者回日本之时，还是愿意遵守日朝政府间协议的。但是，5个人回到日本后，有人担心国民会觉得绑架事件就此解决了，安倍晋三也在当天的记者会上强调“绑架事件没有落下帷幕，这只是第一步，还有第二步，第三步。”在以“家属会”，“救援会”为代表的政治势力和以安倍晋三为代表的强硬派势力的主导下，日本政府开始谋划留住这5个人。关于当时的情形，安倍晋三在他的《美丽的日本》一书中是这么描写的：“10月23、24日，在我的官邸办公室里连续商讨了两天，大家讨论了很多问题……最后是我做出决断，作为国家意志，不让这5个人返回。这一方针立即得到了小泉总理的赞同，成了政府的决定。”这里他隐瞒了一个重要情节，围绕这一问题，他与自己的顶头上司官房长官福田康夫发生了正面冲突。10月24日，当福田康夫得知安倍晋三准备以政府名义对外宣布不让这5个名探亲者返回时，就急忙把他叫来，当面质问他：“你有什么权力这么做？”但是，安倍晋三告诉他说，小泉首相已经同意了。福田康夫只得认输。
安倍晋三安排由“家属会”首先发难，向政府要求：“不把这5个人送回朝鲜，”理由是：“一旦返回平壤，什么时候再能来日本就没有保证了。”政府再次以尊重民意为借口，正式宣布将这5人留下。然后，安倍晋三和专门负责绑架问题的内阁参事中山恭子一起，对归国者进行挨家挨户的走访，做工作，名为听取他们的意见，实际上是施加压力，迫使他们自己说出不愿返回朝鲜。这5个人都是有家的人，孩子还都留在朝鲜，有的出来时连到哪去都没有告诉孩子，他们当然希望能按计划回去与孩子团聚。看到这一情况，安倍晋三又提出如果回日本永住，政府将为他们解决就业、就学、住房问题，还提供包括厚额生活援助金在内的援助，进行进一步说服。在家属和政府的说服和动员下，5名受害者终于被打动了，同意将孩子接到日本来团聚。
尽管朝鲜方面坚持认为，应该按照政府间协议，将这5名探亲者送返朝鲜，然后再让他们举家迁居日本。但是日本政府已经铁了心了，安倍晋三抓紧召开解决绑架问题的专门会议，商量对策。安倍先后说服了福田康夫官房长官和小泉首相，决心不惜中止日朝恢复邦交的谈判，也不让这5个人按期返回。其公开的理由是“为给这些绑架受害者，包括他们留在北朝鲜的家属创造一个能自主决定的环境”。并要求朝方立刻归还其在朝家属，严惩绑架凶手。
将这5个人留在了日本，满足了一部分极端民族主义分子的虚荣心，却导致日朝关系重陷僵局，朝方指责这是“违反协议”。原定于当月底在吉隆坡举行的第12次双边关系正常化谈判也因此而破裂。而日本政府明知自己理亏心虚，却反唇相讥“绑架才是重大的违反国际公约的做法，朝鲜没有资格指责日本违反协议”。小泉访朝打开的日朝建交谈判机制中途搁浅，《朝日平壤宣言》也成了一纸空文。另外，2001年10月美国特使凯利访朝，朝鲜半岛核危机从此升级，作为美国重要盟国的日本的对朝态度也随之陡然变脸。
随着朝核问题的再次出现以及美朝关系的日趋恶化，日本政府以及日本舆论对朝鲜的态度发生了很大的变化，他们利用绑架事件大做文章。人们在日本舆论中看到的是朝鲜的确是一个不折不扣的“邪恶轴心”国家。日本国内一些人却将日朝邦交正常化进程陷入僵局的责任完全推给朝鲜，并不断煽动反朝情绪。媒体上出现大量的丑化朝鲜的宣传，右翼团体的反朝声势更是日益高涨，这使得日朝关系进一步跌入低谷。
反朝、排朝、对朝不信任成为日本对朝鲜社会舆论的主流，日本出现了“妖魔化朝鲜”的局面。极右的政治势力更是借机大做文章，宣扬对朝采取经济制裁等强硬政策。同时由“绑架问题”受害者亲属组成的民间组织和支持这一组织的议员联盟则提出了远远超过这个数字的受害者名单，并且坚持认为朝鲜政府认定死亡了的人，并没有死亡，肯定还活着，还无中生有地说什么：“有人看见横田惠在平壤的超市购物等。”要求朝鲜政府立即将他们交出来。除此之外，还有一份更大的“可能被绑架者名单”。究竟朝方给出什么样的答复，才算是“完全解决绑架问题”，连日本政府内部都没有一个统一的看法。
日本政府称“朝鲜对于日本的制裁措施加强了反抗，很有可能实施包括恐怖袭击在内的对日危险行动”。为此制定了《保护国民法》，《武力攻击事态法》等“有事7法案”，阉割了《日本国宪法》中关于“永远放弃以国家权力发动的战争、不使用武力或武力威胁作为解决国际争端的手段”的原则，完备了日本国内的战争立法，为成为军事大国确立了法律依据。同时也限制国民的自由，强迫国民服从国家的战争动员需要。另外，日本政府2004年度开始建立导弹防御系统。日本政府声称，建立导弹防御系统是为了防御朝鲜已具备实战能力的“劳动”中程弹道导弹的袭击。日本的《防卫白皮书》，连年提出日本面临的两大威胁是恐怖袭击和大规模杀伤性武器与弹道导弹的扩散，提出将彻底改革防卫力量装备体系，将参与“国际活动”作为自卫队的基本任务。
