朱元璋为了加强封建专制主义统治，利用特务对臣民进行监视、防范。明朝的特务机构叫锦衣卫，其全称叫锦衣卫亲军指挥使司，属京卫之一，后因赋予缉查、刑狱之权，其势力日益显赫。再有其下属有镇抚司，掌理诏狱，无所不用其极，文武百官闻之丧胆，被称之为特务衙门。
追溯到1364年三月，朱元璋就仿元朝旧制设拱公司，秩为正七品，隶属于都督府。不久，又改名为拱卫指挥使司，再改都卫府；升其为正三晶衙门。洪武二年（1369年）又更名为亲军都尉府，以为亲军，并管领左、右、中、前、后五卫军士，下设仪鸾司。洪武四年（1371年），正式定仪鸾司为正五品，设大使一人，副使二人。到1382年（洪武四年），四月，设锦衣卫亲军指挥使司，设指挥使一人，正三品，指挥同知二人，从三品，指挥佥事四人，四品。其下个大字，作为座右铭。家中如有人来访，问起宫庭里的事，宋濂就指墙上的字，从不回答。连朱元璋都曾赞誉他说“事朕十九年，为尝有一言之伪，清一人之短，始终无二，非止君子，真可谓大贤。”就是这样的贤人朱元璋也会派人暗中侦察他的言行。有一次宋濂在家中请客吃饭，朱元璋便派人侦察。第二天朝罢，朱元璋便问宋濂昨日喝酒了没有，请些何人，喝些什么酒？做些什么菜？宋濂都如实地一一回答了，朱元璋得到了满意的答案，笑着对他说，你说的一点也没错，你没有骗我，说完之后，拿出一张由锦衣卫绘制的宴席座次图给宋濂看，将这位大学士给吓得出了一身的冷汗。不仅仅如此，朱元璋还经常化装私访，亲自侦察大臣们的情况。《明史·罗复仁传》记载，罗复仁原是陈友谅的部下，做编修工作，后投奔了朱元璋，被命为弘文馆学士，与刘基同位。他秉性刚直，能言敢谏，在朱元璋面前敢于直陈得失，朱元璋喜欢他耿直的性格，称他为“老实罗”。一日，朱元璋突然微服私访，来到罗复仁家。当时，罗复仁家房子破烂不堪，而罗复仁正在家中打扫房屋，自己亲自扒梯粉刷墙壁，一见皇帝驾临，慌了手脚，不知所措，忙让妻子端个小凳请皇帝坐。朱元璋见罗复仁住房如此窄小简陋，穷得可怜，很是过意不去，说：大贤人怎么能住这样破烂的房子？下令赐给一座城里的宽大宅第。后来，朱元璋微服私访，突然来到徐达家中，徐达当时病得很重，见他来了，从枕褥下抽出一把宝剑对他说，要是碰上别人，就把他杀了，以后千万小心！自此，朱元璋再也不私访功臣之家了。史书还记北平城内有个黑和尚，常出入各官门下，与各官们说些笑话，一点也不防他，还有一名和尚是江西人，秀才出身，前元应举不中，出家做了和尚，见他在城中与各官说话……！有隐下的高丽不知其数，遣文书到时，可让人把他们都送来，及那些北平、永平、蓟州、密云、遵化、及真定等处乡市旧有僧尼，全都送来。又有一名太医，江西人，前元提举，即日在各官处用事。朱元璋又指出：指挥孙苍处有两个回回，也快速押送来。
清查的非常清楚。国子祭酒宋讷有一天生闷气，面带怒色独坐，被特务发现，便偷着为他画了一张像，第二上朝时，朱元璋便问他为何生气，宋讷大吃了一惊。忙答道：有一国子监生走路太快，不慎摔了一跤，撞碎了茶具。我气恼自己有失教诲，正在自责呢。但是皇上是如何知道了呢？朱元璋把他的画像拿来，他才方然大悟。曾经在朱元璋手下做过兵部和吏部尚书的吴琳，洪武年间致仕告老还乡，朱元璋对这位已退休的官员不放心，于是派锦衣校Ⅱ前去察看，被派之人按朱元璋指点来到了吴琳的老家黄冈，远远边地就发现有一农民打扮的老人从小凳上站起插秧，被派之人前去问道：这里有一个吴尚书在家吗？老者忙停下手里的活回答：我便是吴琳，那人忙寒暄几句告辞，回来后向朱元璋做了汇报，朱元璋听了十分高兴。对于仍在朝中为官，对皇帝忠心耿耿，而且言行一贯谨慎的开国元勋，朱元璋也是备怀戒心，派特务监视。如大学土宋濂，为人一贯谨慎小心，在官中为官从不讲别人一句坏话，自己在墙壁上贴着“汤树”两载，有一老儒名钱宰，被调到京师编辑《孟子节文》，一日罢朝回公馆，闲而吟诗：“四鼓冬冬起著衣，午门朝见尚嫌迟，何时得遂田园乐？睡到人间饭熟时。”被便衣特务听到并向朱元璋报告，第二天，朱元璋在文华殿宴毕，他召集群儒，并质问钱宰说：“昨日做得好诗！不过我并没有‘嫌’你，何不把嫌改为‘忧’字？”钱宰被吓出一身冷汗，忙磕头谢罪。朱元璋没有放过他，还是遣送他回老家了，说：
“朕今放汝去，好放心熟睡矣。”可见锦衣卫的特务对借调人员监视也非常厉害。
另外，南京各部皂隶都戴漆中，诸司衙门也都挂牌额，锦衣卫派逻率阳侦察诸司得失，发现礼部皂隶白天睡觉，兵部晚上不设巡警守夜，于是把礼部皂隶的漆中和兵部门前的牌额偷偷取走，以示惩罚。礼部和兵部发现后不敢做声，从此，礼部皂隶不戴漆中，兵部门前也没有了牌额，亦成为典故了。
除此之外，朱元璋还以功臣有大勋，各赐率一百二十人作卫队，并设百户一人统领，颁有铁册，子孙得袭，称为铁册军，实际上是防止功臣有二心，特设铁册军进行监视。朱元璋把重大案件一般都交给锦衣卫处理，由自己亲自掌握。诏狱用刑也非常残酷，臣民提起都谈虎色变，同时，锦衣卫还负责巡察、缉捕京城内外盗贼的任务，缇骑也时常四出，侦察臣民活动，检校也是横行霸道，如兵马司指挥丁光眼巡街生事，遇上没有路引的行人，就捕去充军。高见贤、夏煜等人则专做告发人家隐私的勾当，连开国元勋李善长也惧他几分。可朱元璋对他们却非常欣赏说：“有这些人，好比恶狗，则叫别人害怕。”而且朱元璋还给一些缉查有功的检校升官，如毛骧从管军千户升为都督佥事，掌锦衣卫事，典诏狱；耿忠也做到了大同卫指挥使；杨宪也做到了中央中书省右丞、左丞。连和尚吴印、华克勤，也允许他们还俗做了大官。朱元璋从1382年（洪武十五年）开始，就运用这批特务、法庭和监狱，把全国的重要犯人，交给他审判和处刑。
1387年（洪武二十年），朱元璋认为锦衣卫的诏狱用刑过于残忍，同时，镇压臣民不轨妖言的任务也基本完成，于是下令焚毁锦衣卫刑具，把犯人移交刑部审理。1393年（洪武二十六年），胡惟庸和蓝玉案全部结束，朱元璋再次申明此禁，诏令京师外罪囚，不得交锦衣卫，无论罪恶轻重，全都经三法司。应该说朱元璋此举，当为一时善政，他在位期间，再也没有恢复这惨无人道的诏狱。他还使用一种和锦衣卫有关的廷权制度，凡是因进谏触怒了朱元璋的文武大臣或有过失，当廷就杖责，由锦衣卫负责。
朱元璋为了进一步控制臣民，在地方上设置巡检司，主要设在地方府州县关津要害处。设置巡检、副巡检，均为九品官。主要职责是盘查奸伪，缉捕盗贼、往来的奸细以及贩卖私盐贩和逃犯等，凡无路引面生可疑之人都在盘查、缉捕之内。朱元璋规定：“凡军民等往来，但出百里即验文引，如无文引，必须擒拿送官。并规定了处罚的具体条例。”如规定“若军、民出百里之外不给引者，军以逃军论，民以私度关津论。”许人们染指皇权，这种背景和复杂的心理不仅激化了他与丞相、功臣之间的矛盾，而且也导致了洪武朝的文化制度。
