前凉的独立是一个逐渐的过程，最早始于张轨出任凉州刺史（凉州的主要区域就是今天甘肃省西北部和宁夏回族自治州）。张轨出身于凉州当地的汉人，年轻时得贾南风宠臣张华的欣赏，在九品中正制的选官系统中获得了较高的评价，后来累官至散骑常侍、征西军司。晋惠帝后期，张轨见天下大乱，心生保卫家乡的想法，于是向朝廷请求去做凉州刺史。晋惠帝永宁元年（301年）朝廷任命张轨为凉州刺史，此时的凉州盗匪猖獗，同时还有河西鲜卑（鲜卑拓跋部一支）的威胁。张轨到任之后广聚贤才，招揽了宋配、汜瑗等名仕入幕。很快张轨便铲除了境内的盗匪，并派遣宋配征讨河西鲜卑，宋配斩鲜卑贵族首领若罗拔能，俘虏十万余人，张轨一时名声大噪，朝廷为其加官进爵。稳定了凉州的局势后，张轨开始营建姑臧城（甘肃武威），此城本是匈奴人所建的一座小城，张轨将其扩建加固，自此之后前凉、后凉、南凉、北凉、大凉、温末、六谷吐蕃、西夏等数个割据政权在此建都，所以如今的武威有塞北六朝古都的美称。
永嘉元年（307年）秦州（甘肃东南部）发生内乱，张轨派汜瑗领兵入秦州，叛乱者见张轨发兵立即就投降了；次年王弥进攻洛阳，张轨派兵阻击，连败王弥、刘聪等人，晋怀帝对其加以褒奖。没多久张轨得了中风，便让儿子张茂代他行使刺史的权力，但是却引起了凉州大族出身的张越的觊觎。张越联合自己的哥哥酒泉太守张镇和西平太守曹袪准备取代张轨，他先报告朝廷说张轨身患重病已经无法担任凉州刺史了，他建议由秦州刺史贾龛兼任。贾龛以为这是好事，但是被人劝说：张轨是凉州的霸主，你想去接他的位子，不是自己找死吗。贾龛于是作罢，后来张镇和曹袪有联名奏请让张越为凉州刺史，此时恰好张轨的长子张寔从京城回来了，于是张轨便让长子领兵讨伐张镇和曹袪。张镇后来被人劝住向张寔投降，曹袪最终也被张寔斩杀，始作俑者张越逃到了邺城躲了起来。自此张家在凉州地区以无人能治，凉州就成了张家的私产。
永嘉之乱后司马邺以皇太子身份暂领国家，张轨有拥立之功，建兴二年（314年）司马炽加封张轨为太尉，西平郡公，因张轨年纪大了同时还册封了张寔为凉州副刺史，于是从法理上肯定了张家在凉州的割据地位。同年张轨去世，其子张寔继任为凉州刺史、西平公。建兴四年（316年）刘曜发兵长安，张寔派军援助，晋愍帝司马邺册封张寔的弟弟张茂为秦州刺史（大概只是个虚职）。后来长安城破司马炽被俘，从宫中逃出二人，说是司马邺有诏书，要琅琊王司马睿继位，并且封张寔为凉州牧（比刺史更高一级的官位，但是实际上此时刺史一职已经是一州的首长了）。张寔一面派兵进攻汉赵的军队，一面派人南下去给司马睿报信，可是当张寔的人到了建康见到司马睿时，人家早就已经晋位晋王了（前面我们说过弘农太守宋哲已经干过这事了），张寔见自己没捞到功劳，于是便不再跟司马睿他们一起玩了，司马睿定的年号他也不用（我们还是用司马睿的年号来表述），坚持用司马邺的建兴年号（不承认司马睿的领导，就是算独立了）。
太兴三年（320年）凉州来了个妖人刘弘，蛊惑民众推行邪教，张寔的手下两个亲近将官阎涉、赵卬是刘弘的同乡和信徒，刘弘对阎涉、赵卬说：上天送给了我一方玉玺，看来是非要我在凉州称王啊！阎涉、赵卬二人顿时纳头便拜，并联合了张寔身边十多人要杀掉张寔，让教主上位。此事被张寔的弟弟张茂知道了，张茂通知了张寔，张寔便派人去逮捕刘弘，可是派去的人还没到刘弘那里，张寔就被杀了（张寔没有准备？会不会是另外的人干的）。
张寔死后其子张骏年纪太小，属下们便推举张茂人凉州刺史、西平公，张茂立侄子张骏为世子。永昌元年（322年）张茂派人夺取了陇西、南安等地区设立秦州，张家的地盘进一步扩大。
晋明帝太宁元年（323年）汉赵皇帝刘曜亲自率军征讨凉州，凉州一片慌乱。刘曜这边深知自己的军队是强行整合的，没有多少战斗力，并且还是劳师远征，所以他便屯兵黄河岸边，以大军威压张茂。张茂不敢过河于刘曜对阵，所以便派人向刘曜称臣，并送上珠宝牛羊无数。刘曜要的也就是这个效果，便接受了张茂的降书，封张茂为凉王，加九锡（又有人加九锡了）。
张茂被刘曜大军吓得不轻，于是回家后拼命的加固姑藏城，修筑防御工事。太宁二年（324年）张茂病逝，临死前对世子张骏说：我的官职都不是正经朝廷册封的，死后就不要以官袍入殓了。张茂死后，属下们便拥戴张骏为凉州牧、西平公（坚持用晋王朝的官职），后来刘曜派人来吊唁张茂，册封张骏为凉王。
张骏继位之后一心还想着做晋臣（当然也是听调不听宣的那种），他还派使节带信给蜀中成汉的皇帝李雄，劝他去掉皇帝的尊号，两人手拉手去做晋臣。李雄虽然没有去尊号，但是双方自此使节来往不断。晋成帝咸和二年（327年）后赵石勒大败汉赵刘曜，张骏立即去掉刘曜册封的凉王等一系列称号，复称晋朝的凉州牧、西平公等。330年刘曜被石勒所杀，汉赵灭亡，张骏趁机收复黄河以南的区域，并派兵驻守，于石勒的后赵对峙。张骏后来又派人从蜀中借道去建康上贡，东晋朝廷也派使者前往凉州册封张骏。张骏做的这一些列举措都是为了让自己能站在大义这边，让百姓以为凉州地区还是汉家的朝廷辖区，那么西北地区流亡的汉人自然会优先选择去凉州避难。张骏在位期间对外战事不多，对内安抚流民百姓，恢复生产，后来张骏还向西拓展，开发如今的新疆区域，征服那里的少数民族，凉州的实力逐渐壮大。晋穆帝永和元年（345年）张骏自称大都督、大将军、假凉王，开始设置百官。次年张骏去世，世子张重华继位，前凉的实力在张重华时期达到顶峰，永和五年（349年）群臣拥立张重华为凉王。四年后的353年，张重华病逝，其幼子张曜灵继位，张骏庶长子张祚篡位，前凉自此陷入内乱，国力渐衰，后来被前秦所灭。
