1905年（清光绪三十一年）12月12日，詹天佑在群众的欢呼声中，在路轨上钉下了第一颗道钉，京张铁路正式开工。首先是征购沿线所需的土地。京张线以丰台东6里的柳村60号桥为起点，丰台至柳村段，是租用津榆铁路已有的路轨。柳村至广安门外一段，是改筑津榆铁路原有的颐和园铁路的旧路基。而广安门以北的用地全部由京张铁路自行收购。一般“官地”可以“勘用”，“私产”则需要按价收购，而“衙门属地”，如学田、抄产及八旗子孙的“圈地”则须按照佃地之例付给佃价，按年纳租。从广安门到南口沿途，经常发生八旗子弟借故阻挠铁路施工之事。而且，修筑铁路的工款，也往往不能及时拨下来，延误了工期。詹天佑不善周旋于权贵之间，心中十分苦恼。
这一年，日俄战争爆发，关外炮火连天，北京城里却笙歌一片，慈禧太后挪用海军经费几千万两，修建颐和园。而劳苦大众却担负着每年4000万两的对外赔款。在此情形下，筑路经费更显短缺。詹天佑精打细算，苦苦支撑着工程继续进行下去。
1906年（清光绪三十二年）8月13日，第一段工程全部竣工通车，修筑时间还不到1年。在此期间，詹天佑还兼任沪嘉铁路顾问工程师，参加了津浦铁路、洛潼铁路的计划工作。
这一年，京张铁路总办陈昭常调任吉林巡抚，詹天佑擢升为京张铁路总办兼总工程师，会办一职由广东人关冕钧担任，同时，詹天佑坚持把他的老同学邝孙谋从开滦煤矿调来参加京张铁路的修建工作。他希望把我国有限的技术力量，充分调动起来，让每个人都能在祖国铁路建设中，发挥自己的光和热。
京张铁路第二段工程紧接着开工了，这是京张铁路工程中最艰巨的一段。从南口到岔道城，于路崇山峻岭，必须开山填壑，而且还要在地势险峻的关沟地区，在居庸关和八达岭之间，开凿出总长1645米的，居庸关、五挂头、石佛寺和八达岭四条隧道。
八达岭是这一带的最高峰，峰巅终年积雪，地层几乎全是坚硬的花冈岩。由于岩石风化，渗进了铁铝的成分，岩石呈现红色，又称为“赤岭”。明朝延庆州巡抚童恩题有“天险”二字。
在科学技术发达的今天，一千多米的隧道是算不了什么。可是对于百年前的施工条件来说，那几乎是难于逾越的障碍！
请你设想一下下面的情景：将长长的发辫盘绕在脖子上，手拿铁锤、钢钎的两个赤膊大汉，挥汗如雨，狠凿着坚硬的花冈岩石壁。当他们累得骨软筋酥时，后面的两人又顶上去，……直至岩壁上留下深达两米的炮眼，于是人们装上火药、捻子，点火！——“轰！”……当硝烟散尽，留下了一个两米多深的洞。
全长1091米的八达岭隧道，一个工作面，一天进度仅是3尺！要修成这条铁路，筑路人需要有多么大的毅力和勇气啊！
京张铁路路基由南口入山，沿着关沟——南口河谷两侧的峡谷修建。路基斜度逐渐升高，在长度为13公里的坡道上，路基每前进30尺，必须垫高1尺，直达最高的八达岭隧道口。这一段工程的进展，直接关系着整条铁路的成败。帝国主义的“预言家”们早就断言，中国人依靠自己的力量，是修不好这条铁路的。甚至有人狂妄地宣告：修筑这条铁路的中国人还没有出生呢！
詹天佑卷铺盖来到工地，他将总工程师办事处迁到了南口，专心主持筑路工程。并下定了决心，不打通隧道就不回北京。可是詹天佑不得不回北京去！因为，第二段工程刚开工，英国汇丰银行又故意拖付工款。他得回北京去伸手要钱！……
开凿隧道，不仅需要有丰富经验的工程师，还必须经过精密的测量，而且需要新式的开山机、抽水机、通风机等先进设备。可是中国人没有，詹天佑没有，当时根本就没有这些设备。一切只能靠工人的一双手。
开始勘测线路时，詹天佑已经估计到筑路经费一定十分拮据，所以隧道工程被压到最小，要开凿，也选择在山岭最狭窄处，使隧道尽可能短、平、直。
过居庸关，为了尽量使人民少受一点损失，詹天佑将铁路改道，绕道关东山麓，并为此增修大石拱桥一座，跨过山涧。
开凿居庸关隧道，詹天佑采用从两端向中点凿进的办法。工程的难度在于两端前进的方向必须对准确。他将两个开凿点和山顶一点，三点连成一直线，来控制开凿的方向。在每个开凿点配备60名工人，从两头同时开工。而炮眼的大小、深浅、方位及装药的分量都由詹天佑自己掌握。开凿过程中，由于时值雨季，加上隧道在居庸关关城之下，土石松脆，泥水直流，只得用大木方支撑，步步为营，节节前进。后来山顶泉水渗入，洞中泥泞，当时又没有排水设备，工程进行十分困难。詹天佑就带头挑着水桶去排水，继续前进。
就在第二段工程开始之后，英国、日本等国仍企图染指京张铁路，他们或造谣攻击；或“热心”建议；或兜揽生意；詹天佑一面揭露它们的阴谋，一面加紧施工。鼓励大家以最好的施工质量来粉碎它们的梦想。
正当居庸关隧道开凿不久，八达岭隧道也开始动工。由于八达岭隧道，长度3倍于居庸关隧道。所以詹天佑采用中距离开凿法。就是除了从两端开凿之外，在洞身的中部开凿一个大井，垂直向下，再向两端开凿。这样，原来两个工作面就变成四个工作面。使开凿进度大大加快。
后来，詹天佑发现洞内有煤气逸出，为了施工工人的健康，他命令在洞口架设扇风机，连接铁管，向洞内输入空气，并用手拉风箱补助之。
因为八达岭隧道较长，考虑到将来洞内检修工人的安全，所以詹天佑在隧道中，设通风楼，并每隔300英尺（约合91. 5米）在洞壁上挖一避险洞。就这样，在詹天佑的正确设计和工人、工程技术人员的集体创造下，这条闻名于世的八达岭隧道，终于在1908年（清光绪三十四年）5月22日全线打通。
詹天佑打通了居庸关和八达岭两处隧道以后，特地邀请外国工程师金达、柯克斯等人来工地参观，并为他们开了一个工地茶会。当他们乘坐专车巡视了两个隧道以后，这些英、日等国的工程技术人员不得不对詹天佑及其领导下的工人、工程技术人员所创造的业迹表示钦佩。
不久后，石佛寺、五挂头两处较短的隧道也就打通了。
4处隧道打通了，可是八达岭附近的地势又高，坡又陡，怎样才能使列车爬上这关沟的最高峰呢？直线向上，显然是不行的，一来坡度太大，不仅行车危险，而且造价也太高。詹天佑在这里充分展现了自己的聪明才智。他在青龙桥依傍山势，利用折返线的方法，建造了“之”字形轨道，列车到达青龙桥车站，改用两台大马力机车牵引，一台在后面推，一台在前面拉，把列车拉到折返点，再往上一段钢轨牵引。把通过“詹天佑钩”连成一体的列车，缓缓拽到八达岭隧道。
1909年（清宣统元年），火车已经通到怀来县。怀来河大桥是京张铁路上最长的大桥，是用7座钢梁架成的。还在第二段工程施工阶段，詹天佑已经用骡车将钢梁分别运到怀来工地，按钉成桥，没有耽误全路的铺轨工程。而且，在第三段工程中，由岔道城向北，经康庄、怀来、土木、沙城、新保安、下花园等处，因为这些地方地势相对比较平坦，所以都是钢轨铺到那里，车站就建起来。只有从下花园到鸡鸣驿矿区的岔道，虽然只有4里地，但必须沿山修筑路基，工程较难。再往前，由鸡鸣驿沿着大河过蛇腰湾、老龙背达响水铺，这一路右临羊河，左傍石山。必须顺山开凿6丈宽的通道，再用这些石块垫高河床，达六七里长的河身。为了防止河水暴涨或山洪爆发而冲塌路基，还得砌水泥砖保护。施工的艰难仅次于关沟工程。
在后两个阶段的工程中，由于地形复杂，需要建筑大量的桥梁。如果囿于外国的做法，全部采用钢梁结构，就要向欧美国家购买大量的钢材。无疑将大大提高铁路的造价。而詹天佑往往就地取材，采用中国传统的石拱桥代替钢梁结构的桥梁，不但造价低廉，而且美观坚固耐用，这也是詹天佑修筑京张铁路的特点之一。
到了1909年4月2日（清宣统元年闰二月十二日），火车通到下花园车站，离张家口仅33里；5月27日，火车开进宣化府；9月24日，京张铁路全线胜利通车。
9月19日，邮传部尚书徐世昌在詹天佑的陪同下，乘火车勘验了沿线工程。徐世昌给朝廷的勘验报告中，除了叙述京张铁路工程的修建经过，着重指出：“京张一线为我国铁路北干之起点，其居庸关、岔道城二处，汉、唐以来，历经百战，夙称天险。鸠工之初，外人每疑华员勿克胜任。迩来欧美士夫远来看视，啧啧称道，佥谓青龙桥、鹞儿梁、九里塞三处，省去洞工，实为绝技。”
京张铁路自1905年动工修建以来，第二年，第一段工程完工；1909年8月第二段工程完工；1909年8月第三段工程完工。历时4年，比预订的6年时间提前了两年。经费预算，尽管在开工的头两年，经费被裁减了，但工程没有因此停顿或减缓。经费节余28万余两。真正做到“花钱少，质量好，完工快。”
而真正可喜的是，在京张铁路的建设过程中，詹天佑言传身教带出了一支高质量的中国铁路工程队伍。这也是詹天佑多年的心愿。
京张铁路的建成，大长了中国人的志气。清政府邮传部也感到十分振奋，为庆祝中国自行设计、施工的第一条铁路的通车，邮传部批准免费将车票分送各界，票上书明：“自九月十日起，至月底止，不拘何日，得免费乘车来回一次。”在此期间，自丰台至张家口，往来客商，无论从何处上车，一概免收车票，既运送货物，亦不取车价，以留为中国自款造路之大纪念。
