爱德华·H. 哈里曼的父亲是一个一事无成的贫穷圣公会牧师，后半生在纽约一个老商业银行中做记账员。1848年，哈利曼出生，刚14岁时，父亲为他找到一份工作，给华尔街一个名叫德威特·C. 海斯（DeWitt C. Hays）的股票经纪人做杂工。大约在此时，皮尔庞特·摩根正准备进入美国商业界；安德鲁·卡内基在斯科特的指导下，从石油投机和铁路冒险中赚了第一笔钱，正在观察考虑是否要进入新的贝西默钢铁业；约翰·D. 洛克菲勒正在奠定标准石油公司的基础；比哈里曼小一岁的亨利·C. 弗里克正在普林森山（Mount Pleasant）的一个小商店跑差。
从一开始，年轻的哈里曼就表现出卓而不群的能力。他胆识过人，弗里克、卡内基和摩根的性格特征中也充分地表现出了这一特点。他很快就开始在股票中赚了点钱，迅速扩大自己的人脉关系。他与最古老的纽约家族的一名成员刘易斯·利文斯顿（Lewis Livingston）关系密切。1870年，他通过努力获得了海斯公司记账员的工作后，年轻的哈里曼花了大约3 000美元取得纽约证券交易所会员席位，他劝说詹姆士·利文斯顿和他一起进入证券经纪业（stock brokerage business），资本可以由他父亲来提供。哈里曼很快就获得了成功——在几个月内，他结束了和利文斯顿的合作关系，自己挑头成立了一个新的公司，他的兄弟威廉成为合伙人。他培养与有钱人的友谊，提高自己的社会地位，几年后，在纽约年青一代的“贵族”中，他已经颇有声望。在这个环境里，他最终与伊利诺斯中央铁路公司（Illinois Central Railroad）的人建立了密切联系，这个公司在内战前已经成立，从一开始就取得了惊人的成功。富饶的密西西比河谷土地的管理机构，很早就得到政府批准，卖了个好价钱；公司成立后不久，内战给它提供了一个巨大的商机，它避开了灾难性竞争，而这种长期的竞争曾对东西干线造成了毁灭性的打击。
一群老纽约商人修建了这条道路。尽管他们在英国和荷兰出售了5/6的股票，但对于纽约许多古老的家族来说，它是一项受欢迎的且可靠的投资（solid investment）。在19世纪七八十年代，阿斯特家族（the Astors）、戈莱特（the Goelets）、卡廷家族（the Cuttings）都是大股东。实际上，伊利诺斯中央铁路公司完全是纽约的“上流社会的铁路”。从1857年到1883年间，在威廉·亨利·奥斯本（William Henry Osborne）的直接控制和管理下，它的资产得到保值。奥斯本是一个马尼拉老商人，19世纪50年代带着财富从菲律宾回国，从他一开始做生意，就一直经营着伊利诺斯中央铁路公司。奥斯本在纽约的加里森有一个夏宫，其邻居是古老且富有的菲什家族，年青一代的成员中有一个叫史岱文森·菲什（Stuyvesant Fish）。1882年，这个年轻人成为了奥斯本的秘书；几年后，成为了铁路公司的经理。1883年，奥斯本死后，实际上铁路的管理权都转交给了他的秘书，不过几年后，菲什才真正当上了总裁。
哈里曼和菲什已经认识多年，年轻时，两人曾经一起游历过很多地方。1880年，他们都是奥格登斯堡与香普兰湖铁路公司（Ogdensburg and Lake Champlain Railroad）的董事，这是一处哈里曼一直希望控制的资产。当时，哈里曼已经在商业上取得了巨大的进展，通过在证券方面的精明贸易，积累了几十万美元。现在，他开始从单纯的经纪业转向铁路经营和金融活动中去。
伊利诺斯中央铁路公司获得了圣路易斯南部更广阔的铁路系统的控制权，即大家熟知的“芝加哥－圣路易斯－新奥尔良铁路”。史岱文森·菲什在配售债券方面也寻求哈里曼的支持。在这项工作中，哈里曼声名远扬。同时，他本人也获得了伊利诺斯中央铁路公司的大量股票，越来越成为了菲什信任的顾问。当时，还有另一个来自荷兰的大财团持有伊利诺斯中央铁路公司的股票，该公司的表决权掌控在布瓦塞万兄弟公司——某家最初在荷兰销售股票的公司——手中，他们会对公司政策进行集体投票。哈里曼趁这家公司一名成员到美国访问时拜访了他，并获得了他的信任，之后哈里曼还派自己的代理人到伊利诺斯开会。不久，哈里曼被当选为董事，在实际运作和控制铁路方面，成为了史岱文森·菲什的亲密伙伴。
事实上，这两个人在个性和举止方面截然不同。哈里曼是个矮小、斯文从容、精力充沛、凡事守口如瓶的人；而菲什是个身材高大、坦率随和、举止大方的人，他的一头金发和伟岸的身材为其在金融领域中赢得了“白象”的称号。不过，两个人一度合作得很愉快。1884年，古老的维伯西－圣路易斯－太平洋铁路公司（Wabash， St. Louis and Pacific）破产，他们购买了一部分股份；1887年，他们购买了迪比克苏市铁路公司（Dubuque and Sioux City Railroad）；在19世纪90年代早期，他们购买了（在违背了科利斯·P. 亨廷顿意愿的情况下）一系列铁路，本来亨廷顿打算用这些铁路把他的南太平洋铁路系统（Southern Pacific system）与大西洋沿岸连接起来；他们购买了圣路易斯－奥尔顿－特雷霍特铁路（St. Louis， Alton and Terre Haute）的重要一部分，这一段是乔治·福斯特·皮博特在南伊利诺斯州开发的，因此能够确保自己的铁路进入圣路易斯；他们购买了大量的小线路，1883年，他们仅拥有2 000英里铁路，到1897年，他们拥有和控制了超过5 000英里的铁路系统。
这种扩张政策并没有像许多其他线路那样给公司带来灾难。这段时期，铁路信誉高，即便在19世纪80年代早期，它也能够按照3.5%的利息出售债券，而其他信誉好的铁路公司则以5%或6%的利率募集资金。由于哈里曼坚持和发展的严格政策，伊利诺斯中央铁路公司的信用非常高。哈里曼不仅是一个单纯的银行家或经纪人，他也是一个运作铁路的实业家。他透彻地研究了铁路建设，较早采用了一个理论，即铁路管理的首要任务是保证有形财产（physical property）的品质，其次才是单纯的年利润（current profits）。因此，他管理伊利诺斯中央铁路公司时，从来没有把修路的钱拿出来分红，也从不允许路基或设备变得效率低下。他采纳的另外一个合理理念是为突发事件准备大量的资金和储备；在经济不景气时，从来不让把资产进行金融投资。即使为扩张或购买已经积累了巨额的资本，他也总是要准备出比当前需要的现金更多的现金资产。
哈里曼迅速地壮大起来，很快就有能力与皮尔庞特·摩根对抗了。1887年，在争夺迪比克苏市铁路公司的斗争中，哈里曼经过努力，击败了摩根，取得胜利。这次意外的成功被称为华尔街“十天的奇迹”。从此后以后，摩根与哈里曼结怨。1894年，哈里曼和摩根又一次刀剑相向。哈里曼拥有伊利铁路公司价值几十万美元的优先债券（underlying bonds），而摩根宣布了重组该公司（Erie Railroad）的计划。哈里曼不同意摩根对自己所持有的债券的处置办法，并付诸法律阻止这次极端的重组，最终迫使摩根让步。
到目前为止，华尔街外的人对哈里曼仍知之甚少。尽管他是伊利诺斯中央铁路公司的金融委员会的主席和背后掌有很强的权势，但与菲什相比，他仍相形见绌。直到1895年，哈里曼才步入前台。联合太平洋铁路公司证券持有人试图寻找一些强大的银行为其资产提供金融支持，却徒劳无果。由于子公司混乱不堪，联合太平公司的铁路系统正遭到令人恐慌的毁坏，一直徘徊在倒闭的边缘，难以摆脱困境。美国政府坚决要求其为最初的政府贷款还款，并支付自铁路建立30年来累积的利息。摩根放弃了重组的想法，因为他致力于恢复许多其他铁路系统，完全无法分身。哈里曼看到了机会，决定以一己之力重组联合太平洋公司，使其成为伊利诺斯中央铁路公司的子公司，并利用后者的信用为其获得必需的巨大金融支持。但这一计划还没有取得进展前，他就遭到了来自库恩－洛布公司的反对，这家公司现在变成了为芝加哥－密尔沃基－圣保罗公司、大北方铁路公司融资的银行，现在它也想重组联合太平洋铁路公司。
一场激烈的控制权的角逐战打响了。开始，库恩－洛布公司总裁雅各布·H. 席夫（Jacob H. Schiff）根本不在乎哈里曼，他坚信在纽约，除了摩根和他本人外，没有公司能够成功重组这一资产。但不久，哈里曼使其改变了主意。两个人走到一起，按华尔街的说法，把各自的牌摊在了一张桌子上。这是一次有趣的且很有说服力的摊牌。席夫与德国拥有密切的联系，以5%或6%的利率筹集到其所需要的几亿新资本；但哈里曼也不示弱，利用伊利诺斯中央铁路公司的信用，以3.5%～4%的利率筹集了一些资本。最终，席夫作出让步，与这个新的资本大鳄达成了协议。伊利诺斯中央铁路公司由库恩－洛布公司来进行重组，而爱德华·H. 哈里曼担任董事会的第一任主席，之后，还被任命为总裁。
哈里曼一跃进入了公众视线。巧合的是，一个具有重大意义的事件出现了——这些有权势的标准石油公司的资本家都对华尔街事务开始感兴趣了。
但我们也不能太过信任对联合太平洋铁路公司实施重组的人。首先，他们为一条破产的铁路支付给联邦政府4 500多万美元的现金——联合太平洋公司的所有债务，按照6%的利息计算已经累积了30年。接着，他们开始发行重组后的公司债券及优先股，并把基准利率定位在实实在在的4%。最终，经过谨慎的准备后，他们把几千万甚至几亿美元花在了穿越“美州大沙漠”这项摇摇欲坠的铁路资产上。
