1928年6月4日早晨5时23分，张作霖乘坐的火车行至沈阳西北约3公里处的皇姑屯时，突发剧烈爆炸。铁路桥炸飞，张作霖乘坐的四号至七号包间被毁，专程赶到山海关迎接张作霖的黑龙江省督军吴俊升被炸身亡，张作霖血肉模糊，咽喉处出现一个很深的窟窿，昏倒在血泊中。奉天宪兵司令齐恩铭急忙把张作霖抬上汽车，由副官王宪武抱着横卧在车中，疾驰奔往大帅府。
当天“日本新闻局”发表英文版新闻材料说：“张作霖大帅乘坐的火车专列在奉天（沈阳）附近经过时，被一个衣着平常的南方人扔了一颗炸弹。两辆车完全损毁。有数人受伤，但张作霖据称只是受了一点轻伤。车上的中国保安很快向袭击者开火，但是扔炸弹的南方人还是逃脱了。”
其实，这是嫁祸于人的鬼把戏，真凶就是日本关东军司令部。据关东军高级参谋河本大作在《我杀了张作霖》一文披露：因为张作霖与日方渐行渐远，新任关东军司令官村岗长太郎决定乘南军北伐，奉军败退之际，干掉张作霖。
密不发丧
张作霖被炸断一条胳膊和两条腿，抬入帅府后，自知来日无多，便对卢夫人说：“我受伤太重，恐怕不行了，叫小六子快回奉天。”当日上午9时30分去世。
为了稳定时局和人心，奉天省长刘尚清等人决定：对外封锁死亡消息，密不发丧，专等“小六子”回来，以防日军乘机有所行动。
“小六子”是张学良的乳名，时任奉军第三、四方面军军团长，尚在京城，对父亲的死讯一无所知。而当时的军事形势极为严峻，北京危在旦夕。
6月5日，张学良闻知父亲专列被炸的消息，尚不确信，但感到事态严重，遂下令琉璃河、长辛店、卢沟桥、良乡等地三、四方面军火速向滦河撤退，安排鲍毓麟旅负责地方治安善后，连夜乘专列出京，随行的有：朱海北、罗文干、赵欣伯、杨云史，伊雅格（苏格兰人，北宁路机务处总管）和副官谭海、苑凤台等人。转天专列驶抵北仓，天色放亮。遂派伊雅格乘坐自己小汽车进天津打探消息。下午四点伊雅格返回北仓，带回了英国通讯社证实大帅被炸的确讯。张学良一方面下令专列直开军粮城，过天津站不要停留；另一方面派朱海北乘自己的小汽车，将罗文干、赵欣伯、杨云史送往天津英租界暂避，并给胡若愚写密信一封带去。朱海北抵津采购罐头、食品等物，又买了几份载有“大帅”被炸消息的英文版《明星报》速追张学良，并在军粮城会合。
剃发明志
张学良读罢报纸极度悲伤，专列开动后，即令随从理发员剃光自己漂亮的大背头，以示明志不忘。
6日，韩复榘部兵抵南苑，部队进驻南苑、通州，控制了北京局势。8日，阎锡山在保定就任京津卫戍司令，任命傅作义为国民革命军第三集团军第五军团总指挥，兼天津警备区司令。12日，傅作义仅凭一纸任命空文，率领几名随从，闯入天津警备司令部，赶走褚玉璞，说服人员归顺，接管了天津。面对败局，张学良专列抵达滦县，与杨宇霆住在大觉寺，谋划撤军事宜，留杨宇霆指挥三、四军团继续与北伐军对峙。
此时，奉天大帅府派郑谦迎接张学良。15日，张学良赴奉天奔丧。有关行程，亦有多个版本。一说：由卫队营长崔成义护送，专列直至沈阳西边门车站。一说：身着灰色士兵装，混在运货物的闷罐子车里赶回，沿途躲过日军多次盘查。还有一说：张学良乘船秘密由旅顺上陆，然后乘坐满铁汽车，在惊恐中于18日晚抵达奉天。张学良见到老父遗体，失声痛哭，国难家仇，不共戴天。