杜牧个性甚强，为人清高且傲气，故而吃亏颇多。其担任监察御史之时，分管洛阳事务。彼时曾任检校司空的李愿被罢官闲居家中，挥金若土，极度奢靡，时常召妓听曲，洛阳之名士纷纷皆往李府趋奉。
一次，李愿邀请当地名流在家聚会。因为杜牧所担任职务的原因，李愿不敢发出邀请。杜牧知道后，就托人转达愿意赴约的意思。李愿不得已而邀请了杜牧。宴会厅里，杜牧一个人坐在位子上，睁眼注视着厅里的妓女。他饮过三杯之后，问李愿道:“听说你这里有一位叫作紫云的姑娘，是哪一位啊？”李愿指着一位漂亮的艺妓给他看。杜牧凝视良久说:“真是名不虚传，值得一见。”李愿大笑，旁边的艺妓也笑了。随即，杜牧自饮三杯，起身吟诗日:“华堂今日绮筵开，谁唤分司御史来。忽发狂言惊满座，两行红粉一时回。”杜牧的气意闲逸，旁若无人，使在座的人为之一叹。
杜牧一向不拘小节，无论是在官还是隐居，从来都是我行我素。其留传的佳句颇多，如:“十年一觉扬州梦，赢得青楼薄幸名”“一骑红尘妃子笑，无人知是荔枝来”“二十四桥明月夜，玉人何处教吹箫”.....
如果不看杜牧的为官路线图，还不知道他在阳羡(今江苏宜兴)做过贡茶督造使。为皇宫供茶把关，这是个不错的职位。顾渚和阳羡都是贡茶产地，而且距离很近，几乎就属于同一片茶山。在茶还是上流社会的贵重饮品的时代，皇室及贵族几乎垄断了最好的茶山。作为贡茶督造使，杜牧要确保贡茶的质量，除了责任心强、办事认真外，至少需要懂一些茶道。我们不知道杜牧对茶有多少研究，但从他留下为数不多的茶诗看，他还真做了不少功课，
每逢采茶季节，选个春光明媚之日，杜牧邀请宾客聚会于宜兴东南三+里的茶山。杜牧和宾客们坐在茶山下的草地上，喝着酒，看着条山上来茶的村姑。因为当时杜牧身体抱恙，不能饮洒，便作诗给大家尽兴，诗中还表示只能以茶代酒。杜牧觉得这日子比在朝中做官强百倍--不用提心吊胆，不用装模作样。他的《茶山下作》说:
春风最窈窕，日晓柳村西。娇云光占岫，健水鸣分溪。燎岩野花远，戛瑟幽鸟啼。把酒坐芳草，亦有佳人携。
杜牧在宜兴督造贡茶时，曾为茶山题五言长诗，其中有"山实东吴秀，茶称瑞草魁”“泉嫩黄金涌，牙香紫璧裁”“好是全家到，兼为奉诏来。树荫香作帐，花径落成堆。景物残三，登临怆一杯。重游难自克，俯首入尘.埃”，说尽对茶山景色的留恋，对阳羡茶的赞美，对当时生活的感概。