Kariéru Weidmann začal při studiu v National Bank of Rwanda a následně v letech 1997 až 1999 v Mezinárodním měnovém fondu (MMF). Podílel se na tvorbě Agendy 2010 pro vládu pod vedením sociálně demokratického šéfa Bernarda Schödera.

V roce 2003 ho tehdejší guvernér Axel Weber přijal do centrální banky Německa na post analytika. Později ho doporučil kancléřce Angele Merkelové jako hlavního ekonomického poradce po jejím vítězství ve volbách v roce 2005.

Weidmann se po jmenování do čela německé centrální banky v roce 2011 stal současně členem bankovní rady ECB, která každý měsíc rozhoduje o měnové politice.

Ekonomičtí odborníci guvernéra charakterizují jako „tvrdého bankéře, který ví, co chce, ale umí dělat dohody“.

Pochází z rodiny učitelky a inženýra. Je ženatý a má dvě děti.