По завершении игровой карьеры Мерсер чуть более года проработал журналистом и бакалейщиком. В торговлю его вовлекли родственники жены, когда он играл в "Эвертоне", а, будучи капитаном лондонского "Арсенала", он вёл свой бизнес на 105-107 Брайтон-стрит, Уоллеси. В своём кругу Мерсер остался известен под именем "футболирующий бакалейщик" (Footballing Grocer).

Джо Мерсер перенёс инфаркт в 1964, но вскоре его здоровье стало поправляться, и в 1965-1971 гг. он был главным тренером "Манчестер Сити". С первой же попытки "горожане" стали победителями Второго дивизиона. Через два года клуб стал чемпионом Англии, затем завоевал Кубок Футбольной Ассоциации (1969), Кубок лиги (1970) и Кубок обладателей кубков (1970).   

1969 FA Cup Final - Manchester City v Leicester City

1970 League Cup Final - Manchester City v West Bromwich Albion

1970 European Cup Winners' Cup Final - Manchester City v Górnik Zabrze