Károlyi György gróf és Zichi Karolina fia. Gimnáziumi tanulmányait Pesten, az egyetemieket Bonnban végezte, majd hosszabb tanulmányutat tett Németországban, Franciaországban, Angliában, később Amerikában. 1861-ben Bereg vármegyei aljegyzővé választották. 1865-ben a főrendiház egyik jegyzője volt és a kiegyezés pártolói közé tartozott.
Miután apja 1877-ben elhunyt, annak helyét foglalta el az ország előkelő intézeteinél. Elnöke lett a jockey-clubnak és a lovaregyletnek is. Tagja a földhitelintézet felügyelő bizottságának, elnöke az első magyar általános biztosító-társaság igazgatóságának és az első hazai takarékpénztárnak
A későbbi miniszterelnök: Károlyi Mihály édesapja.
Gyulamajor Ökofarm Kft. 