Lavora come venditore per la Daimler-Benz e gli viene concesso di gareggiare durante i fine settimana a patto che la corsa si svolga a poca distanza dall’agenzia di Dresda presso la quale lavora. Vince la sua prima gara a 22 anni e riesce a convincere il direttore della Daimler a concedergli una vettura ufficiale da gara con la quale fa il suo debutto al Gran Premio di Germania di Avus. Il venticinquenne pilota inizia la più importante gara della sua giovane carriera nel peggiore dei modi: alla partenza gli si spegne il motore. Il suo meccanico Otto Salzar viene spedito in pista per far partire l’ormai solitaria Mercedes e dopo qualche tentativo la macchina si riavvia! Partire dal fondo in una gara con 44 vetture non era certo quello che Caracciola aveva in mente. Subito inizia a piovere e molte vetture cominciano ad andare fuori pista tra le quali una che travolge un box di cronometraggio uccidendo il commissario di pista.

I 500.000 spettatori presenti rimangono stupiti quando lo speaker annuncia che un nuovo pilota, un giovane completamente sconosciuto, ha preso la testa della gara. Ma questa posizione dura poco dal momento che la sua Mercedes comincia a perdere i colpi. Caracciola rientra ai box ma, a causa della pioggia, molti piloti si sono fermati e non c’è nessun meccanico disponibile: Caracciola apre il cofano e comincia a verificare le otto candele una per volta. Quella incriminata è, naturalmente, l’ultima ma, a vederle tutte, sembrava tutto perduto. Caracciola non si lascia abbattere e, sistemata alla meno peggio la situazione, decide di ripartire spinto anche dal senso del dovere verso la fabbrica per la quale lavora che gli ha dato la fiducia. Al 13° giro smette di piovere e Caracciola, senza sapere bene in che posizione si trova, va sempre più veloce. Dopo aver guidato allo spasimo per oltre tre ore per una distanza complessiva di 391km taglia la linea del traguardo allo stremo. Solo in quel momento sa di aver vinto il primo Gran Premio di Germania.

Caracciola diventa famoso in tutta la Germania guidando le leggendarie SSK bianche della Mercedes ed è rinomato per le sue prodezze nelle gare sotto la pioggia. Nel 1929 agguanta una delle sue più grandi vittorie al Tourist Trophy in Irlanda del Nord. Corre contro la scuola dei grandi piloti della Gran Bretagna tra cui Bentley e Tim Birkin e, partendo con un handicap di cinque giri, vince la gara sotto un furioso temporale. La sua vittoria alla Mille Miglia del 1931 non verrà più eguagliata da un pilota non italiano fino al 1955 con Stirling Moss.

A quei tempi la posizione di partenza di questa mitica gara veniva decisa con un’estrazione al Gran Premio di Spagna. Caracciola avrebbe voluto partire dall’ultima fila; era infatti il suo marchio di riconoscimento quello di prendere la testa della corsa il più in fretta possibile, ma questa volta la cosa diventa un po’ più difficile. Viene dato il via e Caracciola arriva velocissimo alla prima curva: confondendo la posizione dei pedali tra la sua macchina da Gran Premio e quella da turismo, schiaccia l’acceleratore al posto del freno. Il leader della corsa vede questo pazzo arrivare di gran carriera dietro di lui e non può far altro che lasciargli strada: invece di uscire alla prima curva, agguanta subito la testa della corsa!

Il 1935 è un anno speciale che lo vede rientrare nel mondo delle corse dopo aver sofferto a lungo sia a causa dei postumi di un brutto incidente, sia per la morte della moglie, Charly, rimasta travolta sotto una valanga. Ancora zoppicante torna alla vittoria nel Gran Premio di Tripoli dove fa una gara leggendaria. Quello è l’anno che lo vede Campione d’Europa.

L’anno successivo vince il Gran Premio di Monaco ma la stagione è di Bernd Rosemeyer e della sua Auto Union. La Mercedes torna grande nel 1937 e Caracciola è nuovamente Campione d’Europa. Nel 1938 vince la Coppa Acerbo a Pescara ed il suo terzo titolo. La carriera di Rudolf Caracciola viene seriamente minata da dolorose ferite alle gambe a seguito di incidenti e, più avanti, da problemi cardiaci; nonostante ciò continua a vincere molte gare.

La battaglia con Bernd Rosemeyer e l’Auto Union termina durante il record mondiale di velocità con la tragica morte di Rosemeyer.

Durante la seconda Guerra Mondiale vive in esilio a Lugano in Svizzera.

Al termine della guerra il suo amore per le corse è ancora vivo e continua a correre nonostante i continui problemi cardiaci. Muore nel 1959 all’età di 58 anni.