Francisco es el primer hijo del matrimonio formado por el famoso torero del mismo nombre, Francisco Rivera «Paquirri» y Carmen Ordóñez, hija del también famoso torero Antonio Ordóñez. Francisco tiene tres hermanos, Cayetano (1977), Francisco José (1984), fruto del segundo matrimonio de su padre con la tonadillera Isabel Pantoja y Julián (1986), hijo del segundo matrimonio de su madre con Julián Contreras.
En 1998, el 23 de octubre, se casó en la catedral de Sevilla con Eugenia Martínez de Irujo, duquesa de Montoro, hija de la duquesa de Alba, en una boda con más de 1400 invitados. Es la primera vez que un torero contrae matrimonio con un miembro de la aristocracia. Al año de su matrimonio nace su única hija, Cayetana. La pareja se divorció de mutuo acuerdo en marzo de 2002. Debido a este suceso su vida en los últimos años está en las revistas del corazón, como pasó con anterioridad con su madre y su padre y sus sucesivos matrimonios y divorcios.
El 23 de julio de 2004, falleció su madre.
Estuvo relacionado con Blanca Martínez de Irujo, prima de su ex esposa. A finales de agosto se confirma la ruptura de la pareja. Pese a los esfuerzos de adaptarse a la vida de Fran, Blanca Martínez de Irujo terminó cansada del ajetreo y de las numerosas ausencias del torero.
Desde antes del verano de 2009, empezó a salir con la bailadora de flamenco, Cecilia Gómez, que hasta el mes de septiembre estuvo trabajando durante ocho años, en la famosa compañía de Sara Baras. La relación duró hasta marzo de 2010, tras nueve meses de noviazgo el torero confirmó que habían roto.
Desde agosto de 2011 sale con la abogada sevillana Lourdes Montes Parejo, sobrina política del cantante José Manuel Soto.

Blanca Suárez para Grazia
Experiencia 'orgásmica'
Video codificado Cris y Luis
Mario Casas y sus 'líos amorosos'
Mario Casas se deja querer por Macarena García