Cómo (no) te protege el modo incógnito de los navegadores

A estas alturas ya todos habremos oído hablar del modo privado o "incógnito" que ofrecen los navegadores. Aunque Safari lo implementó primero en 2005, no se generalizó hasta que lo implementaron Chrome y después IE y Firefox a finales de 2008/principios de 2009. Todos sabemos para qué sirve (por ejemplo, para usar tus cuentas en un ordenador ajeno borrando tus pistas), pero, ¿exactamente de qué te protege? ¿Cómo de privado es el modo privado?