Il punto esclamativo (!) è un segno di chiusura forte della frase, e dopo si procede con l’iniziale maiuscola. Tuttavia, in casi sporadici, quando il discorso continua, o il punto esclamativo fa parte di un inciso, si può anche scegliere di continuare in minuscolo e di non “spezzare” la frase:
“– Oh! suggerire a lei che sa di latino! – interruppe ancora il bravo, con un riso tra lo sguaiato e il feroce” (I promessi sposi).
In linea di massima, però, è bene evitarlo.
Per gli altri dubbi sul segno “!” → Il punto esclamativo.