Ums nochmal ganz deutlich zu sagen, das hier muss alles weg sein:
C:\Users\bloodsurfer\AppData\Roaming\Mozilla
C:\Users\bloodsurfer\AppData\Local\Mozilla
C:\Program Files\Mozilla Firefox
"bloodsurfer" natürlich durch deinen eigenen Benutzernamen ersetzen. Die Mozilla-Ordner können auch (je nachdem, wann du Firefox zum ersten Mal installiert hast) direkt "Firefox" heißen - trotzdem weg damit.
Lösche auch mal alle Verknüpfungen aus dem Startmenü, vielleicht ist da auch nur der Zielordner nicht mehr da und deswegen passiert nix.
Dann (erst dann!) die geladene Datei neu installieren.