In VLC kannst du auch das Dateiformat bestimmen. Stell das Format auf PNG, das gibt für gewöhnlich viel bessere Ergebnisse als JPG.
Die andere Möglichkeit ist z.B. in Windows 7 mit dem "Snipping Tool" unter Zubehör direkt den Ausschnitt auf dem Bildschirm markieren und als PNG abspeichern (so mach ich das immer). Oder bei älteren Windows-Versionen mit der <Druck>- bzw. <Print>-Taste eine Bildschirmfoto machen und dann in einem Bildbearbeitungsprogramm wie z.B. Gimp mit <strg>+v das Bild einfügen, ausschneiden und abspeichern. Wenn du das Video in Vollbild hattest, dann musst du noch nicht mal ausschneiden, sondern einfach ein leeres Bild erstellen, das von den Pixeln her so groß ist wie dein Bildschirm, <strg>+v und speichern.