無理です。サイズを小さくすると画質が落ちます。
サイズを小さくするならMPEG4変換や低画質MPEG1変換、RealMedia変換などがありますがどうしても画質は犠牲になります。
どのようなキャプチャユニットを使っているのか書いていませんが、TV視聴録画ソフトの録画設定からビットレートを落とすのが"画質があまり変わらずに容量を小さくする"という目的にマッチすると思います。