flamer  Вам надо искать мощные деблокинг-фильтры, хотя чудес не ждите. Перекодировка и обработка может лишь замазать одно за счет чего-то другого. Например, можно попытаться (лишь попытаться) убрать кубики за счет ухудшения резкости или детализации. Я не спец в этих вопросах.  
Цитата: изображение идёт квадратами
  На чем идет? Снято на телефон, а смотрите на плазме? 
  Цитата: конвертации из 176х144 в 320х240
  Такая конвертация будет иметь искажения изображения. Вам либо придется добавлять леттербоксирование (черные полоски, если не хотите терять часть изображения), либо обрезать часть картинки, либо иметь искажения геометрии.   
 Как один из методов избавления от квадратов можно рассмотреть фильтр avisynth по добавлению шума 
addgrain (http://www.trbarry.com).   
 Также есть толковые ребята по фильтрам 
здесь.