» Лучший Backup

SSchumi

По моему лучший

Посоветуйте программу бекапа, которая умеет делать инкрементные копии папки?

Опишу задачу чуть подробнее: есть папка с большими файлами (несколько баз 1С, каждая размером по 1-2Gb, которые лежат в общей папке Proect1C). Мне нужно постоянно бекапить изменения этой папки (каждые два часа). Попробовал пару прог.. вроде все все получилось, кроме одного НО. Каждая из баз постоянно меняется (изменения небольшие, но делаются часто). Проги, которыми я попробовал делать бекапы, просто копируют такие измененные файлы целиком. Соответственно, если я делаю бекапы каждые два часа, то к концу дня размер папки с бекапами может достигать 100+ Гб.

Поэтому мне нужна прога, которые умеет делать инкрементные бекапы, и чтобы чтобы в таком бекапе хранились только изменения файлов (а не сам файлы).. ну и чтобы затем можно было через какую-то утилиту эти бекапы все-таки восстановить.

Есть такие в природе? Еще раз повторюсь: основное требование - чтобы я мог восстановить состояние папки с файлами на любой момент времени... но чтобы при этом бекап, хранящий эти "состояния", не раздулся до неприличных размеров.

suvolod
1C - это MS SQL - надо бекапить штатными средствами MS SQL чтобы сохранить целостность

У меня задача совсем другая. Все базы - файловые, причем это не рабочие базы, а "базы разработчика", т.е. я могу параллельно разрабатывать выполнять 4-5 проектов (каждый из которых требует своей базы). Плюс могут быть временные базы - залил в нее что-то, а через два часа залил другую и смотришь что в ней..

Мне нужен бекап этой рабочий папки проектов.. хотя бы длительностью в 30 дней. И с интервалом бекапов изменений каждые два часа. Потому-что, к сожалению, бывают случаи, когда у меня открыто 3-4 конфигуратора одновременно, плюс в режиме предприятия еще три-четыре окна открыты, и начинаешь теряться. В самом простом случае - просто начну писать код не в то окно. В тяжелом случае (как раз случился у меня на днях) - залил dt-файл не в ту базу, и фактически затер всю свою работу за два последних дня. Понимаю что звучит глупо.. но так вот и случилось. И бекапы вроде регулярно делаю, но вот в данном случае все некогда, все хотел кое-что дописать, не выключал комп и даже не закрывал конфигуратор несколько дней, а оно взяло и выстрелило.....

По идее, можно приспособить гитхаб, но это все-таки полуручной труд. Как минимум - нужно будет не забывать коммитить изменения. А мне хотелось бы полного автомата: я работаю не отвлекаясь, а некая прога каждые два часа фоном делает снимки моей папки.

На всякий случай - vss не подходит. Во первых, все-таки это не бекап, а во вторых - у меня папка на зашифрованном диске лежит (TrueCrypt), а vss с ним не дружит

suvolod
если вы разработчик и найдете способ забекапить открытый файл внешним средством - сообщите

XPerformer
Цитата:

забекапить открытый файл

..можно тем же cobian'ом со включённой опцией теневого копирования.. =)

---

suvolod
Цитата:

папка на зашифрованном диске лежит (TrueCrypt), а vss с ним не дружит

не ленимся и ищем где-то здесь и как-то так..
на первой же странице, возможно, оно и отыщется.. )

И все-таки, попробую еще раз сформулировать вопрос:

Подскажите программу, которая умеет создавать "правильные" инкрементальные или дифференциальные резервные копии. Т.е. такую, которая добавляет в бекап не весь измененный файл целиком, а только измененные БЛОКИ этого файла?

К сожалению, все программы бекапа, которые я до сих пор встречал, минимальной единицей архивирования считают именно файл, и именно его льют в инкрементный бекап (даже если в самом файле изменилось всего пара байтов).

suvolod

Цитата:

только измененные БЛОКИ этого файла

Угу. Сектора.

TheBarmaley TMP

Цитата:

можно тем же cobian'ом со включённой опцией теневого копирования.. =)

и дальше что с этим бекапом делать с поломанными транзакциями внутри? сказано же, что это база данных

Добавлено:
suvolod
http://www.duplicati.com/

Смотрю в строну KLS Backup. Но что-то не нравится структура созданного архива. Кто-нибудь побеждал её, чтобы внутри архива были только забэкапленные файлы и папки и ничего лишнего?

Добавлено:
suvolod
Кстати в фичах Backup4all заявлено:
Block-level Backup

Block-level backup speeds up the backup process of large files as it only back-up the modified blocks of data instead of the entire file. As an example, if you have a backup job for a large Outlook profile, whenever you receive a new email Backup4all knows to back-up only the bits of data that modified rather than the whole PST.

XPerformer
Цитата:

и дальше что с этим бекапом делать с поломанными транзакциями внутри?

хз, без понятия, но вопрос ведь стоял чем бэкап открытого файла сделать, а не о целостности БД..
а файловую эску в любом случае нежелательно быкапить "на ходу".. наступали уже на эти грабли.. и не раз.. )

TheBarmaley TMP
вопрос стоял чем бекапить базы разработчика, который часто совершает необдуманные поступки

Добавлено:
Jilted

Цитата:

Но что-то не нравится структура созданного архива.

почему? любая программа пишет служебные данные, даже архиватор, вам же это не мешает

XPerformer
Цитата:

вопрос стоял чем бекапить базы разработчика, который часто совершает необдуманные поступки

значит, я просто не совсем верно понял основную мысль:
Цитата:

найдете способ забекапить открытый файл внешним средством

потому как про защиту от дурака можно долго говорить, и софт подбирать, и методы обсуждать..
но в случае кривизны рук всё это не защитит от необратимости падения винта с бэкапом на бетон..

XPerformer
Да, думаю, на нем и остановлюсь пока.

suvolod
Differential Backups (SQL Server)

XPerformer
Цитата:

Differential Backups (SQL Server)

сугубо имхо - не поможет оно в "его случае".. т.к.:
Цитата:

The BACKUP statement is not allowed in an explicit or implicit transaction

а товарисч, как понимаю, хочет именно "на лету и без косяков".. =)
так шо тут надо сам "идеологический подход" к резервированию менять, а не тулзы перебирать.. )

Цитата:

TheBarmaley TMP

Цитата:
можно тем же cobian'ом со включённой опцией теневого копирования.. =)

и дальше что с этим бекапом делать с поломанными транзакциями внутри? сказано же, что это база данных

Добавлено:
suvolod
http://www.duplicati.com/

Спасибо за наводку на duplicaty!
Проверил - в первом приближении подходит... инкрементные архивы создаются ну просто смешных размеров - 1-2Mb при общем размере базы в 1.5Gb. Для сравнения - все другие бекаперы, включая похожую 1.5гигабайтовую базу в инкрементный архив, просто жали ее архиватором в 300Mb файл.

Проблемы с бекапом открытых баз за 10+ лет работы программистом/сисадмином у меня почти никогда не было. Ну да, это неправильно, но:

1) из моей практике - на файловых базах обычно работают от 3 до 5 юзеров, с бОльшим количеством пользователей начинаются жуткие тормоза, поэтому это такое "естественное ограничение". Эти 3-5 юзеров очень редко что-то забивают в базу "сплошным потоком", а основном сидят и выбирают данные разными отчетами, и лишь изредка проводят документы.. Это я к тому, что попасть в "свободное окно" и сделать бекап, когда никто ничего в базу не пишет - удается в 90% случаев.

2) система 1С - очень стабильная система, поэтому если даже в бекапе окажутся "поломанные транзакции", исправить эти ошибки после разворачивания бекапа можно на полном автомате стандартными инструментами системы.... юзеры даже не поймут что "что-то было". В крайнем случае, даже если гипотетически предположить, что бекап окажется "поломанным", следующий бекап (который будет делаться, например, с интервалом в 2 часа) с вероятностью в 90+ процентов окажется рабочим.

3) Для перестраховщиков - можно делать файловые бекапы ночью, а перед этим перегружать сервер, чтобы оборвать все возможные сетевые подключения к базе. В любом случае, на бекапах теперь место будет сэкономлено в разы. А это значит в том числе, что теперь я могу хранить историю файловых баз на боевом сервере не только на два месяца назад, а за целый год, например.

suvolod
Цитата:

попасть в "свободное окно" и сделать бекап, когда никто ничего в базу не пишет - удается в 90% случаев

..а меж тем законы Мэрфи утверждают, шо основной геморрой возникает именно из-за оставшихся 10%..

Цитата:

можно делать файловые бекапы ночью, а перед этим перегружать сервер, чтобы оборвать все возможные сетевые подключения к базе

..либо юзать шо-то типа этого:
Цитата:

Выгонялка пользователей для 1С 7.7, 8.0, 8.1

тогда можно делать по расписанию в любое удобное время..
ессно, согласовав оное расписание и утвердив его административно.. во избежание, такскать, воплей бухов.. )

Цитата:

на бекапах теперь место будет сэкономлено в разы

..если после прямого копирования (в промежутках) жать в 7z-архив - получится ещё более компактно.. )

Цитата:

не только на два месяца назад, а за целый год, например

в "моём" случае используется копирование с ротацией: ежедневное + еженедельное + ежемесячное + раз в год..
делается по времени с использованием vss.. общий размер годичного архива - хз, смогу сказать только на неделе..
во всяком случае, винт 500-ка за четыре года забит меньше чем на треть, при размере рабочей базы ~1-1,5 гига..
ну и плюс периодичный "бэкап бэкапа" на другую тачку.. впрочем, это уже чисто на случай "ядерной войны"..

Да.. возможно немного поторопился с Duplicati.
Второй час копаю... как я понял запуска в режиме сервиса нет, задать расписание копирования чаще, чем один раз в день невозможно, скрыть значок из трея нельзя.. А без этих возможностей использовать ее в реальных задачах не получиться.

suvolod
Есть развитие 2-я версия бета, но она ппц.... я не разобрался короче. Все настройки в конфигах...

suvolod
есть люди, которые всегда чем-то недовольны
Любую программу можно запускать как сервис, погуглите на эту тему
Интервал можно задавать - см. опция "по своему", формат не знаю, читайте доку


Цитата:

скрыть значок из трея нельзя

зачем вам вообще значок в трее. Программа дает командную строку, используйте ее в вашем планировщике

Добавлено:
и еще просто для ясности
duplicaty и duplicati - две разные программы
Мы сейчас речь ведем про duplicati

XPerformer
ну уж ты придрался... давай про duplicity поговорим тогда )))

Да, речь про duplicati. Можно конечно и в "сервис" программу завернуть, и с командной строкой, готорая генерируется gui, разобраться... но хочется чего-то простого и уже готового к работе, чтобы поставить и забыть, а не доводить напильником. В любом случае, еще раз большое спасибо - ваша наводка на эту программу для меня существенна. По крайней мере, теперь знаю что такие бекаперы существуют. И в дальнейших поисках я буду приводить в качестве примера наиболее подходящего под мои запросы софта именно duplicati, а то, глядишь, и дождусь когда зарелизят вторую версию, возможно в ней недостающием мне опции уже будут.


Цитата:

suvolod
Есть развитие 2-я версия бета, но она ппц.... я не разобрался короче. Все настройки в конфигах...

Нашел вот такое мануал: http://blog.kharkevich.org/2015/01/blog-post.html
Как я понял, gui все-таки есть, но оно реализовано не в виде отдельного приложения, а в виде web-приложения, доступного по адресу locahost:8200

suvolod
можете пояснить зачем вам сервис? почему это прямо так существенно?

ну, хотя-бы потому, что рабочие сервера обычно не имеют ни монитора, ни консольного пользователя, выполнившего вход в систему. Т.е. до автозагрузки duplicati из сеанса пользователя дело даже не дойдет.

suvolod
ясно. Мне показалось, чем идет о машине разработчика

suvolod
В гуи настроек кот наплакал )

Jilted
Цитата:

В гуи настроек кот наплакал

с гуём, каэш, веселее, но самые безглючные тулзы обычно консольные.. =)
проверено уже не раз, причём - не только на бэкапах.. )

Цитата:

suvolod
ясно. Мне показалось, чем идет о машине разработчика

Все верно.. это я просто уже в будущее заглянул . Размечтался, что смогу использовать ее не только у себя на машине, но и на рабочих серверах

Только что закончил тестирование Backup4all (подсказку на который дали на предыдущей странице).
Ну что сказать.. похожий режим там действительно есть. Это даже не отдельный режим, а чебокс-опция "use block backup" для стандартных режимов бекапа - например, того-же инкрементного. Бекап действительно получается меньше, но по сравнению с duplicaty - в разы больше.

Напомню:
Размер тестируемого файла - 1,5 Гб
Обычный инкрементный бекап получается в 280-300Мб (фактически это просто заархивированный 1.5Гиговый файл)
Backup4All с включенной опцией "use block backup" делает инкрементный бекап в 90Mb (после очередного небольшого изменения исходного файла)
Duplicati в тех-же условиях делает инкрементный бекап в 1,5 Mb... Разница, как говориться, налицо.

Плюс (имхо) не понравился интерфейс в backup4all: сделан в стиле office 2010, какой-то перегруженный и бестолковый. Дистр под 80 метров, русского языка нет, и т.д.... Короче, на роль штатной утилиты лично для меня эта программа не годиться.