Архив метки: backup

Бекап в dropbox

Опубликовано автором
Ответить

Рассмотрим случай, когда панели типо ISP manager или Vesta не используются или по каким-то причинам резервные копии необходимо делать другим способом.

Будем использовать backup-manager
установка для centos

yum install backup-manager
# Debian, Ubuntu
apt-get install backup-manager

далее редактируем файл /etc/backup-manager.conf

export BM_DAILY_CRON=»true» # запуск ежедневно
export BM_REPOSITORY_ROOT=»/var/backup-manager» # директория хранения бэкапов
export BM_TEMP_DIR=»/var/tmp» # временный каталог
export BM_REPOSITORY_SECURE=»true»
export BM_REPOSITORY_USER=»root»
export BM_REPOSITORY_GROUP=»root»
export BM_REPOSITORY_CHMOD=»770″
export BM_ARCHIVE_CHMOD=»660″
export BM_ARCHIVE_TTL=»5″
export BM_ARCHIVE_FREQUENCY=»daily»
export BM_REPOSITORY_RECURSIVEPURGE=»false»
export BM_ARCHIVE_PURGEDUPS=»true»
export BM_ARCHIVE_PREFIX=»$HOSTNAME»
export BM_ARCHIVE_STRICTPURGE=»true»
export BM_ARCHIVE_NICE_LEVEL=»10″
export BM_ARCHIVE_METHOD=»tarball-incremental mysql» # копии файлов и дампы баз данных MySQL
export BM_TARBALL_NAMEFORMAT=»long»
export BM_TARBALL_FILETYPE=»tar.gz»
export BM_TARBALL_DUMPSYMLINKS=»false»
declare -a BM_TARBALL_TARGETS # ниже указываем необходимые директории
BM_TARBALL_TARGETS[0]=»/etc»
BM_TARBALL_TARGETS[1]=»/var/www»
BM_TARBALL_TARGETS[2]=»/home»
BM_TARBALL_TARGETS[3]=»/root»
export BM_TARBALL_TARGETS
export BM_TARBALLINC_MASTERDATETYPE=»weekly»
export BM_TARBALLINC_MASTERDATEVALUE=»1″
export BM_MYSQL_DATABASES=»__ALL__»
export BM_MYSQL_SAFEDUMPS=»true»
export BM_MYSQL_ADMINLOGIN=»root»
export BM_MYSQL_ADMINPASS=»SeCuRePaSsWoRd» # пароль к MySQL
export BM_MYSQL_HOST=»localhost»
export BM_MYSQL_PORT=»3306″
export BM_MYSQL_FILETYPE=»bzip2″

Теперь мы можем проверить, что backup-manager успешно создает архивы данных. Запустим его из командной строки и проверим результат:

# backup-manager -v
/var/backup-manager/server.itldc.com-etc.20140416.master.tar.gz: ok (9M, 80933e817bf70aa079ddb7515698e25e)
/var/backup-manager/server.itldc.com-var-www.20140416.master.tar.gz: ok (1M, 0aae02715773e09298f7fd26e3d0a7f7)
/var/backup-manager/server.itldc.com-home.20140416.master.tar.gz: ok (1M, 0b11cc7e8cecc36e9004b5bd223a963d)
/var/backup-manager/server.itldc.com-root.20140416.master.tar.gz: ok (48M, 9147e1817894295015d7438e8ea28678)
Creating a default MySQL client configuration file: /root/.backup-manager_my.cnf
/var/backup-manager/server.itldc.com-all-mysql-databases.20140416.sql.bz2: ok (1M, 93cee49736e67c71001825b31606a86d)
# ls -l /var/backup-manager/
итого 56512
-rw-rw—- 1 root root 396 Апр 16 14:20 server.itldc.com-20140416.md5
-rw-rw—- 1 root root 101758 Апр 16 14:20 server.itldc.com-all-mysql-databases.20140416.sql.bz2
-rw-rw—- 1 root root 8733029 Апр 16 14:20 server.itldc.com-etc.20140416.master.tar.gz
-rw——- 1 root root 30605 Апр 16 14:20 server.itldc.com-etc.incremental.bin
-rw-rw—- 1 root root 467 Апр 16 14:20 server.itldc.com-home.20140416.master.tar.gz
-rw——- 1 root root 179 Апр 16 14:20 server.itldc.com-home.incremental.bin
-rw-rw—- 1 root root 48862421 Апр 16 14:20 server.itldc.com-root.20140416.master.tar.gz
-rw——- 1 root root 5825 Апр 16 14:20 server.itldc.com-root.incremental.bin
-rw-rw—- 1 root root 102889 Апр 16 14:20 server.itldc.com-var-www.20140416.master.tar.gz
-rw——- 1 root root 3668 Апр 16 14:20 server.itldc.com-var-www.incremental.bin

резервные копии созданы, а далее backup-manager будет запускаться каждую ночь – ведь мы указали BM_DAILY_CRON=”true” в его настройках

Рекомендуем создать отдельный аккаунт Dropbox для хранения резервных копий. Как только регистрация будет пройдена, загрузим и установим официальный клиент dropbox на наш сервер:

wget -O — «http://www.dropbox.com/download/?plat=lnx.x86_64» | tar xvzf — -C /root

После этого нам необходимо авторизовать наш сервер для начала работы с Dropbox. Запустим клиентский скрипт:

# /root/.dropbox-dist/dropbox
Этот компьютер не подсоединен к аккаунту Dropbox…
Чтобы подсоединить этот компьютер, перейдите по ссылке https://www.dropbox.com/cli_link?host_id=XXXXXXXXXXXXXXXXXXXXXXXXXXXX.

Скопируйте указанную ссылку в буфер и откройте ее в броузере. При необходимости – авторизуйтесь на сайте Dropbox. Сразу после этого скрипт сообщит Вам об успешной привязке сервера к вашему dropbox-аккаунту:
Этот компьютер теперь подсоединен к аккаунту Dropbox. Добро пожаловать, Test User!

Нажмем Ctrl-C и приступим к настройке клиента Dropbox. Для начала обеспечим запуск dropboxd при загрузке системы. Это сделать проще всего с помощью планировщика – запустим crontab -uroot -e и вставим сточку:

@reboot $HOME/.dropbox-dist/dropboxd

После этого с помощью символьной ссылки укажем клиенту dropbox расположение файлов с резервными копиями:

ln -s /var/backup-manager /root/Dropbox/backup

На этом настройка окончена. Перезагрузим сервер или запустим клиентскую часть dropbox:

/root/.dropbox-dist/dropbox &

Не часто у нас тут копипасты бывают. Но иногда бывают. Статья актуальна на апрель 2014 года.
Оригинал взял http://itldc.com/blog/backup-to-dropbox/

Обзор того, что не стоит делать на VDS

Опубликовано автором
1

Натолкнул меня написание этого поста, tinyvds.
И правда — хорошо сказал.

Каждый месяц все новые и новые дыры находят в том или ином программном обеспечении. В 2012 году уязвимости были найдены в exim (занимается отправкой почты) и, всем известный, PhpMyAdmin. Немало клиентов пострадали от этого. В начале 2013 года были сломаны bind/named и apache web сервер у множества VDS/VPS. Если оно (программное обеспечение) у вас не обновлено, рано или поздно Ваш vds вскроют и все поломают. Вы потеряете данные и потратите итак недостающие нервы на исправление проблем и восстановление информации из бекапов.
Да, черт возьми. Это реально самая настоящая угроза и массовая ошибка пользователей.
Когда вы покупаете VDS с ISP manager.
Первым делом идете в Возможности. И удаляете. Не отключаете! А удаляете в принципе такое говно, как


Это спасет вас от нехватки места на VDS. Потому что это говно будет тупо без использования работать — и зарастать спамом, логами. И потом у вас просто кончится место.
Потому что эти вещи постоянно кто-то брутит, спамит, использует в своих целях для dns спуфинга и прочее прочее. Иногда 50 ГБ можно за сутки засрать подобными штуками. Вам они все равно не_нужны — поэтому удаляйте.

Далее.
Бекапы своих сайтов и файлов на тот же VDS/VPS — это бесполезное и небезопасное занятие
Именно так. Почему ?
Ну мозг свой включите. Какой смысл делать бекап на тот же жесткий диск ? Сгорел hdd — сгорели и бекапы. А сервера, особенно дешевые сервера — выходят из строя довольно часто.
И вообще на VDS большинство хостеров — тупо не делают бекапы. Почему? Потому что такие бекапы, слепки vds-ок — бессмысленны для пользователя. А хостеры предпочитают восстанавливаться из raid.
Короче запомните себе — вы должны делать бекап только на удаленное ftp. Об этом у меня есть полноценная статья. И там же расписано, почему хостеры не делают бекапов. И я считаю — правильно. Клиент сам должен заботиться о своих бекапах, учиться работать с сайтами, с CMS, развиваться и обучаться. Не быть нубом и лохом, которые тупо зарастает спамом и создает бессмысленные сайты, на которые через месяц уже забивает.
И важно знать, на счет бекапа.
Можно включать и исключать директории. Тыкаете на свое задание резервного копирования. Потом кнопка «данные».

И там можно включать и исключать. Например всякие логи и прочую временную информацию можно даже не бекапить.

И главное не забывайте ставить галочки, когда создаете задание на бекап. Там будет «все файлы» — так вот это именно тупо файлы! Это не значит что там включены Mysql базы. Базы идут отдельно, ниже будет галочка Базы данных.
Можете еще сделать 2 задания. Ежедневно базы сливать, а раз в неделю файлы.

Так же важно понимать, что VDS это часть сервера. А значит канал на сервере делится на все VDS-ки. Поэтому сразу нужно адекватно разобраться что такое шаред канал и выделенный канал. Возможно сам сервер подключен к шареду, а значит скорость на vds-ках будет еще меньше.

И на счет трафика. При желании на выделенном канале 100 можно прокачать терабайт 50 в месяц.
Обычно по тарифам на сервера дают 5-10 ТБ. Разумеется этот лимит делится на кол-во VDS.
НО важно так же понимать, что 95% сайтов потребляют от 50 до 300 ГБ в месяц. Именно нормальные проекты, которые вы изо дня в день посещаете, с ядром посетителей, популярностью в узком круге и т.д.
А мусор без нагрузок и на который всем похуй иногда и 5 ГБ не потребляет даже.
Так что всем хватает за глаза. Ведь это VDS, адекватный человек должен понимать, что на VDS тупо невозможно засадить супер нагруженный проект, который бы потреблял терабайтами трафик, просто ресурсов не хватит.
Но некоторые ищут «прокачки, качалова, VPN» за нищебродские цены vds-ок. Именно для них и ставят лимиты, чтобы в случае чего отказать таким умникам, пытающимся за бесплатно попользоваться ресурсами хостера.

Адекватные хостеры сразу черным по белому говорят. Для 95% интернет-проектов, такого объема трафика достаточно для работы на месяц. Безусловно, существуют проекты более требовательные к объемам передачи данных, но это не наши клиенты.

Обзор и советы написаны alice2k в октябре 2013 года.

Обзор бекап сервиса mybackupbox.com

Опубликовано автором
1


Узнал я о нем от знакомых.
Backup Box — интересный сервис, который позволяет копировать данные с одного облачного сервиса хранения данных на другой. Например, он может продублировать файлы с Dropbox на GoogleDrive и обратно. Так же Backup Box поддерживает синхронизации между сервисами Box, SkyDrive, SugarSync, и другими букватьно в два клика.

На сервисе присутствует приятная возможность для владельцев сайтов. С помощью Backup Box можно скопировать файлы с ftp сервера вашего хостинга в облака за пару минут. Достаточно только указать адрес ftp сервера, логин и пароль. Эту возможность можно использовать как базу для резервного копирования сайта. При этом резервные копии можно создать на всех сервисах облачного хранения данных сразу, предварительно введя учётные данные.

И решил я зарегистрироваться, посмотреть что к чему.
После регистрации приходит письмо. DKIM подпись настроена, пользуются сторонними сервисами.

Проверил сертификаты. Тоже нормально все. Тем более по ним видно, что стартап запущен около месяца назад.

Через минут 20 пришло еще письмо, где меня поблагодарили за регистрацию и подарили 10 баксов на счет. Тем самым показывают, что существуют платные услуги.
Такой подход нужно брать на заметку многим компаниям.

Ну, вернемся к нашему сервису.
Внутри можно добавлять вот такие сервисы.

После добавления каждый аккаунт/сервис предоставляется просмотр содержимого. Так же можно называть своими именами каждый аккаунт. Для удобства.

А самое интересное — это конечно, что можно настроить синхронизацию с FTP.

С нашего хостинга например или сервера/vds.
Сразу чтобы он закачивался в облака. И притом дублировался на несколько разных облачков.

Скорость конечно очень медленная. Поэтому большие объемы не катят. Или что-то архивное, не особо важное.

Обзор написан в мае 2013, alice2k

Еще одно бекап хранилище от inferno

Опубликовано автором
Ответить

Дороже чем selectel. Но вдруг кому-то нужны бекапы в Европе.

  • 1GB — $1/месяц
  • 5GB — $2/месяц
  • 10GB — $3/месяц
  • 25GB — $4/месяц
  • 50GB — $5/месяц
  • 100GB — $10/месяц
  • 250GB — $15/месяц
  • 500GB — $25/месяц
  • 1000GB — $30/месяц

Заказать: https://cp.inferno.name/cart.php?aff=313&gid=34
Код 50% скидки на 1й месяц — BACKUP50

  • Серверы хранения данных расположены в Нидерландах, датацентр EvoSwitch, один из лучших датацентров Европы с уровнем надежности Tier3+.
  • Для сохранности данных используется аппаратный RAID5+hot spare.
  • Серверы подключены к сети на скорости 1Gbit
  • Работают следующие протоколы: FTP, SFTP, SSH (rsync, sshfs), SCP

Бесплатный хостинг для бекапов

Опубликовано автором
Ответить

Недавно осознал, что бесплатные аккаунты от 2×4.ru можно использовать для бекапов мусора. Ну мусора, который нахуй никому не нужен, чтобы бояться что стырят его, или там будут шариться по mysql базам и логинам/пассам пользователей сайтов.
Хотя я уверен что никто в 2×4 и не шарится. Но слово бесплатно щас к сожалению, ассоциируется не с взаимопомощью нуждающимся, а с лохотронами.

Про компанию 2×4 уже был обзор. Она до сих пор является лучшей в своем роде из бесплатных аккаунтов. Вы только вчитайтесь в это — 30 ГБ hdd. И управление, что можно создавать много ftp доступов в разные папки. А потом настраивать бекапы в isp manager.

Обзор бекап сервисов

Опубликовано автором
1

Для маленьких объемов самое лучшее, самое дешевое — selectel storage, обзор был тута.

Но если прикинуть, то терабайты хранить там не так уж и дешево 😉 Поэтому давайте представим еще надежные и проверенные сервисы для бекапов.

Во первых. Можно использовать бесплатные хранилища. (alice2k считает что за ними будущее)

Далее имеются сервисы 2ns — за 100р получаете 50гб, только 5 ip/серверов с которых можно закачивать бекапы. Увеличить можно до 500 ГБ, за 1000р соответственно. (канал на сервере 100, находится во франции)

Еще очень хороший бекап сервис у fornex, дороже, 50гб за 150р, 1 ТБ за 2900р. Зато нету ограничений на кол-во ip. (канал 1000 на сервер, но гарантированно 10 дают, так что если читали обзор selectel storage, то мы понимаем, что терабайт долго будем качать)

Можно купить бекапы еще в Московском дц оверсан. У ihc.ru У них 1 ТБ за 2000р, 15 ГБ за 150р.

Ну и на крайняк, монстрам или тем, кто делает кучу бессмысленных бекапов. Можно использовать выделенные сервера где 15hdd x 3ТБ на гигабитном канале за 250евро. Или облака, например амазон, где хранение очень дешевое 0,01$ за 1ГБ, но трафик зато дорогой, но зато с отличной скоростью, подойдет именно монстрам, которые делают бекапы на всякий случай, у которых терабайты мусора, а ведь возможно только раз в год придется качать, тогда есть смысл. Если же вы знаете, что качать придется довольно часто, купите бекап хостинг по потребностям.

Бекапы в двух словах. (лучшее хранилище для бекапов)

Опубликовано автором
9

Подойдет, как частным клиентам.
Так и хостерам из 1-3 человек, с парой серверов.

Стоимость хранения 3 рубля — 1 Гигабайт.
http://selectel.ru/services/cloud-storage/

Доступ по ftp. Можно сделать 10 дополнительных ftp.

Итак, давайте я объясню, как бекапиться.
Не секрет, что сейчас лидирующая хостинг-панель ISP manager.

Со стороны клиента. В настройках панели, есть вкладка «Обслуживание» — далее Настройка резервного копирования.


Обязательно делайте бекапы, потому что половина хостеров с searchengines и подобных трололо форумов, состоит из 1-2 человек, с 1-2 серверами. И бекапы иногда просто физически невозможно делать, потому что это накладно, это не окупится и т.д. Качественные бекапы можно делать на уровне ДЦ, но никак не через сервера. Сейчас я объясню почему.

Со стороны начинающего хостера.
Вы можете бекапить полностью все свои сервера или vds. Образом. Многие так и делают, даже тратятся на отдельные серверы под бекапы. Ведь вы понимаете же, что делать 7 ежедневных, 3 месячных, 3 недельных — это очень дохуя 😉 Допустим стандартный VDS весит 15ГБ, а значит еще и 15*7+15*6 — 195ГБ бекапа. По 200гб нужно иметь резерва, чтобы бекапнуть всего 1 клиентский VDS. Теперь вы понимаете, что не все хостеры могут себе такое позволить 😉
Притом! Многие хостеры не сталкивались еще с тем, что сервер в популярном hetzner сгорает например. А это довольно частое явление в подобных дешевых дата-центрах Европы. Итак, первое сгорание у начинающего хостера. Допустим, он делал бекапы на удаленные ресурсы, а не локально, как это обычно делается. Локальные бекапы делаются из-за нубов клиентов, когда клиенты проебывают свои пароли, клиенты не обновляют свои движки и их заражают вирусней и прочее прочее. Вот чтобы такие тупые нытики не ныли, им быстренько потом восстанавливают из локальных бекапов. НО если сгорает сервер, сгорают и локальные бекапы. Вы скажете raid, да raid же везде есть. Т.е. 2 диска на сервере. Но бывали случаи, когда этот raid отваливался в январе, но никто из сотрудников hetzner не заметил о этом, а потом в марте сгорел hdd, его разумеется заменили, восстановили данные с второго диска, а там январские данные. И все, пиздец, хостер умер, я своими глазами видел как умер один из хостеров с форума SE, называть не буду. Потом он сайт продал кому-то, ведь трафик и посетители все еще заходят на этот сайт. И сайт стал просто саттелитом для какого-то другого хостера, даже биллинг как партнерка какая-то выглядит.
Так вот. Мораль для хостеров — делать полные слепки — это тупо, бессмысленно. Почему? Потому что такой бекап может восстанавливаться пол-дня или день. Каналы у бекап серверов не резиновые же. Когда покупаете ресурс для бекапа, задумывайтесь над этим тоже 😉 За сутки простоя, все адекватные клиенты просто свалят. И притом в течении суток будут нервничать, ныть, отдайте мне бекап. Поэтому бекапы нада делать отдельные, каждого клиента в свой каталог. А систему/настройку сервера бекапить отдельно, чтобы за пол часа быстро восстановить только оболочку на другом сервере и начать восстановление пользователей. Во вторых если это бекап клиентского vds — у многих людей до сих пор стоят 32-битные системы. И они не_смогут даже распаковать такой бекап у себя на компе. Такие дела 😉
Итого — совет хостерам. Если у вас стандартная шаред помойка. Сделайте бекап на selectel storage вот таким образом. Автоматически при создании пользователя, у него создается и задание бекапа на удаленное фтп. А в панели isp manager, просто запретите пользователям менять «настройки резервирования», чтобы нубасы не отключали, не меняли, не тыкали своими тупыми тыкалками и не разрушали систему. А вот вкладку «Резервные копии» оставьте доступной. Т.е. если человеку нужно будет восстановить или скачать — он это сделает 😉 Это сэкономит вам кучу денег, времени и нервов. Плюс вы приучаете пользователей к тому, как нужно делать бекапы. В идеале, каждый пользователь/клиент, должен иметь свой аккаунт selectel storage и сам настрить себе. Ведь +30р лишние роли НЕ_сыграют 😉

Пробуйте, регайтесь.

Статья написана alice2k, в Июле 2012.