]> gitweb.fluxo.info Git - mkbuilds.git/commitdiff
added backupninja
authorrhatto <rhatto@18ef50b8-d735-4ccd-97c1-689132df3dd9>
Mon, 3 Dec 2007 02:35:04 +0000 (02:35 +0000)
committerrhatto <rhatto@18ef50b8-d735-4ccd-97c1-689132df3dd9>
Mon, 3 Dec 2007 02:35:04 +0000 (02:35 +0000)
git-svn-id: svn+slack://slack.fluxo.info/var/svn/mkbuilds@26 18ef50b8-d735-4ccd-97c1-689132df3dd9

app/backup/backupninja/backupninja.cron [new file with mode: 0644]
app/backup/backupninja/backupninja.mkbuild [new file with mode: 0644]
app/backup/backupninja/rsync [new file with mode: 0644]
app/backup/backupninja/wget [new file with mode: 0644]

diff --git a/app/backup/backupninja/backupninja.cron b/app/backup/backupninja/backupninja.cron
new file mode 100644 (file)
index 0000000..fa53d81
--- /dev/null
@@ -0,0 +1,8 @@
+#!/bin/bash
+# /etc/cron.hourly/backupninja -- cron tab entry for package backupninja
+
+PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
+
+if [ -x /usr/sbin/backupninja ]; then
+  /usr/sbin/backupninja
+fi
diff --git a/app/backup/backupninja/backupninja.mkbuild b/app/backup/backupninja/backupninja.mkbuild
new file mode 100644 (file)
index 0000000..8c4a68f
--- /dev/null
@@ -0,0 +1,126 @@
+#
+#  This mkbuild is free software; you can redistribute it and/or modify it under the
+#  terms of the GNU General Public License as published by the Free Software
+#  Foundation; either version 2 of the License, or any later version.
+#
+#  This mkbuild is distributed in the hope that it will be useful, but WITHOUT ANY
+#  WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR
+#  A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
+#
+#  You should have received a copy of the GNU General Public License along with
+#  this program; if not, write to the Free Software Foundation, Inc., 59 Temple
+#  Place - Suite 330, Boston, MA 02111-1307, USA
+#
+
+#--------------------
+# Personal variables
+#--------------------
+# Author name
+[[SLACKBUILD AUTHOR]]="Silvio Rhatto"
+
+# Initials author name
+[[SLACKBUILD AUTHOR INITIALS]]="rha"
+
+#------------------------
+# Construction Variables
+#------------------------
+#
+# Complete URL address or URL base address ( without $SRC_NAME-$VERSION... )
+[[DOWNLOAD FOLDER URL]]="http://dev.riseup.net/backupninja/download/backupninja-0.9.5.tar.gz"
+
+#
+# Documentation files. Null ("") to auto-set commom doc-files:
+# NEWS TODO README AUTHORS INSTALL ChangeLog MAINTAINERS COPYING readme.*
+[[DOCUMENTATION FILES]]="AUTHORS COPYING ChangeLog INSTALL NEWS README TODO"
+
+# SlackBuild model
+[[SLACKBUILD MODEL]]="generic.mkSlackBuild"
+
+# SlackBuild PATH in Slack.Sarava tree
+#[[SLACKBUILD PATH]]="others/unclassified/[[NAME]]"
+[[SLACKBUILD PATH]]="app/backup/[[NAME]]"
+
+#---------------------
+# SlackBuild Sections
+#---------------------
+# Default sections:
+#      head, set_variables, slkflags, start_structure, untar_source,
+#      make_package, install_package, build_package
+# Warning: don't remove '#>>' and "#<<" tags.
+#>> Start SlackBuild Sections:
+ on: head
+ on: slackbuildrc
+ on: set_variables
+ on: slkflags
+ on: error_codes
+ on: start_structure
+ on: download_source
+off: md5sum_download_and_check_0
+off: md5sum_download_and_check_1
+off: gpg_signature_check
+ on: untar_source
+off: patch_source
+ on: configure
+ on: make_package
+ on: install_package
+off: strip_binaries
+off: compress_manpages
+off: compress_info_files
+ on: install_documentation
+ on: slackdesc
+off: postinstall_script
+ on: build_package
+ on: clean_builds
+#<< End SlackBuild Sections
+
+#------------------
+# Sections changes
+#------------------
+#
+#>configure
+# Configure
+./autogen.sh || exit $ERROR_CONF
+CFLAGS="$SLKCFLAGS" \
+  CXXFLAGS="$SLKCFLAGS" \
+  ./configure \
+  --prefix="$PREFIX" --libdir="$LIBDIR" $CONF_OPTIONS || exit $ERROR_CONF
+#<configure
+
+#>install_package
+# Install
+make install DESTDIR="$PKG" || exit $ERROR_INSTALL
+
+# TODO: remove this line as long as the handler is added to the source tree
+cp $CWD/wget $PKG/usr/share/$PKG_NAME/
+
+# Cron tasks
+rm -rf $PKG/etc/cron.d
+mkdir $PKG/etc/cron.hourly
+cp $CWD/backupninja.cron $PKG/etc/cron.hourly/backupninja
+chmod +x $PKG/etc/cron.hourly/backupninja
+
+# Permissions
+mkdir $PKG/etc/backup.d
+chown -R root.root $PKG/*
+chmod 600 $PKG/etc/backup.d
+
+# Fix config files
+sed -e 's/\/usr\/var\/log/\/var\/log\/backup/g' $PKG/etc/backupninja.conf > $PKG/etc/backupninja.conf.new
+rm $PKG/etc/backupninja.conf 
+sed -e 's/\/usr\/var\/log/\/var\/log\/backup/g' $PKG/etc/logrotate.d/backupninja > $PKG/etc/logrotate.d/backupninja.new
+mv $PKG/etc/logrotate.d/backupninja.new $PKG/etc/logrotate.d/backupninja
+#<install_package
+
+#>slackdesc
+backupninja: backupninja (a silent flower blossom death strike to lost data)
+backupninja:
+backupninja: Backupninja allows you to coordinate system backup by dropping a few
+backupninja: simple configuration files into /etc/backup.d/. Most programs you
+backupninja: might use for making backups don't have their own configuration file
+backupninja: format. Backupninja provides a centralized way to configure and
+backupninja: schedule many different backup utilities.
+backupninja:
+backupninja:
+backupninja:
+backupninja:
+#<slackdesc
diff --git a/app/backup/backupninja/rsync b/app/backup/backupninja/rsync
new file mode 100644 (file)
index 0000000..e0209cd
--- /dev/null
@@ -0,0 +1,355 @@
+#
+# backupninja handler to do incremental backups using
+# rsync and hardlinks, based on
+#
+#   http://www.mikerubel.org/computers/rsync_snapshots/
+#
+# feedback: rhatto at riseup.net | gpl
+# lot of enhancements grabbed from "rsnap" handler by paulv at bikkel.org
+#
+# Config file options
+# -------------------
+#
+#   [general]
+#   log = rsync log file
+#   partition = partition where the backup lives
+#   fscheck = set to 1 if fsck should run on $partition after the backup is made
+#   read_only = set to 1 if $partition is mounted read-only
+#   mountpoint = backup partition mountpoint or backup main folder
+#   backupdir = folder relative do $mountpoint where the backup should be stored
+#   days = number of backup increments (min = 5)
+#   lockfile = lockfile to be kept during backup execution
+#   nicelevel = rsync command nice level
+#   enable_mv_timestamp_bug = set to "yes" if your system isnt handling timestamps correctly
+#   tmp = temp folder
+#
+#   [source]
+#   from = local or remote
+#   host = source hostname or ip number, if remote backup
+#   testconnect = when "yes", test the connection for a remote source before backup
+#   include = include folder on backup
+#   exclude = exclude folder on backup
+#   ssh = ssh command line (remote only)
+#   rsync = rsync program
+#   rsync_options = rsync command options
+#   exclude_vserver = vserver-name (valid only if vservers = yes on backupninja.conf)
+#   numericids = when set to 1, use numeric ids instead of user/group mappings on rsync
+#   compress = if set to 1, compress data on rsync (remote source only)
+#   bandwidthlimit = set a badnwidth limit in kbps (remote source only)
+#   remote_rsync = remote rsync program (remote source only)
+#
+#   [services]
+#   initscripts = absolute path where scripts are located
+#   service = script name to be stoped at the begining of the backup and started at its end
+#
+# You can also specify some system comands if you don't want the default system values:
+#
+#   [system]
+#   rm = rm command
+#   cp = cp command
+#   touch = touch command
+#   mv = mv command
+#   fsck = fsck command
+#
+# You dont need to manually specify vservers using "include = /vservers".
+# They are automatically backuped if vserver is set to "yes" on you backupninja.conf.
+#
+# TODO:
+#
+# - Daily, weekly and monthly snapshot rotation (like the one present on maildir handler).
+# - Support for remote destinations (take a look at --itemize-changes option for this)
+#
+
+# config file evaluation
+
+setsection system
+getconf rm rm
+getconf cp cp
+getconf touch touch
+getconf mv mv
+getconf fsck fsck
+
+setsection general
+getconf log /var/log/backup/rsync.log
+getconf partition
+getconf fscheck
+getconf read_only
+getconf mountpoint
+getconf backupdir
+getconf rotate
+getconf days
+getconf lockfile
+getconf nicelevel 0
+getconf enable_mv_timestamp_bug no
+getconf tmp /tmp
+
+setsection source
+getconf from local
+getconf testconnect no
+getconf rsync $RSYNC
+getconf rsync_options "-av --delete"
+getconf ssh ssh
+getconf user
+getconf host
+getconf include
+getconf exclude
+getconf exclude_vserver
+getconf numericids 0
+getconf compress 0
+getconf bandwidthlimit
+getconf remote_rsync rsync
+
+setsection services
+getconf initscripts
+getconf service
+
+# function definitions
+
+function rotate {
+
+  if [[ "$2" < 4 ]]; then
+    error "Rotate: minimum of 4 rotations"
+    exit 1
+  fi
+
+  if [ -d $1.$2 ]; then
+    $nice $mv /$1.$2 /$1.tmp
+  fi
+
+  for ((n=`echo "$2 - 1" | bc`; n >= 0; n--)); do
+    if [ -d $1.$n ]; then
+      dest=`echo "$n + 1" | bc`
+      $nice $mv /$1.$n /$1.$dest
+      $touch /$1.$dest
+    fi
+  done
+
+  if [ -d $1.tmp ]; then
+    $nice $mv /$1.tmp /$1.0
+  fi
+
+  if [ -d $1.1 ]; then
+    $nice $cp -alf /$1.1/. /$1.0
+  fi
+
+}
+
+function move_files {
+
+ ref=$tmp/makesnapshot-mymv-$$;
+ $touch -r $1 $ref;
+ $mv $1 $2;
+ $touch -r $ref $2;
+ $rm $ref;
+
+}
+
+backupdir="$mountpoint/$backupdir"
+
+# does $backupdir exists?
+
+if [ ! -d "$backupdir" ]; then 
+  error "Backupdir $backupdir does not exist"
+  exit 1
+fi
+
+# setup number of increments
+
+if [ -z "$days" ]; then
+  keep="4"
+else
+  keep="`echo $days - 1 | bc -l`"
+fi
+
+# lockfile setup
+
+if [ ! -z "$lockfile" ]; then
+  $touch $lockfile || warning "Could not create lockfile $lockfile"
+fi
+
+# nicelevel setup
+
+if [ ! -z "$nicelevel" ]; then 
+  nice="nice -n $nicelevel"
+else 
+  nice=""
+fi
+
+# connection test
+
+if [ "$from" == "remote" ] && [ "$testconnect" == "yes" ]; then
+  debug "$ssh -o PasswordAuthentication=no $user@$host 'echo -n 1'"
+  result=`ssh -o PasswordAuthentication=no $user@$host 'echo -n 1'`
+  if [ "$result" != "1" ]; then
+    fatal "Can't connect to $host as $user."
+  else
+    debug "Connected to $srchost successfully"
+  fi
+fi
+
+# rsync options for local sources
+
+if [ "$from" == "local" ]; then
+
+  rsync_local_options="$rsync_options"
+
+  if [ ! -z "$numericids" ]; then
+    rsync_local_options="$rsync_local_options --numeric-ids "
+  fi
+
+fi
+
+# rsync options for remote sources
+
+if [ "$from" == "remote" ]; then
+
+  rsync_remote_options="$rsync_options --rsync-path=$remote_rsync"
+
+  if [ "$compress" == "1" ]; then
+    rsync_remote_options="$rsync_remote_options --compress"
+  fi
+
+  if [ ! -z "$bandwidthlimit" ]; then
+    rsync_remote_options="$rsync_remote_options --bwlimit=$bandwidthlimit"
+  fi
+
+  if [ ! -z "$numericids" ]; then
+    rsync_remote_options="$rsync_remote_options --numeric-ids"
+  fi
+
+fi
+
+# set mv procedure
+
+if [ $enable_mv_timestamp_bug == "yes" ]; then
+  mv=move_files
+fi
+
+# set excludes
+
+for path in $exclude; do
+  EXCLUDES="$EXCLUDES --exclude=$path"
+done
+
+# stop services
+
+if [ ! -z "$service" ]; then
+  for daemon in $service; do
+    info "Stopping service $daemon..."
+    $initscripts/$daemon stop
+  done
+fi
+
+echo "Starting backup at `date`" >> $log
+
+# mount backup destination folder as read-write
+
+if [ "$read_only" == "1" ] || [ "$read_only" == "yes" ]; then
+  if [ -d "$mountpoint" ]; then
+    mount -o remount,rw $mountpoint
+    if (($?)); then
+      error "Could not mount $mountpoint"
+      exit 1
+    fi
+  fi
+fi
+
+# add vservers to included folders
+
+if [ "$vservers_are_available" == "yes" ]; then
+
+  # sane permission on backup
+  mkdir -p $backupdir/$VROOTDIR
+  chmod 000 $backupdir/$VROOTDIR
+
+  for candidate in $found_vservers; do
+    candidate="`basename $candidate`"
+    found_excluded_vserver="0"
+    for excluded_vserver in $exclude_vserver; do
+      if [ "$excluded_vserver" == "$candidate" ]; then
+        found_excluded_vserver="1"
+        break
+      fi
+    done
+    if [ "$found_excluded_vserver" == "0" ]; then
+      include="$include $VROOTDIR/$candidate"
+    fi
+  done
+fi
+
+# the backup procedure
+
+for SECTION in $include; do
+
+  section="`basename $SECTION`"
+
+  if [ ! -d "$backupdir/$SECTION/$section.0" ]; then
+    mkdir -p $backupdir/$SECTION/$section.0
+  fi
+  info "Rotating $backupdir/$SECTION/$section..."
+  echo "Rotating $backupdir/$SECTION/$section..." >> $log
+  rotate $backupdir/$SECTION/$section $keep
+  info "Syncing $SECTION on $backupdir/$SECTION/$section.0..."
+
+  if [ "$from" == "local" ]; then
+    debug $rsync $rsync_local_options $EXCLUDES /$SECTION/ $backupdir/$SECTION/$section.0/ 
+    $nice $rsync $rsync_local_options $EXCLUDES /$SECTION/ $backupdir/$SECTION/$section.0/ >> $log
+    if [ "$?" != "0" ]; then
+      warning "Rsync error when trying to transfer $SECTION"
+    fi
+  elif [ "$from" == "remote" ]; then
+    if [ -z "$user" ] || [ -z "$host" ]; then
+      error "Config file error: either user or host was not specified"
+      exit 1
+    else
+      debug $nice $rsync $rsync_remote_options $EXCLUDES -e "$ssh" $user@$host:/$SECTION/ $backupdir/$SECTION/$section.0
+      $nice $rsync $rsync_remote_options $EXCLUDES -e "$ssh" $user@$host:/$SECTION/ $backupdir/$SECTION/$section.0 >> $log
+      if [ "$?" != "0" ]; then
+        warning "Rsync error when trying to transfer $SECTION"
+      fi
+    fi
+  else
+    error "Invalid source $from"
+    exit 1
+  fi
+
+  $touch $backupdir/$SECTION/$section.0
+
+done
+
+# remount backup destination as read-only
+
+if [ "$read_only" == "1" ] || [ "$read_only" == "yes" ]; then
+  mount -o remount,ro $mountpoint
+fi
+
+# check partition for errors
+
+if [ "$fscheck" == "1" ] || [ "$fscheck" == "yes" ]; then
+  umount $mountpoint
+  if (($?)); then
+    warning "Could not umount $mountpoint to run fsck"
+  else
+    $nice $fsck -v -y $partition >> $log
+    mount $mountpoint
+  fi
+fi
+
+# restart services
+
+if [ ! -z "$service" ]; then
+  for daemon in $service; do
+    info "Starting service $daemon..."
+    $initscripts/$daemon start
+  done
+fi
+
+# removes the lockfile
+
+if [ ! -z "$lockfile" ]; then
+  $rm $lockfile || warning "Could not remove lockfile $lockfile"
+fi
+
+echo "Finnishing backup at `date`" >> $log
+
diff --git a/app/backup/backupninja/wget b/app/backup/backupninja/wget
new file mode 100644 (file)
index 0000000..51054ea
--- /dev/null
@@ -0,0 +1,220 @@
+#
+# backupninja handler to do incremental backups using
+# wget and hardlinks, based on rsync handler
+#
+# feedback: rhatto at riseup.net | gpl
+#
+# Config file options
+# -------------------
+#
+#   [general]
+#   log = wget log file
+#   partition = partition where the backup lives
+#   fscheck = set to 1 if fsck should run on $partition after the backup is made
+#   read_only = set to 1 if $partition is mounted read-only
+#   mountpoint = backup partition mountpoint or backup main folder
+#   backupdir = folder relative do $mountpoint where the backup should be stored
+#   days = number of backup increments (min = 5)
+#   lockfile = lockfile to be kept during backup execution
+#   nicelevel = wget command nice level
+#   enable_mv_timestamp_bug = set to "yes" if your system isnt handling timestamps correctly
+#   tmp = temp folder
+#
+#   [source]
+#   wget = wget program
+#   wget_options = wget command options
+#   url = remote data url
+#   bandwidthlimit = set a badnwidth limit in kbps (remote source only)
+#
+#   [destination]
+#   folder = local folder
+#
+# You can also specify some system comands if you don't want the default system values:
+#
+#   [system]
+#   rm = rm command
+#   cp = cp command
+#   touch = touch command
+#   mv = mv command
+#   fsck = fsck command
+#
+# TODO: Daily, weekly and monthly snapshot rotation (like the one present on maildir handler).
+#
+
+# config file evaluation
+
+setsection system
+getconf rm rm
+getconf cp cp
+getconf touch touch
+getconf mv mv
+getconf fsck fsck
+
+setsection general
+getconf log /var/log/backup/wget.log
+getconf partition
+getconf fscheck
+getconf read_only
+getconf mountpoint
+getconf backupdir
+getconf rotate
+getconf days
+getconf lockfile
+getconf nicelevel 0
+getconf enable_mv_timestamp_bug no
+getconf tmp /tmp
+
+setsection source
+getconf wget wget
+getconf wget_options
+getconf url
+getconf bandwidthlimit
+
+setsection destination
+getconf folder
+
+# function definitions
+
+function rotate {
+
+  if [[ "$2" < 4 ]]; then
+    error "Rotate: minimum of 4 rotations"
+    exit 1
+  fi
+
+  if [ -d $1.$2 ]; then
+    $nice $mv /$1.$2 /$1.tmp
+  fi
+
+  for ((n=`echo "$2 - 1" | bc`; n >= 0; n--)); do
+    if [ -d $1.$n ]; then
+      dest=`echo "$n + 1" | bc`
+      $nice $mv /$1.$n /$1.$dest
+      $touch /$1.$dest
+    fi
+  done
+
+  if [ -d $1.tmp ]; then
+    $nice $mv /$1.tmp /$1.0
+  fi
+
+  if [ -d $1.1 ]; then
+    $nice $cp -alf /$1.1/. /$1.0
+  fi
+
+}
+
+function move_files {
+
+ ref=$tmp/makesnapshot-mymv-$$;
+ $touch -r $1 $ref;
+ $mv $1 $2;
+ $touch -r $ref $2;
+ $rm $ref;
+
+}
+
+backupdir="$mountpoint/$backupdir"
+
+# does $backupdir exists?
+
+if [ ! -d "$backupdir" ]; then 
+  error "Backupdir $backupdir does not exist"
+  exit 1
+fi
+
+# setup number of increments
+
+if [ -z "$days" ]; then
+  keep="4"
+else
+  keep="`echo $days - 1 | bc -l`"
+fi
+
+# lockfile setup
+
+if [ ! -z "$lockfile" ]; then
+  $touch $lockfile || warning "Could not create lockfile $lockfile"
+fi
+
+# nicelevel setup
+
+if [ ! -z "$nicelevel" ]; then 
+  nice="nice -n $nicelevel"
+else 
+  nice=""
+fi
+
+# set mv procedure
+
+if [ $enable_mv_timestamp_bug == "yes" ]; then
+  mv=move_files
+fi
+
+# set excludes
+
+for path in $exclude; do
+  EXCLUDES="$EXCLUDES --exclude=$path"
+done
+
+echo "Starting backup at `date`" >> $log
+
+# mount backup destination folder as read-write
+
+if [ "$read_only" == "1" ] || [ "$read_only" == "yes" ]; then
+  if [ -d "$mountpoint" ]; then
+    mount -o remount,rw $mountpoint
+    if (($?)); then
+      error "Could not mount $mountpoint"
+      exit 1
+    fi
+  fi
+fi
+
+# the backup procedure
+
+if [ ! -d "$backupdir/$folder/$folder.0" ]; then
+  mkdir -p $backupdir/$folder/$folder.0
+fi
+
+info "Rotating $backupdir/$folder/$folder..."
+echo "Rotating $backupdir/$folder/$folder..." >> $log
+rotate $backupdir/$folder/$folder $keep
+info "Wget'ing $SECTION on $backupdir/$folder/$folder.0..."
+
+if [ ! -z "$badnwidth" ]; then
+  limit_rate="--limit-rate=$badnwidth""k"
+fi
+
+cd $backupdir/$folder/$folder.0
+wget $wget_options $limit-rate -r -c -N -e robots=off $url
+cd -
+
+$touch $backupdir/$folder/$folder.0
+
+# remount backup destination as read-only
+
+if [ "$read_only" == "1" ] || [ "$read_only" == "yes" ]; then
+  mount -o remount,ro $mountpoint
+fi
+
+# check partition for errors
+
+if [ "$fscheck" == "1" ] || [ "$fscheck" == "yes" ]; then
+  umount $mountpoint
+  if (($?)); then
+    warning "Could not umount $mountpoint to run fsck"
+  else
+    $nice $fsck -v -y $partition >> $log
+    mount $mountpoint
+  fi
+fi
+
+# removes the lockfile
+
+if [ ! -z "$lockfile" ]; then
+  $rm $lockfile || warning "Could not remove lockfile $lockfile"
+fi
+
+echo "Finnishing backup at `date`" >> $log
+