JobScheduler
                     sysadmin days #4 - 2013
                                                     FRANÇOIS BAYART
    COMPANY                         TWITTER
                     LOOK A BOX               @FRBAYART
                                              1
vendredi 1 mars 13
INTRO / CONTEXTE
                       2
vendredi 1 mars 13
sos-berlin

                     Software- und
                     Organisations-Service

                     licences : GPLv2,
                     Commercial

                     scheduler : Unix, Linux,
                     Windows



                                                3
vendredi 1 mars 13
architecture



                                    4
vendredi 1 mars 13
Technologies




                            SCRIPTING DE L’OS


                                     5
vendredi 1 mars 13
composants
                                                 dénominations
                              DAEMON                   UI & TOOLS

                                  instance


                     Engine                      JOC

                     Supervisor                  JOE

                     SQL DB*                     JID




                                             6
vendredi 1 mars 13
AJAX
                                                            JAVASCRIPT
                                                            JSE ou Jetty




    JOC : JOBSCHEDULER OPERATIONS CENTRE
    GESTIONNAIRE JAVASCRIPT (VISULATION, ACTIONS SIMPLES)
                                               7
vendredi 1 mars 13
JOE : JOBSCHEDULER OBJECT EDITOR
     ÉDITEUR GRAPHIQUE (CONFIGURATION, JOBS, EVENTS)
                                               8
vendredi 1 mars 13
JID : JOBSCHEDULER INFORMATION DASHBOARD
    TABLEAU DE BORD (HISTORIQUE DES TACHES, VISUALISATION DES LOGS)
                                               9
vendredi 1 mars 13
Mais pourquoi une DB ?

                     trace de log

                     historique :

                       des tâches

                       des ordres
                                    Oracle
                                    MS SQL-Ser ver
                                    DB2
                     Events         MySQL
                                    PostgreSQL
                                    Firebird
                                    Sybase ASE




                                                     10
vendredi 1 mars 13
utilisation



                                   11
vendredi 1 mars 13
pre-/post-process



                     job example
                                                             variables
                                                             java , javascript




                                    HISTORY
                                    CONSOLE LOG
                     JOB -A1        SHORTER/LONGER THAN
                                    TIMEOUT
                      15H00         EMAIL
                               <JOB NAME="SIMPLE_SHELL">
                                <SCRIPT LANGUAGE="SHELL"><![CDATA[
                                  ECHO HELLO WORLD
                                      START IMMEDIATELY
                                ]]></SCRIPT>
                               </JOB>

                                            12
vendredi 1 mars 13
chain example

                     SERVER-1        SERVER-2
                                                CHAIN-A
                     JOB -A1         JOB -A2


                      15H00


                                JOB ORDER
                                CHAIN
                                ORDER
                                PROCESS_CLASS
                                        13
vendredi 1 mars 13
repeat & lock
                     SERVER-1               SERVER-2
                          SQL-
                              RW                       CHAIN-A
                      JOB -A1                JOB -A2

                       15H00
                          SQL-
                                 RO
                      JOB -B1

                     REPEAT 1S        HH:MM[:SS]
                                      START/START
                                      END/START
                                      LOCK EXCLUSIVE

                                               14
vendredi 1 mars 13
sync
            SERVER-1                              SERVER-2
                       SQL-
                              RW                                       CHAIN-A
               JOB -A1                 JOB -A2               JOB -A3

                     15H00
                                         SYNC
                        SQL-
                               RO                                      CHAIN-C
               JOB -B1                 JOB -C1               JOB -C2

             REPEAT 1S


                                    DEFAULT RATIO 1:1

                                             15
vendredi 1 mars 13
events

                         JOB -B1                  JOB -E1



            JOB -A1                                         JOB -A2


                                                              CHAIN-C
                         JOB -C1   JOB -C2    JOB -C3



            JOB -D1           SPLIT & MERGE
                              DIRECTORY WATCHER
                                      16
vendredi 1 mars 13
schedule




                                     agenda des maintenances

                                     agenda des jours fériés




                                17
vendredi 1 mars 13
le terrain



                                  18
vendredi 1 mars 13
run_job

                     encadrer le job

                     variables d’environnement

                     utilisation de sudo

                     monitoring




                                           19
vendredi 1 mars 13
versionning !!!



                                 20
vendredi 1 mars 13
COUNTDOWN
    VISUALISATION DES PROCHAINES TÂCHES
                                          21
vendredi 1 mars 13
TIMELINE
                     22
vendredi 1 mars 13
last but not least



                                  23
vendredi 1 mars 13
API
                                        XML over HTTP


                     CLI en Perl

                     JavaScript

                     JAVA

                     CuRL




                                   24
vendredi 1 mars 13
events/

     config/ live/
                     remote/
                                    server-2#4444
                               25
vendredi 1 mars 13
JITL
                                JobScheduler Integrated Template Library

                     Logging and Cleanup

                     Sanity Checking

                     Mail Forwarding

                     Remote Job Execution

                     File Transfer

                     File Operations


                                             26
vendredi 1 mars 13
JADE : JOBSCHEDULER ADVANCED DATA
    ÉCHANGE DE FICHIERS INTÉGRABLE DANS JOBSCHEDULER
                                            27
vendredi 1 mars 13
F***ing 32bits



                                28
vendredi 1 mars 13
Libérez
             ##sysadmin
             Combattez l’oppression

             Luttez contre El Dictator




                                         29
vendredi 1 mars 13
@frbayart
             http://bit.ly/frbayart




                                      30
vendredi 1 mars 13

JobScheduler sysadmindays#4 2013

  • 1.
    JobScheduler sysadmin days #4 - 2013 FRANÇOIS BAYART COMPANY TWITTER LOOK A BOX @FRBAYART 1 vendredi 1 mars 13
  • 2.
    INTRO / CONTEXTE 2 vendredi 1 mars 13
  • 3.
    sos-berlin Software- und Organisations-Service licences : GPLv2, Commercial scheduler : Unix, Linux, Windows 3 vendredi 1 mars 13
  • 4.
    architecture 4 vendredi 1 mars 13
  • 5.
    Technologies SCRIPTING DE L’OS 5 vendredi 1 mars 13
  • 6.
    composants dénominations DAEMON UI & TOOLS instance Engine JOC Supervisor JOE SQL DB* JID 6 vendredi 1 mars 13
  • 7.
    AJAX JAVASCRIPT JSE ou Jetty JOC : JOBSCHEDULER OPERATIONS CENTRE GESTIONNAIRE JAVASCRIPT (VISULATION, ACTIONS SIMPLES) 7 vendredi 1 mars 13
  • 8.
    JOE : JOBSCHEDULEROBJECT EDITOR ÉDITEUR GRAPHIQUE (CONFIGURATION, JOBS, EVENTS) 8 vendredi 1 mars 13
  • 9.
    JID : JOBSCHEDULERINFORMATION DASHBOARD TABLEAU DE BORD (HISTORIQUE DES TACHES, VISUALISATION DES LOGS) 9 vendredi 1 mars 13
  • 10.
    Mais pourquoi uneDB ? trace de log historique : des tâches des ordres Oracle MS SQL-Ser ver DB2 Events MySQL PostgreSQL Firebird Sybase ASE 10 vendredi 1 mars 13
  • 11.
    utilisation 11 vendredi 1 mars 13
  • 12.
    pre-/post-process job example variables java , javascript HISTORY CONSOLE LOG JOB -A1 SHORTER/LONGER THAN TIMEOUT 15H00 EMAIL <JOB NAME="SIMPLE_SHELL"> <SCRIPT LANGUAGE="SHELL"><![CDATA[ ECHO HELLO WORLD START IMMEDIATELY ]]></SCRIPT> </JOB> 12 vendredi 1 mars 13
  • 13.
    chain example SERVER-1 SERVER-2 CHAIN-A JOB -A1 JOB -A2 15H00 JOB ORDER CHAIN ORDER PROCESS_CLASS 13 vendredi 1 mars 13
  • 14.
    repeat & lock SERVER-1 SERVER-2 SQL- RW CHAIN-A JOB -A1 JOB -A2 15H00 SQL- RO JOB -B1 REPEAT 1S HH:MM[:SS] START/START END/START LOCK EXCLUSIVE 14 vendredi 1 mars 13
  • 15.
    sync SERVER-1 SERVER-2 SQL- RW CHAIN-A JOB -A1 JOB -A2 JOB -A3 15H00 SYNC SQL- RO CHAIN-C JOB -B1 JOB -C1 JOB -C2 REPEAT 1S DEFAULT RATIO 1:1 15 vendredi 1 mars 13
  • 16.
    events JOB -B1 JOB -E1 JOB -A1 JOB -A2 CHAIN-C JOB -C1 JOB -C2 JOB -C3 JOB -D1 SPLIT & MERGE DIRECTORY WATCHER 16 vendredi 1 mars 13
  • 17.
    schedule agenda des maintenances agenda des jours fériés 17 vendredi 1 mars 13
  • 18.
    le terrain 18 vendredi 1 mars 13
  • 19.
    run_job encadrer le job variables d’environnement utilisation de sudo monitoring 19 vendredi 1 mars 13
  • 20.
    versionning !!! 20 vendredi 1 mars 13
  • 21.
    COUNTDOWN VISUALISATION DES PROCHAINES TÂCHES 21 vendredi 1 mars 13
  • 22.
    TIMELINE 22 vendredi 1 mars 13
  • 23.
    last but notleast 23 vendredi 1 mars 13
  • 24.
    API XML over HTTP CLI en Perl JavaScript JAVA CuRL 24 vendredi 1 mars 13
  • 25.
    events/ config/ live/ remote/ server-2#4444 25 vendredi 1 mars 13
  • 26.
    JITL JobScheduler Integrated Template Library Logging and Cleanup Sanity Checking Mail Forwarding Remote Job Execution File Transfer File Operations 26 vendredi 1 mars 13
  • 27.
    JADE : JOBSCHEDULERADVANCED DATA ÉCHANGE DE FICHIERS INTÉGRABLE DANS JOBSCHEDULER 27 vendredi 1 mars 13
  • 28.
    F***ing 32bits 28 vendredi 1 mars 13
  • 29.
    Libérez ##sysadmin Combattez l’oppression Luttez contre El Dictator 29 vendredi 1 mars 13
  • 30.
    @frbayart http://bit.ly/frbayart 30 vendredi 1 mars 13