IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Changeset 26867


Ignore:
Timestamp:
Feb 10, 2010, 4:07:44 PM (16 years ago)
Author:
eugene
Message:

updates fro trunk

Location:
branches/eam_branches/20091201/ippTasks
Files:
8 edited

Legend:

Unmodified
Added
Removed

  • branches/eam_branches/20091201/ippTasks/Makefile.am

    r26087 r26867  
    2929        receive.pro \
    3030        publish.pro \
    31         science.cleanup.pro
     31        dqstats.pro \
     32        science.cleanup.pro \
     33        nightly_stacks.pro
    3234
    3335other_files = \

  • branches/eam_branches/20091201/ippTasks/chip.pro

    r25693 r26867  
    138138    book getword chipPendingImfile $pageName state -var RUN_STATE
    139139
    140     if ("$RAW_MAGICKED" == "T")
    141         $MAGICKED_ARG = "--magicked"
     140    if ($RAW_MAGICKED > 0)
     141        $MAGICKED_ARG = "--magicked $RAW_MAGICKED"
    142142    else
    143143        $MAGICKED_ARG = ""

  • branches/eam_branches/20091201/ippTasks/destreak.pro

    r26075 r26867  
    226226    # TODO: do not add recoveryroot or replace if they are null or zero
    227227
    228     $run = magic_destreak.pl --magic_ds_id $MAGIC_DS_ID --camera $CAMERA --streaks $STREAKS --inv_streaks $INV_STREAKS --stage $STAGE --stage_id $STAGE_ID --component $COMPONENT --uri $URI --path_base $PATH_BASE --cam_path_base $CAM_PATH_BASE --outroot $OUTROOT --logfile $logfile --recoveryroot $RECROOT --replace $REPLACE
     228    $run = magic_destreak.pl --magic_ds_id $MAGIC_DS_ID --camera $CAMERA --exp_id $EXP_ID --streaks $STREAKS --inv_streaks $INV_STREAKS --stage $STAGE --stage_id $STAGE_ID --component $COMPONENT --uri $URI --path_base $PATH_BASE --cam_path_base $CAM_PATH_BASE --outroot $OUTROOT --logfile $logfile --recoveryroot $RECROOT --replace $REPLACE
    229229
    230230    add_standard_args run

  • branches/eam_branches/20091201/ippTasks/diff.pro

    r26752 r26867  
    155155    book getword diffSkyfile $pageName bothways -var BOTHWAYS
    156156    book getword diffSkyfile $pageName workdir -var WORKDIR_TEMPLATE
     157    book getword diffSkyfile $pageName state -var RUN_STATE
    157158    book getword diffSkyfile $pageName dbname -var DBNAME
    158159    book getword diffSkyfile $pageName reduction -var REDUCTION
    … …  
    172173    stderr $LOGDIR/diff.skycell.log
    173174
    174     $run = diff_skycell.pl --threads @MAX_THREADS@ --diff_id $DIFF_ID --skycell_id $SKYCELL_ID --diff_skyfile_id $DIFF_SKYFILE_ID --outroot $outroot --redirect-output
     175    $run = diff_skycell.pl --threads @MAX_THREADS@ --diff_id $DIFF_ID --skycell_id $SKYCELL_ID --diff_skyfile_id $DIFF_SKYFILE_ID --outroot $outroot --redirect-output --run-state $RUN_STATE
    175176    if ("$BOTHWAYS" == "T")
    176177       $run = $run --inverse

  • branches/eam_branches/20091201/ippTasks/dist.cleanup.pro

    r26087 r26867  
    4848
    4949  stdout NULL
    50   stderr $LOGDIR/dist.cleanup.log
     50  stderr $LOGDIR/dist.cleanup.load.log
    5151
    5252  task.exec
    5353    if ($LABEL:n == 0) break
    54     $run = disttool -pendingcleanup
     54    $run = disttool -pendingcleanup -all
    5555    if ($DB:n == 0)
    5656      option DEFAULT
    … …  
    9898  periods      -poll $RUNPOLL
    9999  periods      -exec $RUNEXEC
    100   periods      -timeout 60
     100  periods      -timeout 600
    101101  active       false
    102102

  • branches/eam_branches/20091201/ippTasks/magic.pro

    r26812 r26867  
    1414$magicToTree_DB = 0
    1515$magicToProcess_DB = 0
     16$magicRevertTree_DB = 0
     17$magicRevertNode_DB = 0
    1618
    1719### Check status of tasks
    … …  
    2830
    2931### Turn tasks on
     32macro magic.revert.on
     33  task magic.revert.node
     34    active true
     35  end
     36  task magic.revert.tree
     37    active true
     38  end
     39end
     40
    3041macro magic.on
    3142  task magic.tree.load
    … …  
    4051  task magic.process.run
    4152    active true
     53  end
     54  magic.revert.on
     55end
     56
     57macro magic.revert.off
     58  task magic.revert.node
     59    active false
     60  end
     61  task magic.revert.tree
     62    active false
    4263  end
    4364end
    … …  
    5778    active false
    5879  end
     80  magic.revert.off
    5981end
    6082
    … …  
    325347  end
    326348end
     349
     350task magic.revert.node
     351  host         local
     352
     353  periods      -poll 5.0
     354  periods      -exec 60.0
     355  periods      -timeout 120.0
     356  npending     1
     357
     358  stdout NULL
     359  stderr $LOGSUBDIR/revertnode.log
     360
     361  task.exec
     362    if ($LABEL:n == 0) break
     363    $run = magictool -revertnode
     364    if ($DB:n == 0)
     365      option DEFAULT
     366    else
     367      # save the DB name for the exit tasks
     368      option $DB:$magicRevertNode_DB
     369      $run = $run -dbname $DB:$magicRevertNode_DB
     370      $magicRevertNode_DB ++
     371      if ($magicRevertNode_DB >= $DB:n) set magicRevertNode_DB = 0
     372    end
     373    add_poll_labels run
     374    command $run
     375  end
     376
     377  # success
     378  task.exit    0
     379  end
     380
     381  # locked list
     382  task.exit    default
     383    showcommand failure
     384  end
     385
     386  task.exit    crash
     387    showcommand crash
     388  end
     389
     390  # operation times out?
     391  task.exit    timeout
     392    showcommand timeout
     393  end
     394end
     395task magic.revert.tree
     396  host         local
     397
     398  periods      -poll 5.0
     399  periods      -exec 60.0
     400  periods      -timeout 120.0
     401  npending     1
     402
     403  stdout NULL
     404  stderr $LOGSUBDIR/reverttree.log
     405
     406  task.exec
     407    if ($LABEL:n == 0) break
     408    $run = magictool -reverttree
     409    if ($DB:n == 0)
     410      option DEFAULT
     411    else
     412      # save the DB name for the exit tasks
     413      option $DB:$magicRevertTree_DB
     414      $run = $run -dbname $DB:$magicRevertTree_DB
     415      $magicRevertTree_DB ++
     416      if ($magicRevertTree_DB >= $DB:n) set magicRevertTree_DB = 0
     417    end
     418    add_poll_labels run
     419    command $run
     420  end
     421
     422  # success
     423  task.exit    0
     424  end
     425
     426  # locked list
     427  task.exit    default
     428    showcommand failure
     429  end
     430
     431  task.exit    crash
     432    showcommand crash
     433  end
     434
     435  # operation times out?
     436  task.exit    timeout
     437    showcommand timeout
     438  end
     439end

  • branches/eam_branches/20091201/ippTasks/summit.copy.pro

    r25340 r26867  
    111111
    112112    task.exec
     113#      echo "DB_DEBUG: PRE" $pztoolDatastore_DB $DB:$pztoolDatastore_DB
    113114      if ($DB:n == 0)
    114115        option DEFAULT
    … …  
    121122        if ($pztoolDatastore_DB >= $DB:n) set pztoolDatastore_DB = 0
    122123      end
     124
     125      # More debug
     126#      echo "DB_DEBUG: POST" $pztoolDatastore_DB $DB:$pztoolDatastore_DB
    123127      periods -exec 120
    124128    end
    … …  
    127131    task.exit 0
    128132        # flush pzDataStore book
    129         book init pzDataStore
     133#        book init pzDataStore
    130134        # convert 'stdout' to book format
    131135        ipptool2book stdout pzDataStore -key camera:telescope -uniq -setword dbname $options:0
    … …  
    147151# run pzgetexp periodically to populate pzPendingExp in the database (no I/O)
    148152# this task is querying the data store for a list of exposures ("filesets")
    149 # and inserting these into a db table on the local cluster (pzPendingExp)
     153# and inserting these into a db table on the local cluster (pzDownloadExp)
    150154task pzgetexp
    151155  periods      -exec     30
    … …  
    379383    periods      -exec     5
    380384    periods      -poll     0.05
    381     periods      -timeout  650
     385    periods      -timeout  1150
    382386    trange        -reset
    383387    # only active in the night (18:00 to 06:00 HST, times are UT):
    … …  
    446450        stderr $LOGDIR/summit.copy.log
    447451
    448         $run = summit_copy.pl --uri $URI --filename $FILENAME --exp_name $EXP_NAME --inst $CAMERA --telescope $TELESCOPE --class $CLASS --class_id $CLASS_ID --bytes $BYTES --md5 $MD5SUM --dbname $DBNAME --timeout 120 --verbose --copies 2
    449         if ($COMPRESS)
     452        book getpage pzDataStore 0 -var PZDSPAGE -key dbname $DBNAME
     453        book getword pzDataStore $PZDSPAGE use_compress  -var USECOMPRESS
     454
     455        # Debug line
     456#       echo "DEBUG: " $DBNAME $EXP_NAME $CAMERA $PZDSPAGE $USECOMPRESS
     457
     458        # unconditionally turn on requesting compression until we figuure
     459        # out why the above doesn't work
     460        if ($USECOMPRESS == "NULL")
     461#       if ("$CAMERA" == "gpc1")
     462            $USECOMPRESS = 1
     463        end
     464
     465        $run = summit_copy.pl --uri $URI --filename $FILENAME --exp_name $EXP_NAME --inst $CAMERA --telescope $TELESCOPE --class $CLASS --class_id $CLASS_ID --bytes $BYTES --md5 $MD5SUM --dbname $DBNAME --timeout 600 --verbose --copies 2
     466        if ($USECOMPRESS == 1)
    450467            $run = $run --compress
    451         else
    452             $run = $run --bytes $BYTES
    453         end
    454         if (("$MD5SUM" != "NULL") && ("$MD5SUM" != "0") && (not($COMPRESS)))
     468        end
     469#        if (("$MD5SUM" != "NULL") && ("$MD5SUM" != "0") && (not($COMPRESS)))
    455470# && (($YEAR > 2008) || (("$YEAR" = "2007") && ($MONTH > 8))))
    456             $run = $run --md5 $MD5SUM
    457         end
     471#            $run = $run --md5 $MD5SUM
     472#        end
    458473        if ($NEBULOUS)
    459474            $run = $run --nebulous
    … …  
    463478        # store the pageName for future reference below
    464479        options $pageName
    465 
     480       
    466481        # create the command line
    467482        if ($VERBOSE > 1)
    468483          echo command $run
    469484        end
     485        # More debug:
     486#       echo "DEBUG2: " $run
    470487        command $run
    471488    end
    … …  
    506523        if ($pztoolClearFault_DB >= $DB:n) set pztoolClearFault_DB = 0
    507524      end
    508       periods -exec 600
     525      periods -exec 1800
    509526    end
    510527

  • branches/eam_branches/20091201/ippTasks/warp.pro

    r25693 r26867  
    295295    book getword warpPendingSkyCell $pageName state -var RUN_STATE
    296296    book getword warpPendingSkyCell $pageName magicked -var CHIP_MAGICKED
    297     if ("$CHIP_MAGICKED" == "T")
    298         $MAGICKED_ARG = "--magicked"
     297    if ($CHIP_MAGICKED > 0)
     298        $MAGICKED_ARG = "--magicked $CHIP_MAGICKED"
    299299    else
    300300        $MAGICKED_ARG = ""
Note: See TracChangeset for help on using the changeset viewer.