IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Ignore:
Timestamp:
Aug 26, 2010, 9:18:39 AM (16 years ago)
Author:
Serge CHASTEL
Message:

Merging trunk in branch

Location:
branches/sc_branches/trunkTest
Files:
2 edited

Legend:

Unmodified
Added
Removed

  • branches/sc_branches/trunkTest

  • branches/sc_branches/trunkTest/ippScripts/scripts/automate_stacks.pl

    r28916 r29060  
    4646my ( $check_stacks, $queue_stacks, $check_sweetspot, $queue_sweetspot, $check_diffs, $queue_diffs, $clean_old);
    4747my ( $check_detrends, $queue_detrends, $check_dqstats, $queue_dqstats);
     48my ( $confirm_stacks, $check_confirm_stacks );
    4849
    4950GetOptions(
    … …  
    7071    'check_stacks'         => \$check_stacks,
    7172    'queue_stacks'         => \$queue_stacks,
     73    'confirm_stacks'       => \$confirm_stacks,
     74    'check_confirm_stacks' => \$check_confirm_stacks,
    7275    'check_sweetspot'      => \$check_sweetspot,
    7376    'queue_sweetspot'      => \$queue_sweetspot,
    … …  
    120123    defined $queue_chips or defined $queue_stacks or $queue_sweetspot or $queue_detrends or $queue_dqstats or
    121124    defined $check_chips or defined $check_stacks or $check_sweetspot or $check_detrends or $check_dqstats or
    122     defined $test_mode or defined $clean_old or defined $check_mode;
     125    defined $test_mode or defined $clean_old or defined $check_mode or
     126    defined $confirm_stacks;
    123127
    124128# Configurable parameters from our config file.
    … …  
    132136my %stackable_list = ();
    133137my %reduction_class = ();
     138my %macro_formats = ();
    134139my @unrecoverable_quality = ();
    135140my @detrend_list = ();
    … …  
    181186    elsif (${ $entry }{name} eq 'UNRECOVERABLE_QUALITY') {
    182187        push @unrecoverable_quality, ${ $entry }{value};
     188    }
     189    elsif (${ $entry }{name} eq 'MACRO_DEFINITIONS') {
     190        my @macro_data = @{ ${ $entry }{value} };
     191        my $this_mode = '';
     192        foreach my $mentry (@macro_data) {
     193            if (${ $mentry }{name} eq 'PROC_MODE') {
     194                $this_mode = ${ $mentry }{value};
     195            }
     196            elsif (${ $mentry }{name} eq 'MACRO') {
     197                $macro_formats{$this_mode} = ${ $mentry }{value};
     198            }
     199        }
    183200    }
    184201    elsif (${ $entry }{name} eq 'TARGETS') {
    … …  
    306323        print "CLEAN: $z $clean_commands{$z} $clean_retention{$z}\n";
    307324    }
     325    foreach $z (keys (%macro_formats)) {
     326        print "MACROS: $z $macro_formats{$z}\n";
     327    }
    308328   
    309329}
    … …  
    385405        $metadata_out{nsState} = 'STACKING_POSSIBLE_ERROR';
    386406    }
     407    return_metadata($date);
     408    exit(0);
     409}
     410
     411if (defined($check_confirm_stacks) || defined($test_mode) || defined($check_mode)) {
     412    $metadata_out{nsState} = 'CONFIRM_STACKING';
     413    &confirm_stacks($date,"pretend");
     414    return_metadata($date);
     415    unless (defined($test_mode) || defined($check_mode)) { exit(0); }
     416}
     417if (defined($confirm_stacks)) {
     418    $metadata_out{nsState} = 'CONFIRM_STACKING';
     419    &confirm_stacks($date);
    387420    return_metadata($date);
    388421    exit(0);
    … …  
    582615    $metadata_out{btN} = $N - 1;
    583616    $metadata_out{btNCounter} = 0;
    584 
     617    add_to_macro_list('define_burntool',1,$date);
    585618    return(0);
    586619}
    … …  
    589622# Chips
    590623################################################################################
     624
    591625
    592626sub construct_chiptool_cmd {
    … …  
    680714    }
    681715    $metadata_out{nsState} = 'TOWARP';
     716
    682717    return(0);
    683718}
    … …  
    696731        if ($Nexposures == 0) {
    697732            print STDERR "execute_chips: Target $target on $date had no exposures.\n";
    698             next;
     733#           next;
    699734        }
    700735        if ($Nalready != 0) {
    701736            print STDERR "execute_chips: Not queueing $target on $date due to already existing exposures.\n";
    702             next;
     737#            next;
    703738        }
    704739        if ($Nimfiles != $Nburntooled) {
    … …  
    712747            chip_queue($date,$target);
    713748        }
     749        if (defined($pretend)) {
     750            add_to_macro_list('check_chips',$stackable_list{$target},$date,$target);
     751        }
     752        else {
     753            add_to_macro_list('queue_chips',$stackable_list{$target},$date,$target);
     754        }
     755                   
    714756    }
    715757    if ($exposures == 0) {
    … …  
    717759    }
    718760}
     761
    719762
    720763#
    … …  
    742785    my $date = shift;
    743786   
    744 #     my $db = init_gpc_db();
    745 #     my $trunc_date = $date; $trunc_date =~ s/-//g;
    746 
    747 #     my $where = " label LIKE '%.nightlyscience' AND data_group' ";
    748 #     my $chip_sth = "SELECT * from chipRun WHERE (state = 'full' OR state = 'new' OR state = 'cleaned') AND $where ";
    749 #     my $cam_sth = "SELECT * from camRun WHERE state = 'full' AND $where ";
    750 
    751 #     my $chip_ref = $db->selectall_arrayref( $chip_sth );
    752 #     my $cam_ref = $db->selectall_arrayref( $cam_sth );
    753    
    754787    my $command = construct_dqstats_cmd($date) . ' -pretend ';
    755788    my ( $success, $error_code, $full_buf, $stdout_buf, $stderr_buf ) =
    … …  
    762795    my @input_exposures = split /\n/, (join '', @$stdout_buf);
    763796
    764     return($#input_exposures + 1,1,1); # $#{ $chip_ref } + 1, $#{ $cam_ref } + 1);
     797    return($#input_exposures + 1,1,1);
    765798}
    766799 
    … …  
    791824        unless(defined($pretend)) {
    792825            dqstats_queue($date);
     826        }
     827        if (defined($pretend)) {
     828            add_to_macro_list('check_dqstats',1,$date);
     829        }
     830        else {
     831            add_to_macro_list('queue_dqstats',1,$date);
    793832        }
    794833    }
    … …  
    887926            detrend_queue($date,$target);
    888927        }
     928        if (defined($pretend)) {
     929            add_to_macro_list('check_detrends',1,$date,$target,"dettool");
     930        }
     931        else {
     932            add_to_macro_list('queue_detrends',1,$date,$target,"dettool");
     933        }
    889934    }
    890935    if ($exposures == 0) {
    … …  
    10231068        $metadata_out{nsState} = 'SS_DONE';
    10241069        sweetspot_queue($date);
     1070    }
     1071    if (defined($pretend)) {
     1072        add_to_macro_list('check_sweetspot',1,$date);
     1073    }
     1074    else {
     1075        add_to_macro_list('queue_sweetspot',1,$date);
    10251076    }
    10261077}
    … …  
    11731224                    stack_queue($date,$target,$filter);
    11741225                }
     1226                if (defined($pretend)) {
     1227                    add_to_macro_list('check_stacks',$stackable_list{$target},$date,$target,$filter);
     1228                }
     1229                else {
     1230                    add_to_macro_list('queue_stacks',$stackable_list{$target},$date,$target,$filter);
     1231                }
    11751232            }
    11761233        }
    … …  
    11811238
    11821239}
     1240
     1241sub post_stack_queue {
     1242    my $date = shift;
     1243    my $target = shift;
     1244
     1245    my ($label,$workdir,$obs_mode,$object,$comment,$tess_id,$dist_group,$data_group,$reduction) = get_tool_parameters($date,$target);
     1246    # check warp stage == chip stage
     1247    my $db = init_gpc_db();
     1248
     1249    my $trunc_date = $date; $trunc_date =~ s/-//g;
     1250
     1251    my $where = " label = '$label' AND data_group = '$data_group' ";
     1252
     1253    my $stack_full_sth = "SELECT * from stackRun where $where ";
     1254    my $stack_done_sth = "SELECT * from stackRun LEFT JOIN stackSumSkyfile USING(stack_id) WHERE $where ";
     1255    $stack_done_sth .= " AND ((state = 'full') OR (state = 'new' && fault != 0)) ";
     1256
     1257    my $stack_full_ref = $db->selectall_arrayref( $stack_full_sth );
     1258    my $stack_done_ref = $db->selectall_arrayref( $stack_done_sth );
     1259
     1260    return($#{ $stack_full_ref } + 1, $#{ $stack_done_ref } + 1);
     1261}
     1262
     1263sub confirm_stacks {
     1264    my $date = shift;
     1265    my $pretend = shift;
     1266   
     1267    foreach my $target (@target_list) {
     1268        if ($stackable_list{$target} == 1) {
     1269            my ($Nstacks, $Nattempted) = post_stack_queue($date,$target);
     1270            if ($Nstacks != $Nattempted) {
     1271                if ($debug == 1) {
     1272                    print STDERR "confirm_stacks: Target $target on $date is not done stacking. $Nstacks $Nattempted\n"
     1273                }
     1274                if ($metadata_out{nsState} eq 'CONFIRM_STACKING') {
     1275                    $metadata_out{nsState} = 'STACKING';
     1276                }
     1277                   
     1278                next;
     1279            }
     1280            if ($metadata_out{nsState} eq 'CONFIRM_STACKING') {
     1281                if (defined($pretend)) {
     1282                    add_to_macro_list('check_confirm_stacks',$stackable_list{$target},$date,$target);
     1283                }
     1284                else {
     1285                    add_to_macro_list('confirm_stacks',$stackable_list{$target},$date,$target);
     1286                }
     1287            }
     1288        }
     1289    }
     1290}           
    11831291
    11841292#
    … …  
    12331341
    12341342    foreach my $mode (@mode_list) {
    1235 #       if ((exists($clean_alternate{$mode})) && ($clean_alternate{$mode} eq 'A')) {
    1236 #           my ($cleaning_date,$command) = construct_cleantool_args($date,"",$mode);
    1237 #           if ($cleaning_date eq 'no clean') {
    1238 #               next;
    1239 #           }
    1240 #           print STDERR "$command\n";
    1241 #           if (!(defined($pretend) || $debug == 1)) {
    1242 # #           print STDERR "BEAR IS DRIVING!?\n";
    1243 #               my ( $success, $error_code, $full_buf, $stdout_buf, $stderr_buf ) =
    1244 #                   run ( command => $command, verbose => $verbose );
    1245 #               unless ($success) {
    1246 #                   $error_code = (($error_code >> 8) or $PS_EXIT_PROG_ERROR);
    1247 #                   &my_die("Unable to perform cleantool ($command): $error_code", 0,0,$date, $PS_EXIT_SYS_ERROR);
    1248 #               }
    1249 #           }
    1250 #       }
    1251 #       else {
    1252             foreach my $target (@target_list) {
    1253                 if (exists($noclean_list{$target})) {
    1254                     next;
     1343        foreach my $target (@target_list) {
     1344            if (exists($noclean_list{$target})) {
     1345                next;
     1346            }
     1347            my ($cleaning_date,$command) = construct_cleantool_args($date,$target,$mode);
     1348            if ($cleaning_date eq 'no clean') {
     1349                next;
     1350            }           
     1351            print STDERR "$command\n";
     1352            if (!(defined($pretend) || $debug == 1)) {
     1353#           print STDERR "BEAR IS DRIVING!?\n";
     1354                my ( $success, $error_code, $full_buf, $stdout_buf, $stderr_buf ) =
     1355                    run ( command => $command, verbose => $verbose );
     1356                unless ($success) {
     1357                    $error_code = (($error_code >> 8) or $PS_EXIT_PROG_ERROR);
     1358                    &my_die("Unable to perform cleantool ($command): $error_code", 0,0,$date, $PS_EXIT_SYS_ERROR);
    12551359                }
    1256                 my ($cleaning_date,$command) = construct_cleantool_args($date,$target,$mode);
    1257                 if ($cleaning_date eq 'no clean') {
    1258                     next;
    1259                 }               
    1260                 print STDERR "$command\n";
    1261                 if (!(defined($pretend) || $debug == 1)) {
    1262 #           print STDERR "BEAR IS DRIVING!?\n";
    1263                     my ( $success, $error_code, $full_buf, $stdout_buf, $stderr_buf ) =
    1264                         run ( command => $command, verbose => $verbose );
    1265                     unless ($success) {
    1266                         $error_code = (($error_code >> 8) or $PS_EXIT_PROG_ERROR);
    1267                         &my_die("Unable to perform cleantool ($command): $error_code", 0,0,$date, $PS_EXIT_SYS_ERROR);
    1268                     }
    1269                 }
    1270             }
    1271 #       }
     1360                add_to_macro_list('clean_old',1,$date,$target,$mode);
     1361            }
     1362        }
    12721363    }
    12731364    return(0);
    12741365}
    1275 
    1276 
    1277 
    12781366
    12791367#
    … …  
    13241412    my $workdir = 'neb://@HOST@.0/' . $dbname . "/detverify.nt/${workdir_date}/${lc_type}${internal_filter}";
    13251413    return($label,$workdir,$det_filter,$exp_type,$det_type,$ref_det_id,$ref_iter,$maxN);
     1414}
     1415
     1416sub add_to_macro_list {
     1417    my $proc_mode = shift;
     1418    my $do_or_do_not = shift;
     1419    my $date = shift;
     1420    my $target = shift;
     1421    my $mode = shift;
     1422
     1423    if ((defined($macro_formats{$proc_mode}))&&($do_or_do_not)) {
     1424        unless (defined($metadata_out{N_MACROS})) {
     1425            $metadata_out{N_MACROS} = 0;
     1426        }
     1427        my $N = $metadata_out{N_MACROS};
     1428        $metadata_out{"ns${N}Macro"} = $macro_formats{$proc_mode};
     1429        print STDERR "WORKING ON A MACRO: ns${N}Macro $proc_mode $macro_formats{$proc_mode}\n";
     1430        if (defined($date)&&(defined($target))) {
     1431
     1432            my ($label,$workdir,$obs_mode,$object,$comment,$tess_id,$dist_group,$data_group,$reduction)
     1433                = get_tool_parameters($date,$target);
     1434            $metadata_out{"ns${N}Macro"} =~ s/\@LABEL\@/$label/;
     1435            $metadata_out{"ns${N}Macro"} =~ s/\@WORKDIR\@/$workdir/;
     1436            $metadata_out{"ns${N}Macro"} =~ s/\@OBS_MODE\@/$obs_mode/;
     1437            $metadata_out{"ns${N}Macro"} =~ s/\@OBJECT\@/$object/;
     1438            $metadata_out{"ns${N}Macro"} =~ s/\@COMMENT\@/$comment/;
     1439            $metadata_out{"ns${N}Macro"} =~ s/\@TESS_ID\@/$tess_id/;
     1440            $metadata_out{"ns${N}Macro"} =~ s/\@DIST_GROUP\@/$dist_group/;
     1441            $metadata_out{"ns${N}Macro"} =~ s/\@DATA_GROUP\@/$data_group/;
     1442            $metadata_out{"ns${N}Macro"} =~ s/\@REDUCTION\@/$reduction/;
     1443        }
     1444        if (defined($mode)) {
     1445            $metadata_out{"ns${N}Macro"} =~ s/\@EXTRA\@/$mode/;
     1446        }
     1447        if (defined($date)) {
     1448            $metadata_out{"ns${N}Macro"} =~ s/\@DATE\@/$date/;
     1449        }
     1450        $metadata_out{N_MACROS} ++;
     1451    }
    13261452}
    13271453
Note: See TracChangeset for help on using the changeset viewer.