IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Changeset 24552


Ignore:
Timestamp:
Jun 25, 2009, 1:49:09 PM (17 years ago)
Author:
bills
Message:

changed the columns magicked from TINYINT to BIGINT
store magic_ds_id of the magicDSRun that was used for destreaking

Location:
trunk
Files:
11 edited

Legend:

Unmodified
Added
Removed

  • trunk/dbconfig/changes.txt

    r24513 r24552  
    11641164
    11651165-- Version 1.1.54
     1166
     1167-- changed magicked from a flag to a BIGINT
     1168-- The value is the magic_ds_id of the magicDSRun that destreaked the file/run
     1169
     1170ALTER TABLE magicDSFile ADD COLUMN data_state VARCHAR(64);
     1171ALTER TABLE magicDSFile ADD KEY(data_state);
     1172UPDATE magicDSFile SET data_state = 'full' WHERE data_state IS NULL;
     1173
     1174ALTER TABLE rawImfile CHANGE COLUMN magicked  magicked BIGINT;
     1175ALTER TABLE rawExp CHANGE COLUMN magicked  magicked BIGINT;
     1176
     1177ALTER TABLE chipProcessedImfile CHANGE COLUMN magicked  magicked BIGINT;
     1178ALTER TABLE chipRun CHANGE COLUMN magicked  magicked BIGINT;
     1179
     1180-- so far only chipRuns have been magicked in product
     1181UPDATE chipProcessedImfile JOIN magicDSRun ON stage = 'chip' AND chip_id = stage_id
     1182    SET chipProcessedImfile.magicked = magic_ds_id
     1183    WHERE magicDSRun.re_place
     1184    AND chipProcessedImfile.magicked > 0;
     1185
     1186UPDATE chipRun JOIN magicDSRun ON stage = 'chip' AND chip_id = stage_id
     1187    SET chipRun.magicked = magic_ds_id
     1188    WHERE magicDSRun.re_place
     1189    AND chipRun.magicked > 0;
     1190
     1191ALTER TABLE warpSkyfile CHANGE COLUMN magicked  magicked BIGINT;
     1192ALTER TABLE warpRun CHANGE COLUMN magicked  magicked BIGINT;
     1193
     1194ALTER TABLE diffSkyfile CHANGE COLUMN magicked  magicked BIGINT;
     1195ALTER TABLE diffRun CHANGE COLUMN magicked  magicked BIGINT;
     1196
     1197

  • trunk/dbconfig/chip.md

    r23866 r24552  
    1111    tess_id     STR         64
    1212    end_stage   STR         64      # Key
    13     magicked    BOOL        f
     13    magicked    S64         0
    1414END
    1515
    … …  
    8989    fault           S16     0       # Key NOT NULL
    9090    quality         S16     0
    91     magicked        BOOL    f
     91    magicked        S64     0
    9292END
    9393

  • trunk/dbconfig/diff.md

    r24174 r24552  
    1212    bothways    BOOL        f
    1313    exposure    BOOL        f
    14     magicked    BOOL        f
     14    magicked    S64         0
    1515END
    1616
    … …  
    5757    fault        S16        0       # Key
    5858    quality      S16        0
    59     magicked     BOOL       f
     59    magicked    S64         0
    6060END

  • trunk/dbconfig/magic.md

    r24174 r24552  
    6464    recovery_path_base STR        255
    6565    fault       S16         0
     66    data_state  STR        64     # Key
    6667END

  • trunk/dbconfig/raw.md

    r23688 r24552  
    6565    fault       S16         0       # Key NOT NULL
    6666    epoch       UTC         0001-01-01T00:00:00Z
    67     magicked    BOOL        f
     67    magicked    S64         0
    6868END
    6969
    … …  
    135135    quality     S16         0
    136136    epoch       UTC         0001-01-01T00:00:00Z
    137     magicked    BOOL        f
     137    magicked    S64         0
    138138END

  • trunk/dbconfig/warp.md

    r24487 r24552  
    2222    end_stage   STR         64      # Key
    2323    registered  TAI         NULL
    24     magicked    BOOL        f
     24    magicked    S64         0
    2525END
    2626
    … …  
    5858    fault          S16      0       # Key
    5959    quality        S16      0
    60     magicked       BOOL     f
     60    magicked       S64      0
    6161END
    6262

  • trunk/ippTools/share/pxadmin_create_tables.sql

    r24512 r24552  
    163163    fault SMALLINT NOT NULL,
    164164    epoch TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
    165     magicked TINYINT,
     165    magicked BIGINT,
    166166    PRIMARY KEY(exp_id),
    167167    KEY(exp_name),
    … …  
    236236    epoch TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
    237237    raw_image_id BIGINT AUTO_INCREMENT,
    238     magicked TINYINT,
     238    magicked BIGINT,
    239239    PRIMARY KEY(exp_id, class_id),
    240240    KEY(tmp_class_id),
    … …  
    259259    tess_id VARCHAR(64),
    260260    end_stage VARCHAR(64),
    261     magicked TINYINT,
     261    magicked BIGINT,
    262262    PRIMARY KEY(chip_id),
    263263    KEY(chip_id), KEY(exp_id),
    … …  
    797797    end_stage VARCHAR(64),
    798798    registered DATETIME,
    799     magicked TINYINT,
     799    magicked BIGINT,
    800800    PRIMARY KEY(warp_id),
    801801    KEY(warp_id),
    … …  
    850850    quality SMALLINT NOT NULL DEFAULT 0,
    851851    fault SMALLINT,
    852     magicked TINYINT,
     852    magicked BIGINT,
    853853    PRIMARY KEY(warp_id, skycell_id, tess_id),
    854854    KEY(good_frac),
    … …  
    937937        bothways TINYINT DEFAULT 0,
    938938        exposure TINYINT DEFAULT 0,
    939         magicked TINYINT,
     939        magicked BIGINT,
    940940        PRIMARY KEY(diff_id),
    941941        KEY(diff_id),
    … …  
    996996        quality SMALLINT NOT NULL DEFAULT 0,
    997997        fault SMALLINT,
    998         magicked TINYINT,
     998        magicked BIGINT,
    999999        PRIMARY KEY(diff_id, skycell_id),
    10001000        KEY(good_frac),
    … …  
    10931093    recovery_path_base VARCHAR(255),
    10941094    fault SMALLINT,
     1095    data_state VARCHAR(64),
    10951096    PRIMARY KEY(magic_ds_id, component),
    10961097    KEY(fault),
     1098    KEY(data_state),
    10971099    FOREIGN KEY(magic_ds_id) REFERENCES magicDSRun(magic_ds_id)
    10981100) ENGINE=innodb DEFAULT CHARSET=latin1;

  • trunk/ippTools/src/chiptool.c

    r23919 r24552  
    473473    PXOPT_LOOKUP_F32(n_cr, config->args,           "-n_cr", false, false);
    474474    PXOPT_LOOKUP_STR(path_base, config->args,      "-path_base", false, false);
    475     PXOPT_LOOKUP_BOOL(magicked, config->args,      "-magicked", false);
     475    PXOPT_LOOKUP_S64(magicked, config->args,       "-magicked", false, false);
    476476
    477477    // default values
    … …  
    601601    PXOPT_COPY_STR(config->args, where, "-reduction", "chipRun.reduction", "==");
    602602    pxAddLabelSearchArgs (config, where, "-label", "chipRun.label", "LIKE");
    603     PXOPT_COPY_S32(config->args, where, "-magicked", "chipRun.magicked", "==");
     603    PXOPT_COPY_S64(config->args, where, "-magicked", "chipRun.magicked", "==");
    604604
    605605    if (!psListLength(where->list) &&

  • trunk/ippTools/src/difftool.c

    r24225 r24552  
    4949static bool importrunMode(pxConfig *config);
    5050
    51 static bool setdiffRunState(pxConfig *config, psS64 diff_id, const char *state, bool magicked);
     51static bool setdiffRunState(pxConfig *config, psS64 diff_id, const char *state, psS64 magicked);
    5252static bool diffRunComplete(pxConfig *config);
    5353
    … …  
    512512    PXOPT_LOOKUP_STR(hostname, config->args, "-hostname", false, false);
    513513    PXOPT_LOOKUP_F32(good_frac, config->args, "-good_frac", false, false);
    514     PXOPT_LOOKUP_BOOL(magicked, config->args, "-magicked", false);
     514    PXOPT_LOOKUP_S64(magicked, config->args, "-magicked", false, false);
    515515
    516516    if (!psDBTransaction(config->dbh)) {
    … …  
    739739
    740740
    741 static bool setdiffRunState(pxConfig *config, psS64 diff_id, const char *state, bool magicked)
     741static bool setdiffRunState(pxConfig *config, psS64 diff_id, const char *state, psS64 magicked)
    742742{
    743743    PS_ASSERT_PTR_NON_NULL(state, false);
    … …  
    749749    }
    750750
    751     char *query = "UPDATE diffRun SET state = '%s', magicked = %d WHERE diff_id = %"PRId64;
     751    char *query = "UPDATE diffRun SET state = '%s', magicked = %" PRId64 " WHERE diff_id = %"PRId64;
    752752
    753753    if (!p_psDBRunQueryF(config->dbh, query, state, magicked, diff_id)) {
    … …  
    803803            false,
    804804            false,
    805             false       // magicked
     805            0       // magicked
    806806    );
    807807
    … …  
    11901190                false,                  // bothways
    11911191                true,                   // exposure
    1192                 false       // magicked
     1192                0       // magicked
    11931193        );
    11941194
    … …  
    18051805
    18061806        psS64 diff_id = psMetadataLookupS64(NULL, row, "diff_id");
    1807         bool magicked = psMetadataLookupBool(NULL, row, "magicked");
     1807        psS64 magicked = psMetadataLookupS64(NULL, row, "magicked");
    18081808
    18091809        // set diffRun.state to 'stop'

  • trunk/ippTools/src/magicdstool.c

    r24284 r24552  
    505505    // chose the appropriate query based on the stage
    506506    if (!strcmp(stage, "raw")) {
    507         query = "UPDATE rawImfile SET magicked = 1 where exp_id = %" PRId64 " AND class_id = '%s'";
     507        query = "UPDATE rawImfile SET magicked = %" PRId64 " where exp_id = %" PRId64 " AND class_id = '%s'";
    508508    } else if (!strcmp(stage, "chip")) {
    509         query = "UPDATE chipProcessedImfile SET magicked = 1 where chip_id = %" PRId64 " AND class_id = '%s'";
     509        query = "UPDATE chipProcessedImfile SET magicked = %" PRId64 " where chip_id = %" PRId64 " AND class_id = '%s'";
    510510    } else if (!strcmp(stage, "warp")) {
    511         query = "UPDATE warpSkyfile SET magicked = 1 where warp_id = %" PRId64 " AND skycell_id = '%s'";
     511        query = "UPDATE warpSkyfile SET magicked = %" PRId64 " where warp_id = %" PRId64 " AND skycell_id = '%s'";
    512512    } else if (!strcmp(stage, "diff")) {
    513         query = "UPDATE diffSkyfile SET magicked = 1 where diff_id = %" PRId64 " AND skycell_id = '%s'";
     513        query = "UPDATE diffSkyfile SET magicked = %" PRId64 " where diff_id = %" PRId64 " AND skycell_id = '%s'";
    514514    } else {
    515515        psError(PS_ERR_UNKNOWN, true, "unexpected value for stage: %s found", stage);
    … …  
    517517        return false;
    518518    }
    519     if (!p_psDBRunQueryF(config->dbh, query, stage_id, component)) {
     519    if (!p_psDBRunQueryF(config->dbh, query, magic_ds_id, stage_id, component)) {
    520520        psError(PS_ERR_UNKNOWN, false, "database error");
    521521        return false;
    … …  
    567567    // chose the appropriate query based on the stage
    568568    if (!strcmp(stage, "raw")) {
    569         query = "UPDATE rawExp SET magicked = 1 where exp_id = %" PRId64;
     569        query = "UPDATE rawExp SET magicked = %" PRId64 " where exp_id = %" PRId64;
    570570    } else if (!strcmp(stage, "chip")) {
    571         query = "UPDATE chipRun SET magicked = 1 where chip_id = %" PRId64;
     571        query = "UPDATE chipRun SET magicked = %" PRId64 " where chip_id = %" PRId64;
    572572    } else if (!strcmp(stage, "warp")) {
    573         query = "UPDATE warpRun SET magicked = 1 where warp_id = %" PRId64;
     573        query = "UPDATE warpRun SET magicked = %" PRId64 " where warp_id = %" PRId64;
    574574    } else if (!strcmp(stage, "diff")) {
    575         query = "UPDATE diffRun SET magicked = 1 where diff_id = %" PRId64;
     575        query = "UPDATE diffRun SET magicked = %" PRId64 " where diff_id = %" PRId64;
    576576    } else {
    577577        psError(PS_ERR_UNKNOWN, true, "unexpected value for stage: %s found", stage);
    … …  
    579579        return false;
    580580    }
    581     if (!p_psDBRunQueryF(config->dbh, query, stage_id)) {
     581    if (!p_psDBRunQueryF(config->dbh, query, magic_ds_id, stage_id)) {
    582582        psError(PS_ERR_UNKNOWN, false, "database error");
    583583        return false;
    … …  
    629629    }
    630630
    631     if (!magicDSFileInsert(config->dbh, magic_ds_id, component, backup_path_base, recovery_path_base, fault)) {
     631    if (!magicDSFileInsert(config->dbh, magic_ds_id, component, backup_path_base, recovery_path_base, fault, "full")) {
    632632            // rollback
    633633        if (!psDBRollback(config->dbh)) {

  • trunk/ippTools/src/warptool.c

    r24487 r24552  
    163163            end_stage,
    164164            registered,
    165             false       // magicked
     165            0       // magicked
    166166    );
    167167    if (!warpRun) {
    … …  
    980980    PXOPT_LOOKUP_STR(hostname, config->args, "-hostname", false, false);
    981981    PXOPT_LOOKUP_F32(good_frac, config->args, "-good_frac", false, false);
    982     PXOPT_LOOKUP_BOOL(magicked, config->args, "-magicked", false);
     982    PXOPT_LOOKUP_S64(magicked, config->args, "-magicked", false, false);
    983983
    984984    // default values
    … …  
    10841084            return false;
    10851085        }
    1086         psS32 magicked = psMetadataLookupS64(&status, row, "magicked");
     1086        psS64 magicked = psMetadataLookupS64(&status, row, "magicked");
    10871087        if (!status) {
    10881088            psError(PS_ERR_UNKNOWN, false, "failed to look up value for magicked");
Note: See TracChangeset for help on using the changeset viewer.