IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Changeset 18076


Ignore:
Timestamp:
Jun 10, 2008, 4:02:14 PM (18 years ago)
Author:
jhoblitt
Message:

MERGE from HEAD

Location:
branches/cleanup/ippTools
Files:
12 added
37 edited

Legend:

Unmodified
Added
Removed

  • branches/cleanup/ippTools/configure.ac

    r17794 r18076  
    1818PKG_CHECK_MODULES([PSLIB], [pslib >= 1.1.0])
    1919PKG_CHECK_MODULES([PSMODULES], [psmodules >= 1.1.0])
    20 PKG_CHECK_MODULES([IPPDB], [ippdb >= 1.1.36])
     20PKG_CHECK_MODULES([IPPDB], [ippdb >= 1.1.38])
    2121
    2222PXTOOLS_CFLAGS="${PSLIB_CFLAGS=} ${PSMODULES_CFLAGS=} ${IPPDB_CFLAGS=}"

  • branches/cleanup/ippTools/scripts/regtest.sh

    r17863 r18076  
    3333$regtool -pendingexp|| exit 1
    3434
    35 $regtool -addprocessedexp -exp_id $exp_id1 -exp_name t10 -inst gpc -telescope ps1 -exp_tag batman.t10 -filelevel OTA -filter r -airmass 10 -ra 1 -decl 2 -exp_type object -exp_time 0 -bg 10 -bg_stdev 1 -bg_mean_stdev 10 -alt 10 -az 10 -ccd_temp 45 -posang 10 -object dog -dateobs "2006-10-20T10:10:10Z" -label foobar $* || exit 1
     35$regtool -addprocessedexp -exp_id $exp_id1 -exp_name t10 -inst gpc -telescope ps1 -exp_tag batman.t10 -filelevel OTA -filter r -airmass 10 -ra 1 -decl 2 -exp_type object -exp_time 0 -bg 10 -bg_stdev 1 -bg_mean_stdev 10 -alt 10 -az 10 -ccd_temp 45 -posang 10 -object dog -dateobs "2006-10-20T10:10:10Z" -label foobar -tess_id moldyshoe $* || exit 1
    3636
    3737$regtool -pendingimfile || exit 1
    … …  
    4343$regtool -pendingexp|| exit 1
    4444
    45 $regtool -addprocessedexp -exp_id $exp_id2 -exp_name t11 -inst gpc -telescope ps1 -exp_tag batman.t11 -filelevel OTA -filter r -airmass 11 -ra 1 -decl 2 -exp_type object -exp_time 0 -bg 11 -bg_stdev 1 -bg_mean_stdev 11 -alt 11 -az 11 -ccd_temp 45 -posang 11 -object dog -dateobs 2006-10-20T10:10:10Z -label foobar $* || exit 1
     45$regtool -addprocessedexp -exp_id $exp_id2 -exp_name t11 -inst gpc -telescope ps1 -exp_tag batman.t11 -filelevel OTA -filter r -airmass 11 -ra 1 -decl 2 -exp_type object -exp_time 0 -bg 11 -bg_stdev 1 -bg_mean_stdev 11 -alt 11 -az 11 -ccd_temp 45 -posang 11 -object dog -dateobs 2006-10-20T10:10:10Z -label foobar -tess_id moldyshoe $* || exit 1

  • branches/cleanup/ippTools/scripts/warptest.sh

    r17145 r18076  
    33set -o verbose
    44
    5 camtest.sh || exit 1
     5faketest.sh || exit 1
    66
    7 #warptool -definerun -mode warp -workdir file:///foo || exit 1
     7#warp tool -definerun -fake_id 1 -mode warp -workdir file:///foo
     8
    89#warptool -addinputexp -warp_id 1 -cam_id 1 || exit 1
    910#warptool -addinputexp -warp_id 1 -cam_id 2 || exit 1
    … …  
    1516
    1617warptool -tooverlap -warp_id 1 || exit 1
    17 
    18 exit 1
    1918
    2019warptool -addoverlap -mapfile mapfile.txt || exit 1

  • branches/cleanup/ippTools/share/Makefile.am

    r17863 r18076  
    11dist_pkgdata_DATA = \
     2        camtool_find_chip_id.sql \
    23        camtool_find_pendingexp.sql \
    34        camtool_find_pendingimfile.sql \
    45        camtool_find_processedexp.sql \
    5         camtool_find_chip_id.sql \
    66        camtool_queue_chip_id.sql \
    77        camtool_reset_faulted_runs.sql \
    … …  
    1919        detselect_search.sql \
    2020        detselect_select.sql \
    21         dettool_tocorrectimfile.sql \
    22         dettool_tocorrectexp.sql \
    23         dettool_stop_completed_correct_runs.sql \
    2421        dettool_find_completed_runs.sql \
    2522        dettool_normalizedstat.sql \
    2623        dettool_raw.sql \
    27         dettool_runs.sql \
    2824        dettool_revertdetrunsummary.sql \
    2925        dettool_revertnormalizedexp.sql \
    … …  
    3531        dettool_revertresidimfile.sql\
    3632        dettool_revertstacked.sql \
     33        dettool_runs.sql \
    3734        dettool_start_new_iteration.sql \
     35        dettool_stop_completed_correct_runs.sql \
     36        dettool_tocorrectexp.sql \
     37        dettool_tocorrectimfile.sql \
    3838        dettool_todetrunsummary.sql \
    3939        dettool_tonormalizedexp.sql \
    … …  
    4545        dettool_tostacked.sql \
    4646        difftool_inputskyfile.sql \
     47        difftool_queue.sql \
     48        difftool_revertdiffskyfile.sql \
    4749        difftool_skyfile.sql \
    4850        difftool_todiffskyfile.sql \
    49         difftool_revertdiffskyfile.sql \
    50         difftool_queue.sql \
     51        faketool_completely_processed_exp.sql \
     52        faketool_find_camrun.sql \
     53        faketool_find_pendingexp.sql \
     54        faketool_pendingimfile.sql \
     55        faketool_processedimfile.sql \
     56        faketool_queue_cam_id.sql \
     57        faketool_revertprocessedimfile.sql \
     58        faketool_unmasked.sql \
     59        flatcorr_completely_processed_chiprun.sql \
    5160        flatcorr_create_tmp_chiprundone.sql \
    52         flatcorr_completely_processed_chiprun.sql \
    5361        flatcorr_find_completed_floatcorruns.sql \
    5462        flatcorr_find_processedimfiles.sql \
    55         magictool_toprocess_inputs.sql \
    56         magictool_toprocess_tree.sql \
    57         magictool_tomask.sql \
    58         magictool_toskyfilemask.sql \
    5963        magictool_find_complete_diffed_exposures.sql \
    6064        magictool_find_complete_warpruns.sql \
    6165        magictool_inputskyfile.sql \
     66        magictool_tomask.sql \
     67        magictool_toprocess_inputs.sql \
     68        magictool_toprocess_tree.sql \
     69        magictool_toskyfilemask.sql \
     70        pxadmin_create_tables.sql \
     71        pxadmin_drop_tables.sql \
    6272        pztool_find_completed_exp.sql \
    6373        pztool_pendingimfile.sql \
    6474        pztool_revertcopied.sql \
    65         pxadmin_create_tables.sql \
    66         pxadmin_drop_tables.sql \
    6775        regtool_pendingexp.sql \
    6876        regtool_pendingimfile.sql \
    … …  
    8088        warptool_scmap.sql \
    8189        warptool_tooverlap.sql \
     90        warptool_revertwarped.sql \
    8291        warptool_towarped.sql \
    83         warptool_warped.sql \
    84         warptool_revertwarped.sql
     92        warptool_warped.sql

  • branches/cleanup/ippTools/share/camtool_find_pendingexp.sql

    r17863 r18076  
    2020--      ON chipProcessedImfile.exp_id = rawExp.exp_id
    2121    LEFT JOIN camProcessedExp
    22         ON camRun.cam_id = camProcessedExp.cam_id
     22        USING(cam_id)
    2323    LEFT JOIN camMask
    2424        ON camRun.label = camMask.label

  • branches/cleanup/ippTools/share/camtool_find_pendingimfile.sql

    r14117 r18076  
    3434        ON chipProcessedImfile.exp_id = rawExp.exp_id
    3535    LEFT JOIN camProcessedExp
    36         ON camRun.cam_id = camProcessedExp.cam_id
     36        USING(cam_id)
    3737    LEFT JOIN camMask
    3838        ON camRun.label = camMask.label

  • branches/cleanup/ippTools/share/camtool_find_processedexp.sql

    r14031 r18076  
    66    rawExp.telescope,
    77    rawExp.filelevel
    8 FROM camProcessedExp
     8FROM camRun
     9JOIN camProcessedExp
     10    USING(cam_id)
    911JOIN chipRun
    1012    USING(chip_id)

  • branches/cleanup/ippTools/share/difftool_inputskyfile.sql

    r16828 r18076  
    1919    JOIN warpRun
    2020        ON diffInputSkyfile.warp_id = warpRun.warp_id
    21     JOIN camProcessedExp
    22         ON warpRun.cam_id = camProcessedExp.cam_id
     21    JOIN fakeRun
     22        USING(fake_id)
     23    JOIN camRun
     24        USING(cam_id)
    2325    JOIN chipRun
    24         ON camProcessedExp.chip_id = chipRun.chip_id
     26        USING(chip_id)
    2527    JOIN chipProcessedImfile
    26         ON chipRun.chip_id = chipProcessedImfile.chip_id
     28        USING(chip_id)
    2729    JOIN rawExp
    28         ON chipProcessedImfile.exp_id = rawExp.exp_id
     30        ON chipRun.exp_id = rawExp.exp_id
    2931    WHERE
    3032        diffRun.state = 'run'
     33        AND warpRun.state = 'stop'
     34        AND fakeRun.state = 'stop'
     35        AND camRun.state = 'stop'
     36        AND chipRun.state = 'stop'
    3137    UNION
    3238    SELECT
    … …  
    4955    JOIN warpRun
    5056        ON stackInputSkyfile.warp_id = warpRun.warp_id
    51     JOIN camProcessedExp
    52         ON warpRun.cam_id = camProcessedExp.cam_id
     57    JOIN fakeRun
     58        USING(fake_id)
     59    JOIN camRun
     60        USING(cam_id)
    5361    JOIN chipRun
    54         ON camProcessedExp.chip_id = chipRun.chip_id
     62        USING(chip_id)
    5563    JOIN chipProcessedImfile
    56         ON chipRun.chip_id = chipProcessedImfile.chip_id
     64        USING(chip_id)
    5765    JOIN rawExp
    58         ON chipProcessedImfile.exp_id = rawExp.exp_id
     66        ON chipRun.exp_id = rawExp.exp_id
    5967    WHERE
    6068        diffRun.state = 'run'
     69        AND warpRun.state = 'stop'
     70        AND fakeRun.state = 'stop'
     71        AND camRun.state = 'stop'
     72        AND chipRun.state = 'stop'
    6173    ) as Foo

  • branches/cleanup/ippTools/share/difftool_todiffskyfile.sql

    r17713 r18076  
    1414JOIN warpRun
    1515    ON warpRun.warp_id = warpSkyfile.warp_id
     16JOIN fakeRun
     17    USING(fake_id)
    1618JOIN camRun
    1719    USING(cam_id)
    … …  
    2426WHERE
    2527  diffRun.state = 'run'
     28  AND warpRun.state = 'stop'
     29  AND fakeRun.state = 'stop'
     30  AND camRun.state = 'stop'
     31  AND chipRun.state = 'stop'
    2632  AND diffSkyfile.diff_id IS NULL

  • branches/cleanup/ippTools/share/pxadmin_create_tables.sql

    r17856 r18076  
    33    telescope VARCHAR(64),
    44    uri VARCHAR(255),
     5    epoch TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
    56    PRIMARY KEY(camera, telescope)
    67) ENGINE=innodb DEFAULT CHARSET=latin1;
    … …  
    1516    imfiles INT,
    1617    fault SMALLINT NOT NULL,
     18    epoch TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
    1719    PRIMARY KEY(exp_name, camera, telescope),
    1820    KEY(fault))
    … …  
    2931    class_id VARCHAR(64),
    3032    uri VARCHAR(255),
     33    epoch TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
    3134    PRIMARY KEY(exp_name, camera, telescope, class, class_id),
    3235    KEY(file_id),
    … …  
    4043    telescope VARCHAR(64),
    4144    state VARCHAR(64),
     45    epoch TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
    4246    PRIMARY KEY(exp_name, camera, telescope),
    4347    KEY(state),
    … …  
    5458    uri VARCHAR(255),
    5559    fault SMALLINT NOT NULL,
     60    epoch TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
    5661    PRIMARY KEY(exp_name, camera, telescope, class, class_id),
    5762    KEY(fault),
    … …  
    6166        REFERENCES  summitImfile(exp_name, camera, telescope, class, class_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    6267
    63 CREATE TABLE newExp (exp_id BIGINT AUTO_INCREMENT, tmp_exp_name VARCHAR(64), tmp_camera VARCHAR(64), tmp_telescope VARCHAR(64), state VARCHAR(64), workdir VARCHAR(255), workdir_state VARCHAR(64), reduction VARCHAR(64), dvodb VARCHAR(255), tess_id VARCHAR(64), end_stage VARCHAR(64), label VARCHAR(64), PRIMARY KEY(exp_id), KEY(exp_id), KEY(tmp_exp_name), KEY(tmp_camera), KEY(tmp_telescope), KEY(state), KEY(workdir_state), KEY(end_stage), KEY(label)) ENGINE=innodb DEFAULT CHARSET=latin1;
    64 CREATE TABLE newImfile (exp_id BIGINT, tmp_class_id VARCHAR(64), uri VARCHAR(255), PRIMARY KEY(exp_id, tmp_class_id), FOREIGN KEY (exp_id)  REFERENCES  newExp(exp_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    65 CREATE TABLE rawExp (exp_id BIGINT, exp_name VARCHAR(64), camera VARCHAR(64), telescope VARCHAR(64), dateobs DATETIME, exp_tag VARCHAR(255), exp_type VARCHAR(64), filelevel VARCHAR(64), workdir VARCHAR(255), reduction VARCHAR(64), dvodb VARCHAR(255), tess_id VARCHAR(64), end_stage VARCHAR(64), filter VARCHAR(64), comment VARCHAR(80), airmass FLOAT, ra DOUBLE, decl DOUBLE, exp_time FLOAT, sat_pixel_frac FLOAT, bg DOUBLE, bg_stdev DOUBLE, bg_mean_stdev DOUBLE, alt DOUBLE, az DOUBLE, ccd_temp FLOAT, posang DOUBLE, m1_x FLOAT, m1_y FLOAT, m1_z FLOAT, m1_tip FLOAT, m1_tilt FLOAT, m2_x FLOAT, m2_y FLOAT, m2_z FLOAT, m2_tip FLOAT, m2_tilt FLOAT, env_temperature FLOAT, env_humidity FLOAT, env_wind_speed FLOAT, env_wind_dir FLOAT, teltemp_m1 FLOAT, teltemp_m1cell FLOAT, teltemp_m2 FLOAT, teltemp_spider FLOAT, teltemp_truss FLOAT, teltemp_extra FLOAT, pon_time FLOAT, user_1 DOUBLE, user_2 DOUBLE, user_3 DOUBLE, user_4 DOUBLE, user_5 DOUBLE, object VARCHAR(64), solang FLOAT, hostname VARCHAR(64), fault SMALLINT NOT NULL, PRIMARY KEY(exp_id), KEY(exp_name), KEY(end_stage), KEY(fault), FOREIGN KEY (exp_id)  REFERENCES  newExp(exp_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    66 CREATE TABLE rawImfile (exp_id BIGINT, exp_name VARCHAR(64), camera VARCHAR(64), telescope VARCHAR(64), dateobs DATETIME, tmp_class_id VARCHAR(64), class_id VARCHAR(64), uri VARCHAR(255), exp_type VARCHAR(64), filelevel VARCHAR(64), filter VARCHAR(64), comment VARCHAR(80), airmass FLOAT, ra DOUBLE, decl DOUBLE, exp_time FLOAT, sat_pixel_frac FLOAT, bg DOUBLE, bg_stdev DOUBLE, bg_mean_stdev DOUBLE, alt DOUBLE, az DOUBLE, ccd_temp FLOAT, posang DOUBLE, m1_x FLOAT, m1_y FLOAT, m1_z FLOAT, m1_tip FLOAT, m1_tilt FLOAT, m2_x FLOAT, m2_y FLOAT, m2_z FLOAT, m2_tip FLOAT, m2_tilt FLOAT, env_temperature FLOAT, env_humidity FLOAT, env_wind_speed FLOAT, env_wind_dir FLOAT, teltemp_m1 FLOAT, teltemp_m1cell FLOAT, teltemp_m2 FLOAT, teltemp_spider FLOAT, teltemp_truss FLOAT, teltemp_extra FLOAT, pon_time FLOAT, user_1 DOUBLE, user_2 DOUBLE, user_3 DOUBLE, user_4 DOUBLE, user_5 DOUBLE, object VARCHAR(64), hostname VARCHAR(64), fault SMALLINT NOT NULL, PRIMARY KEY(exp_id, class_id), KEY(tmp_class_id), KEY(fault), UNIQUE KEY(exp_id, tmp_class_id), FOREIGN KEY (exp_id, tmp_class_id)  REFERENCES  newImfile(exp_id, tmp_class_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
     68CREATE TABLE newExp (
     69    exp_id BIGINT AUTO_INCREMENT,
     70    tmp_exp_name VARCHAR(64),
     71    tmp_camera VARCHAR(64),
     72    tmp_telescope VARCHAR(64),
     73    state VARCHAR(64),
     74    workdir VARCHAR(255),
     75    workdir_state VARCHAR(64),
     76    reduction VARCHAR(64),
     77    dvodb VARCHAR(255),
     78    tess_id VARCHAR(64),
     79    end_stage VARCHAR(64),
     80    label VARCHAR(64),
     81    epoch TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
     82    PRIMARY KEY(exp_id),
     83    KEY(exp_id),
     84    KEY(tmp_exp_name),
     85    KEY(tmp_camera),
     86    KEY(tmp_telescope),
     87    KEY(state),
     88    KEY(workdir_state),
     89    KEY(end_stage),
     90    KEY(label)
     91) ENGINE=innodb DEFAULT CHARSET=latin1;
     92
     93CREATE TABLE newImfile (
     94    exp_id BIGINT,
     95    tmp_class_id VARCHAR(64),
     96    uri VARCHAR(255),
     97    epoch TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
     98    PRIMARY KEY(exp_id, tmp_class_id),
     99    FOREIGN KEY (exp_id)
     100        REFERENCES  newExp(exp_id))
     101ENGINE=innodb DEFAULT CHARSET=latin1;
     102
     103CREATE TABLE rawExp (
     104    exp_id BIGINT,
     105    exp_name VARCHAR(64),
     106    camera VARCHAR(64),
     107    telescope VARCHAR(64),
     108    dateobs DATETIME,
     109    exp_tag VARCHAR(255),
     110    exp_type VARCHAR(64),
     111    filelevel VARCHAR(64),
     112    workdir VARCHAR(255),
     113    reduction VARCHAR(64),
     114    dvodb VARCHAR(255),
     115    tess_id VARCHAR(64),
     116    end_stage VARCHAR(64),
     117    filter VARCHAR(64),
     118    comment VARCHAR(80),
     119    airmass FLOAT,
     120    ra DOUBLE,
     121    decl DOUBLE,
     122    exp_time FLOAT,
     123    sat_pixel_frac FLOAT,
     124    bg DOUBLE,
     125    bg_stdev DOUBLE,
     126    bg_mean_stdev DOUBLE,
     127    alt DOUBLE,
     128    az DOUBLE,
     129    ccd_temp FLOAT,
     130    posang DOUBLE,
     131    m1_x FLOAT,
     132    m1_y FLOAT,
     133    m1_z FLOAT,
     134    m1_tip FLOAT,
     135    m1_tilt FLOAT,
     136    m2_x FLOAT,
     137    m2_y FLOAT,
     138    m2_z FLOAT,
     139    m2_tip FLOAT,
     140    m2_tilt FLOAT,
     141    env_temperature FLOAT,
     142    env_humidity FLOAT,
     143    env_wind_speed FLOAT,
     144    env_wind_dir FLOAT,
     145    teltemp_m1 FLOAT,
     146    teltemp_m1cell FLOAT,
     147    teltemp_m2 FLOAT,
     148    teltemp_spider FLOAT,
     149    teltemp_truss FLOAT,
     150    teltemp_extra FLOAT,
     151    pon_time FLOAT,
     152    user_1 DOUBLE,
     153    user_2 DOUBLE,
     154    user_3 DOUBLE,
     155    user_4 DOUBLE,
     156    user_5 DOUBLE,
     157    object VARCHAR(64),
     158    solang FLOAT,
     159    hostname VARCHAR(64),
     160    fault SMALLINT NOT NULL,
     161    epoch TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
     162    PRIMARY KEY(exp_id),
     163    KEY(exp_name),
     164    KEY(end_stage),
     165    KEY(fault),
     166    FOREIGN KEY (exp_id)
     167        REFERENCES  newExp(exp_id))
     168ENGINE=innodb DEFAULT CHARSET=latin1;
     169
     170CREATE TABLE rawImfile (
     171    exp_id BIGINT,
     172    exp_name VARCHAR(64),
     173    camera VARCHAR(64),
     174    telescope VARCHAR(64),
     175    dateobs DATETIME,
     176    tmp_class_id VARCHAR(64),
     177    class_id VARCHAR(64),
     178    uri VARCHAR(255),
     179    exp_type VARCHAR(64),
     180    filelevel VARCHAR(64),
     181    filter VARCHAR(64),
     182    comment VARCHAR(80),
     183    airmass FLOAT,
     184    ra DOUBLE,
     185    decl DOUBLE,
     186    exp_time FLOAT,
     187    sat_pixel_frac FLOAT,
     188    bg DOUBLE,
     189    bg_stdev DOUBLE,
     190    bg_mean_stdev DOUBLE,
     191    alt DOUBLE,
     192    az DOUBLE,
     193    ccd_temp FLOAT,
     194    posang DOUBLE,
     195    m1_x FLOAT,
     196    m1_y FLOAT,
     197    m1_z FLOAT,
     198    m1_tip FLOAT,
     199    m1_tilt FLOAT,
     200    m2_x FLOAT,
     201    m2_y FLOAT,
     202    m2_z FLOAT,
     203    m2_tip FLOAT,
     204    m2_tilt FLOAT,
     205    env_temperature FLOAT,
     206    env_humidity FLOAT,
     207    env_wind_speed FLOAT,
     208    env_wind_dir FLOAT,
     209    teltemp_m1 FLOAT,
     210    teltemp_m1cell FLOAT,
     211    teltemp_m2 FLOAT,
     212    teltemp_spider FLOAT,
     213    teltemp_truss FLOAT,
     214    teltemp_extra FLOAT,
     215    pon_time FLOAT,
     216    user_1 DOUBLE,
     217    user_2 DOUBLE,
     218    user_3 DOUBLE,
     219    user_4 DOUBLE,
     220    user_5 DOUBLE,
     221    object VARCHAR(64),
     222    hostname VARCHAR(64),
     223    fault SMALLINT NOT NULL,
     224    epoch TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
     225    PRIMARY KEY(exp_id, class_id),
     226    KEY(tmp_class_id),
     227    KEY(fault),
     228    UNIQUE KEY(exp_id, tmp_class_id),
     229    FOREIGN KEY (exp_id, tmp_class_id)
     230        REFERENCES newImfile(exp_id, tmp_class_id))
     231ENGINE=innodb DEFAULT CHARSET=latin1;
     232
    67233CREATE TABLE guidePendingExp (guide_id BIGINT AUTO_INCREMENT, exp_id BIGINT, recipe VARCHAR(64), PRIMARY KEY(guide_id), KEY(guide_id), KEY(exp_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    68 CREATE TABLE chipRun (chip_id BIGINT AUTO_INCREMENT, exp_id BIGINT, state VARCHAR(64), workdir VARCHAR(255), workdir_state VARCHAR(64), label VARCHAR(64), reduction VARCHAR(64), expgroup VARCHAR(64), dvodb VARCHAR(255), tess_id VARCHAR(64), end_stage VARCHAR(64), PRIMARY KEY(chip_id), KEY(chip_id), KEY(exp_id), KEY(state), KEY(workdir_state), KEY(label), KEY(expgroup), KEY(end_stage), INDEX(chip_id, exp_id), FOREIGN KEY  (exp_id)  REFERENCES  rawExp(exp_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    69 CREATE TABLE chipProcessedImfile (chip_id BIGINT, exp_id BIGINT, class_id VARCHAR(64), uri VARCHAR(255), bg FLOAT, bg_stdev FLOAT, bg_mean_stdev FLOAT, bias FLOAT, bias_stdev FLOAT, fringe_0 FLOAT, fringe_1 FLOAT, fringe_2 FLOAT, sigma_ra FLOAT, sigma_dec FLOAT, ap_resid FLOAT, ap_resid_stdev FLOAT, zp_mean FLOAT, zp_stdev FLOAT, fwhm_major FLOAT, fwhm_minor FLOAT, dtime_detrend FLOAT, dtime_photom FLOAT, dtime_astrom FLOAT, hostname VARCHAR(64), n_stars INT, n_extended INT, n_cr INT, n_astrom INT, path_base VARCHAR(255), fault SMALLINT NOT NULL, PRIMARY KEY(chip_id, exp_id, class_id), KEY(fault), FOREIGN KEY  (chip_id, exp_id)  REFERENCES  chipRun(chip_id, exp_id), FOREIGN KEY  (exp_id, class_id)  REFERENCES  rawImfile(exp_id, class_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    70 CREATE TABLE chipMask (label VARCHAR(64), PRIMARY KEY(label)) ENGINE=innodb DEFAULT CHARSET=latin1;
    71 CREATE TABLE camRun (cam_id BIGINT AUTO_INCREMENT, chip_id BIGINT, state VARCHAR(64), workdir VARCHAR(255), workdir_state VARCHAR(64), label VARCHAR(64), reduction VARCHAR(64), expgroup VARCHAR(64), dvodb VARCHAR(255), tess_id VARCHAR(64), end_stage VARCHAR(64), PRIMARY KEY(cam_id), KEY(cam_id), KEY(chip_id), KEY(state), KEY(workdir_state), KEY(label), KEY(expgroup), KEY(end_stage), INDEX(cam_id, chip_id), FOREIGN KEY (chip_id)  REFERENCES  chipRun(chip_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    72 CREATE TABLE camProcessedExp (cam_id BIGINT, chip_id BIGINT, uri VARCHAR(255), bg FLOAT, bg_stdev FLOAT, bg_mean_stdev FLOAT, bias FLOAT, bias_stdev FLOAT, fringe_0 FLOAT, fringe_1 FLOAT, fringe_2 FLOAT, sigma_ra FLOAT, sigma_dec FLOAT, ap_resid FLOAT, ap_resid_stdev FLOAT, zp_mean FLOAT, zp_stdev FLOAT, fwhm_major FLOAT, fwhm_minor FLOAT, dtime_detrend FLOAT, dtime_photom FLOAT, dtime_astrom FLOAT, hostname VARCHAR(64), n_stars INT, n_extended INT, n_cr INT, n_astrom INT, path_base VARCHAR(255), fault SMALLINT NOT NULL, PRIMARY KEY(cam_id, chip_id), KEY(fault), FOREIGN KEY (cam_id, chip_id)  REFERENCES  camRun(cam_id, chip_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    73 CREATE TABLE camMask (label VARCHAR(64), PRIMARY KEY(label)) ENGINE=innodb DEFAULT CHARSET=latin1;
    74 CREATE TABLE detRun (det_id BIGINT AUTO_INCREMENT, iteration INT, det_type VARCHAR(64), mode VARCHAR(64), state VARCHAR(64), filelevel VARCHAR(64), workdir VARCHAR(255), camera VARCHAR(64), telescope VARCHAR(64), exp_type VARCHAR(64), reduction VARCHAR(64), filter VARCHAR(64), airmass_min FLOAT, airmass_max FLOAT, exp_time_min FLOAT, exp_time_max FLOAT, ccd_temp_min FLOAT, ccd_temp_max FLOAT, posang_min DOUBLE, posang_max DOUBLE, registered DATETIME, time_begin DATETIME, time_end DATETIME, use_begin DATETIME, use_end DATETIME, solang_min FLOAT, solang_max FLOAT, label VARCHAR(64), parent INT, PRIMARY KEY(det_id), KEY(det_id), KEY(iteration), KEY(det_type), KEY(mode), KEY(state), KEY(label), KEY(parent), INDEX(det_id, iteration)) ENGINE=innodb DEFAULT CHARSET=latin1;
    75 CREATE TABLE detInputExp (det_id BIGINT, iteration INT, exp_id BIGINT, include TINYINT, PRIMARY KEY(det_id, iteration, exp_id), INDEX(det_id, exp_id), INDEX(det_id, iteration), FOREIGN KEY (det_id)  REFERENCES  detRun(det_id), FOREIGN KEY (exp_id)  REFERENCES  rawExp(exp_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    76 CREATE TABLE detProcessedImfile (det_id BIGINT, exp_id BIGINT, class_id VARCHAR(64), uri VARCHAR(255), recipe VARCHAR(64), bg DOUBLE, bg_stdev DOUBLE, bg_mean_stdev DOUBLE, fringe_0 DOUBLE, fringe_1 DOUBLE, fringe_2 DOUBLE, user_1 DOUBLE, user_2 DOUBLE, user_3 DOUBLE, user_4 DOUBLE, user_5 DOUBLE, path_base VARCHAR(255), fault SMALLINT NOT NULL, PRIMARY KEY(det_id, exp_id, class_id), KEY(fault), INDEX(det_id, class_id), INDEX(det_id, exp_id), FOREIGN KEY (det_id, exp_id)  REFERENCES  detInputExp(det_id, exp_id), FOREIGN KEY (exp_id, class_id)  REFERENCES  rawImfile(exp_id, class_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    77 CREATE TABLE detProcessedExp (det_id BIGINT, exp_id BIGINT, recipe VARCHAR(64), bg DOUBLE, bg_stdev DOUBLE, bg_mean_stdev DOUBLE, fringe_0 DOUBLE, fringe_1 DOUBLE, fringe_2 DOUBLE, user_1 DOUBLE, user_2 DOUBLE, user_3 DOUBLE, user_4 DOUBLE, user_5 DOUBLE, path_base VARCHAR(255), fault SMALLINT NOT NULL, PRIMARY KEY(det_id, exp_id), KEY(fault), FOREIGN KEY (det_id, exp_id)  REFERENCES  detInputExp(det_id, exp_id), FOREIGN KEY (det_id, exp_id)  REFERENCES  detProcessedImfile(det_id, exp_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    78 CREATE TABLE detStackedImfile (det_id BIGINT, iteration INT, class_id VARCHAR(64), uri VARCHAR(255), recipe VARCHAR(64), bg DOUBLE, bg_stdev DOUBLE, bg_mean_stdev DOUBLE, user_1 DOUBLE, user_2 DOUBLE, user_3 DOUBLE, user_4 DOUBLE, user_5 DOUBLE, fault SMALLINT NOT NULL, PRIMARY KEY(det_id, iteration, class_id), KEY(fault), FOREIGN KEY (det_id, iteration)  REFERENCES  detInputExp(det_id, iteration), FOREIGN KEY (det_id, class_id)  REFERENCES  detProcessedImfile(det_id, class_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    79 CREATE TABLE detNormalizedStatImfile (det_id BIGINT, iteration INT, class_id VARCHAR(64), norm FLOAT, fault SMALLINT NOT NULL, PRIMARY KEY(det_id, iteration, class_id), KEY(fault), FOREIGN KEY (det_id, iteration)  REFERENCES  detInputExp(det_id, iteration), FOREIGN KEY (det_id, iteration, class_id)  REFERENCES  detStackedImfile(det_id, iteration, class_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    80 CREATE TABLE detNormalizedImfile (det_id BIGINT, iteration INT, class_id VARCHAR(64), uri VARCHAR(255), bg DOUBLE, bg_stdev DOUBLE, bg_mean_stdev DOUBLE, user_1 DOUBLE, user_2 DOUBLE, user_3 DOUBLE, user_4 DOUBLE, user_5 DOUBLE, path_base VARCHAR(255), fault SMALLINT NOT NULL, PRIMARY KEY(det_id, iteration, class_id), KEY(fault), INDEX(det_id, iteration), FOREIGN KEY (det_id)  REFERENCES  detInputExp(det_id), FOREIGN KEY (det_id, iteration, class_id)  REFERENCES  detNormalizedStatImfile(det_id, iteration, class_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    81 CREATE TABLE detNormalizedExp (det_id BIGINT, iteration INT, recipe VARCHAR(64), bg DOUBLE, bg_stdev DOUBLE, bg_mean_stdev DOUBLE, user_1 DOUBLE, user_2 DOUBLE, user_3 DOUBLE, user_4 DOUBLE, user_5 DOUBLE, path_base VARCHAR(255), fault SMALLINT NOT NULL, PRIMARY KEY(det_id, iteration), KEY(fault), FOREIGN KEY (det_id, iteration)  REFERENCES  detInputExp(det_id, iteration), FOREIGN KEY (det_id, iteration)  REFERENCES  detNormalizedImfile(det_id, iteration)) ENGINE=innodb DEFAULT CHARSET=latin1;
    82 CREATE TABLE detResidImfile (det_id BIGINT, iteration INT, exp_id BIGINT, class_id VARCHAR(64), uri VARCHAR(255), recipe VARCHAR(64), bg DOUBLE, bg_stdev DOUBLE, bg_mean_stdev DOUBLE, bg_skewness DOUBLE, bg_kurtosis DOUBLE, bin_stdev DOUBLE, fringe_0 DOUBLE, fringe_1 DOUBLE, fringe_2 DOUBLE, fringe_resid_0 DOUBLE, fringe_resid_1 DOUBLE, fringe_resid_2 DOUBLE, user_1 DOUBLE, user_2 DOUBLE, user_3 DOUBLE, user_4 DOUBLE, user_5 DOUBLE, path_base VARCHAR(255), fault SMALLINT NOT NULL, PRIMARY KEY(det_id, iteration, exp_id, class_id), KEY(fault), INDEX(det_id, iteration, exp_id), FOREIGN KEY (det_id, iteration, exp_id)  REFERENCES  detInputExp(det_id, iteration, exp_id), FOREIGN KEY (det_id, exp_id, class_id)  REFERENCES  detProcessedImfile(det_id, exp_id, class_id), FOREIGN KEY (det_id, iteration)  REFERENCES  detNormalizedExp(det_id, iteration)) ENGINE=innodb DEFAULT CHARSET=latin1;
     234
     235CREATE TABLE chipRun (
     236    chip_id BIGINT AUTO_INCREMENT,
     237    exp_id BIGINT,
     238    state VARCHAR(64),
     239    workdir VARCHAR(255),
     240    workdir_state VARCHAR(64),
     241    label VARCHAR(64),
     242    reduction VARCHAR(64),
     243     expgroup VARCHAR(64),
     244    dvodb VARCHAR(255),
     245    tess_id VARCHAR(64),
     246    end_stage VARCHAR(64),
     247    PRIMARY KEY(chip_id),
     248    KEY(chip_id), KEY(exp_id),
     249    KEY(state),
     250    KEY(workdir_state),
     251    KEY(label),
     252    KEY(expgroup),
     253    KEY(end_stage),
     254    INDEX(chip_id, exp_id),
     255    FOREIGN KEY (exp_id) 
     256        REFERENCES rawExp(exp_id))
     257ENGINE=innodb DEFAULT CHARSET=latin1;
     258
     259CREATE TABLE chipProcessedImfile (
     260    chip_id BIGINT,
     261    exp_id BIGINT,
     262    class_id VARCHAR(64),
     263    uri VARCHAR(255),
     264    bg FLOAT,
     265    bg_stdev FLOAT,
     266    bg_mean_stdev FLOAT,
     267    bias FLOAT,
     268    bias_stdev FLOAT,
     269    fringe_0 FLOAT,
     270    fringe_1 FLOAT,
     271    fringe_2 FLOAT,
     272    sigma_ra FLOAT,
     273    sigma_dec FLOAT,
     274    ap_resid FLOAT,
     275    ap_resid_stdev FLOAT,
     276    zp_mean FLOAT,
     277    zp_stdev FLOAT,
     278    fwhm_major FLOAT,
     279    fwhm_minor FLOAT,
     280    dtime_detrend FLOAT,
     281    dtime_photom FLOAT,
     282    dtime_astrom FLOAT,
     283    hostname VARCHAR(64),
     284    n_stars INT,
     285    n_extended INT,
     286    n_cr INT,
     287    n_astrom INT,
     288    path_base VARCHAR(255),
     289    fault SMALLINT NOT NULL,
     290    PRIMARY KEY(chip_id, exp_id, class_id),
     291    KEY(fault),
     292    FOREIGN KEY (chip_id, exp_id) 
     293        REFERENCES  chipRun(chip_id, exp_id),
     294    FOREIGN KEY (exp_id, class_id)
     295        REFERENCES  rawImfile(exp_id, class_id))
     296ENGINE=innodb DEFAULT CHARSET=latin1;
     297
     298CREATE TABLE chipMask (
     299    label VARCHAR(64),
     300    PRIMARY KEY(label))
     301ENGINE=innodb DEFAULT CHARSET=latin1;
     302
     303CREATE TABLE camRun (
     304    cam_id BIGINT AUTO_INCREMENT,
     305    chip_id BIGINT,
     306    state VARCHAR(64),
     307    workdir VARCHAR(255),
     308    workdir_state VARCHAR(64),
     309    label VARCHAR(64),
     310    reduction VARCHAR(64),
     311    expgroup VARCHAR(64),
     312    dvodb VARCHAR(255),
     313    tess_id VARCHAR(64),
     314    end_stage VARCHAR(64),
     315    PRIMARY KEY(cam_id),
     316    KEY(cam_id),
     317    KEY(chip_id),
     318    KEY(state),
     319    KEY(workdir_state),
     320    KEY(label),
     321    KEY(expgroup),
     322    KEY(end_stage),
     323    INDEX(cam_id, chip_id),
     324    FOREIGN KEY (chip_id) 
     325        REFERENCES chipRun(chip_id))
     326ENGINE=innodb DEFAULT CHARSET=latin1;
     327
     328CREATE TABLE camProcessedExp (
     329    cam_id BIGINT,
     330    uri VARCHAR(255),
     331    bg FLOAT,
     332    bg_stdev FLOAT,
     333    bg_mean_stdev FLOAT,
     334    bias FLOAT,
     335    bias_stdev FLOAT,
     336    fringe_0 FLOAT,
     337    fringe_1 FLOAT,
     338    fringe_2 FLOAT,
     339    sigma_ra FLOAT,
     340    sigma_dec FLOAT,
     341    ap_resid FLOAT,
     342    ap_resid_stdev FLOAT,
     343    zp_mean FLOAT,
     344    zp_stdev FLOAT,
     345    fwhm_major FLOAT,
     346    fwhm_minor FLOAT,
     347    dtime_detrend FLOAT,
     348    dtime_photom FLOAT,
     349    dtime_astrom FLOAT,
     350    hostname VARCHAR(64),
     351    n_stars INT,
     352    n_extended INT,
     353    n_cr INT,
     354    n_astrom INT,
     355    path_base VARCHAR(255),
     356    fault SMALLINT NOT NULL,
     357    PRIMARY KEY(cam_id),
     358    KEY(fault),
     359    FOREIGN KEY (cam_id) 
     360        REFERENCES camRun(cam_id))
     361ENGINE=innodb DEFAULT CHARSET=latin1;
     362
     363CREATE TABLE camMask (
     364    label VARCHAR(64),
     365    PRIMARY KEY(label))
     366ENGINE=innodb DEFAULT CHARSET=latin1;
     367
     368CREATE TABLE fakeRun (
     369    fake_id BIGINT AUTO_INCREMENT,
     370    cam_id BIGINT,
     371    state VARCHAR(64),
     372    workdir VARCHAR(255),
     373    label VARCHAR(64),
     374    reduction VARCHAR(64),
     375    expgroup VARCHAR(64),
     376    dvodb VARCHAR(255),
     377    tess_id VARCHAR(64),
     378    end_stage VARCHAR(64),
     379    epoch TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
     380    PRIMARY KEY(fake_id),
     381    KEY(cam_id),
     382    KEY(state),
     383    KEY(label),
     384    KEY(expgroup),
     385    KEY(end_stage),
     386    INDEX(fake_id, cam_id),
     387    FOREIGN KEY (cam_id) 
     388        REFERENCES camRun(cam_id))
     389ENGINE=innodb DEFAULT CHARSET=latin1;
     390
     391CREATE TABLE fakeProcessedImfile (
     392    fake_id BIGINT AUTO_INCREMENT,
     393    exp_id BIGINT,
     394    class_id VARCHAR(64),
     395    uri VARCHAR(255),
     396    dtime_fake FLOAT,
     397    hostname VARCHAR(64),
     398    path_base VARCHAR(255),
     399    fault SMALLINT NOT NULL,
     400    epoch TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
     401    PRIMARY KEY(fake_id, exp_id, class_id),
     402    KEY(fault),
     403    FOREIGN KEY (fake_id) 
     404        REFERENCES fakeRun(fake_id),
     405    FOREIGN KEY (exp_id, class_id) 
     406        REFERENCES rawImfile(exp_id, class_id))
     407ENGINE=innodb DEFAULT CHARSET=latin1;
     408
     409CREATE TABLE fakeMask (
     410    label VARCHAR(64),
     411    PRIMARY KEY(label))
     412ENGINE=innodb DEFAULT CHARSET=latin1;
     413
     414CREATE TABLE detRun (
     415    det_id BIGINT AUTO_INCREMENT,
     416    iteration INT,
     417    det_type VARCHAR(64),
     418    mode VARCHAR(64),
     419    state VARCHAR(64),
     420    filelevel VARCHAR(64),
     421    workdir VARCHAR(255),
     422    camera VARCHAR(64),
     423    telescope VARCHAR(64),
     424    exp_type VARCHAR(64),
     425    reduction VARCHAR(64),
     426    filter VARCHAR(64),
     427    airmass_min FLOAT,
     428    airmass_max FLOAT,
     429    exp_time_min FLOAT,
     430    exp_time_max FLOAT,
     431    ccd_temp_min FLOAT,
     432    ccd_temp_max FLOAT,
     433    posang_min DOUBLE,
     434    posang_max DOUBLE,
     435    registered DATETIME,
     436    time_begin DATETIME,
     437    time_end DATETIME,
     438    use_begin DATETIME,
     439    use_end DATETIME,
     440    solang_min FLOAT,
     441    solang_max FLOAT,
     442    label VARCHAR(64),
     443    parent INT,
     444    PRIMARY KEY(det_id),
     445    KEY(det_id),
     446    KEY(iteration),
     447    KEY(det_type),
     448    KEY(mode),
     449    KEY(state),
     450    KEY(label),
     451    KEY(parent),
     452    INDEX(det_id, iteration))
     453ENGINE=innodb DEFAULT CHARSET=latin1;
     454
     455CREATE TABLE detInputExp (
     456det_id BIGINT,
     457iteration INT,
     458exp_id BIGINT,
     459include TINYINT,
     460PRIMARY KEY(det_id, iteration, exp_id),
     461INDEX(det_id, exp_id),
     462INDEX(det_id, iteration),
     463FOREIGN KEY (det_id) 
     464REFERENCES  detRun(det_id),
     465FOREIGN KEY (exp_id) 
     466REFERENCES  rawExp(exp_id))
     467ENGINE=innodb DEFAULT CHARSET=latin1;
     468
     469CREATE TABLE detProcessedImfile (
     470    det_id BIGINT,
     471    exp_id BIGINT,
     472    class_id VARCHAR(64),
     473    uri VARCHAR(255),
     474    recipe VARCHAR(64),
     475    bg DOUBLE,
     476    bg_stdev DOUBLE,
     477    bg_mean_stdev DOUBLE,
     478    fringe_0 DOUBLE,
     479    fringe_1 DOUBLE,
     480    fringe_2 DOUBLE,
     481    user_1 DOUBLE,
     482    user_2 DOUBLE,
     483    user_3 DOUBLE,
     484    user_4 DOUBLE,
     485    user_5 DOUBLE,
     486    path_base VARCHAR(255),
     487    fault SMALLINT NOT NULL,
     488    PRIMARY KEY(det_id, exp_id, class_id),
     489    KEY(fault),
     490    INDEX(det_id, class_id),
     491    INDEX(det_id, exp_id),
     492    FOREIGN KEY (det_id, exp_id) 
     493        REFERENCES  detInputExp(det_id, exp_id),
     494    FOREIGN KEY (exp_id, class_id) 
     495        REFERENCES  rawImfile(exp_id, class_id)
     496) ENGINE=innodb DEFAULT CHARSET=latin1;
     497
     498CREATE TABLE detProcessedExp (
     499    det_id BIGINT,
     500    exp_id BIGINT,
     501    recipe VARCHAR(64),
     502    bg DOUBLE,
     503    bg_stdev DOUBLE,
     504    bg_mean_stdev DOUBLE,
     505    fringe_0 DOUBLE,
     506    fringe_1 DOUBLE,
     507    fringe_2 DOUBLE,
     508    user_1 DOUBLE,
     509    user_2 DOUBLE,
     510    user_3 DOUBLE,
     511    user_4 DOUBLE,
     512    user_5 DOUBLE,
     513    path_base VARCHAR(255),
     514    fault SMALLINT NOT NULL,
     515    PRIMARY KEY(det_id, exp_id),
     516    KEY(fault),
     517    FOREIGN KEY (det_id, exp_id) 
     518        REFERENCES  detInputExp(det_id, exp_id),
     519    FOREIGN KEY (det_id, exp_id) 
     520        REFERENCES  detProcessedImfile(det_id, exp_id)
     521) ENGINE=innodb DEFAULT CHARSET=latin1;
     522
     523CREATE TABLE detStackedImfile (
     524    det_id BIGINT,
     525    iteration INT,
     526    class_id VARCHAR(64),
     527    uri VARCHAR(255),
     528    recipe VARCHAR(64),
     529    bg DOUBLE,
     530    bg_stdev DOUBLE,
     531    bg_mean_stdev DOUBLE,
     532    user_1 DOUBLE,
     533    user_2 DOUBLE,
     534    user_3 DOUBLE,
     535    user_4 DOUBLE,
     536    user_5 DOUBLE,
     537    fault SMALLINT NOT NULL,
     538    PRIMARY KEY(det_id, iteration, class_id),
     539    KEY(fault),
     540    FOREIGN KEY (det_id, iteration) 
     541        REFERENCES  detInputExp(det_id, iteration),
     542    FOREIGN KEY (det_id, class_id) 
     543        REFERENCES  detProcessedImfile(det_id, class_id)
     544) ENGINE=innodb DEFAULT CHARSET=latin1;
     545
     546CREATE TABLE detNormalizedStatImfile (
     547    det_id BIGINT,
     548    iteration INT,
     549    class_id VARCHAR(64),
     550    norm FLOAT,
     551    fault SMALLINT NOT NULL,
     552    PRIMARY KEY(det_id, iteration, class_id),
     553    KEY(fault),
     554    FOREIGN KEY (det_id, iteration) 
     555    REFERENCES  detInputExp(det_id, iteration),
     556    FOREIGN KEY (det_id, iteration, class_id) 
     557    REFERENCES  detStackedImfile(det_id, iteration, class_id)
     558) ENGINE=innodb DEFAULT CHARSET=latin1;
     559
     560CREATE TABLE detNormalizedImfile (
     561    det_id BIGINT,
     562    iteration INT,
     563    class_id VARCHAR(64),
     564    uri VARCHAR(255),
     565    bg DOUBLE,
     566    bg_stdev DOUBLE,
     567    bg_mean_stdev DOUBLE,
     568    user_1 DOUBLE,
     569    user_2 DOUBLE,
     570    user_3 DOUBLE,
     571    user_4 DOUBLE,
     572    user_5 DOUBLE,
     573    path_base VARCHAR(255),
     574    fault SMALLINT NOT NULL,
     575    PRIMARY KEY(det_id, iteration, class_id),
     576    KEY(fault),
     577    INDEX(det_id, iteration),
     578    FOREIGN KEY (det_id) 
     579    REFERENCES  detInputExp(det_id),
     580    FOREIGN KEY (det_id, iteration, class_id) 
     581    REFERENCES  detNormalizedStatImfile(det_id, iteration, class_id)
     582) ENGINE=innodb DEFAULT CHARSET=latin1;
     583
     584CREATE TABLE detNormalizedExp (
     585    det_id BIGINT,
     586    iteration INT,
     587    recipe VARCHAR(64),
     588    bg DOUBLE,
     589    bg_stdev DOUBLE,
     590    bg_mean_stdev DOUBLE,
     591    user_1 DOUBLE,
     592    user_2 DOUBLE,
     593    user_3 DOUBLE,
     594    user_4 DOUBLE,
     595    user_5 DOUBLE,
     596    path_base VARCHAR(255),
     597    fault SMALLINT NOT NULL,
     598    PRIMARY KEY(det_id, iteration),
     599    KEY(fault),
     600    FOREIGN KEY (det_id, iteration) 
     601    REFERENCES  detInputExp(det_id, iteration),
     602    FOREIGN KEY (det_id, iteration) 
     603    REFERENCES  detNormalizedImfile(det_id, iteration)
     604) ENGINE=innodb DEFAULT CHARSET=latin1;
     605
     606CREATE TABLE detResidImfile (
     607    det_id BIGINT,
     608    iteration INT,
     609    exp_id BIGINT,
     610    class_id VARCHAR(64),
     611    uri VARCHAR(255),
     612    recipe VARCHAR(64),
     613    bg DOUBLE,
     614    bg_stdev DOUBLE,
     615    bg_mean_stdev DOUBLE,
     616    bg_skewness DOUBLE,
     617    bg_kurtosis DOUBLE,
     618    bin_stdev DOUBLE,
     619    fringe_0 DOUBLE,
     620    fringe_1 DOUBLE,
     621    fringe_2 DOUBLE,
     622    fringe_resid_0 DOUBLE,
     623    fringe_resid_1 DOUBLE,
     624    fringe_resid_2 DOUBLE,
     625    user_1 DOUBLE,
     626    user_2 DOUBLE,
     627    user_3 DOUBLE,
     628    user_4 DOUBLE,
     629    user_5 DOUBLE,
     630    path_base VARCHAR(255),
     631    fault SMALLINT NOT NULL,
     632    PRIMARY KEY(det_id, iteration, exp_id, class_id),
     633    KEY(fault),
     634    INDEX(det_id, iteration, exp_id),
     635    FOREIGN KEY (det_id, iteration, exp_id) 
     636    REFERENCES  detInputExp(det_id, iteration, exp_id),
     637    FOREIGN KEY (det_id, exp_id, class_id) 
     638    REFERENCES  detProcessedImfile(det_id, exp_id, class_id),
     639    FOREIGN KEY (det_id, iteration) 
     640    REFERENCES  detNormalizedExp(det_id, iteration)
     641) ENGINE=innodb DEFAULT CHARSET=latin1;
     642
    83643CREATE TABLE detResidExp (det_id BIGINT, iteration INT, exp_id BIGINT, recipe VARCHAR(64), bg DOUBLE, bg_stdev DOUBLE, bg_mean_stdev DOUBLE, bg_skewness DOUBLE, bg_kurtosis DOUBLE, bin_stdev DOUBLE, fringe_0 DOUBLE, fringe_1 DOUBLE, fringe_2 DOUBLE, fringe_resid_0 DOUBLE, fringe_resid_1 DOUBLE, fringe_resid_2 DOUBLE, user_1 DOUBLE, user_2 DOUBLE, user_3 DOUBLE, user_4 DOUBLE, user_5 DOUBLE, path_base VARCHAR(255), accept TINYINT, fault SMALLINT NOT NULL, PRIMARY KEY(det_id, iteration, exp_id), KEY(fault), INDEX(det_id, iteration), FOREIGN KEY (det_id, iteration, exp_id)  REFERENCES  detInputExp(det_id, iteration, exp_id), FOREIGN KEY (det_id, iteration, exp_id)  REFERENCES  detResidImfile(det_id, iteration, exp_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    84644CREATE TABLE detRunSummary (det_id BIGINT, iteration INT, bg DOUBLE, bg_stdev DOUBLE, bg_mean_stdev DOUBLE, accept TINYINT, fault SMALLINT NOT NULL, PRIMARY KEY(det_id, iteration), KEY(fault), FOREIGN KEY (det_id, iteration)  REFERENCES  detInputExp(det_id, iteration), FOREIGN KEY (det_id, iteration)  REFERENCES  detResidExp(det_id, iteration)) ENGINE=innodb DEFAULT CHARSET=latin1;
    85645CREATE TABLE detRegisteredImfile (det_id BIGINT, iteration INT, class_id VARCHAR(64), uri VARCHAR(255), bg DOUBLE, bg_stdev DOUBLE, bg_mean_stdev DOUBLE, user_1 DOUBLE, user_2 DOUBLE, user_3 DOUBLE, user_4 DOUBLE, user_5 DOUBLE, path_base VARCHAR(255), fault SMALLINT NOT NULL, PRIMARY KEY(det_id, iteration, class_id), KEY(fault), FOREIGN KEY (det_id, iteration)  REFERENCES  detRun(det_id, iteration)) ENGINE=innodb DEFAULT CHARSET=latin1;
    86 CREATE TABLE warpRun (warp_id BIGINT AUTO_INCREMENT, cam_id BIGINT, mode VARCHAR(64), state VARCHAR(64), workdir VARCHAR(255), workdir_state VARCHAR(64), label VARCHAR(64), dvodb VARCHAR(255), tess_id VARCHAR(64), end_stage VARCHAR(64), registered DATETIME, magiced TINYINT, PRIMARY KEY(warp_id), KEY(warp_id), KEY(cam_id), KEY(mode), KEY(state), KEY(workdir_state), KEY(label), KEY(end_stage), KEY(magiced), INDEX(warp_id, cam_id), FOREIGN KEY (cam_id)  REFERENCES  camProcessedExp(cam_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    87 CREATE TABLE warpSkyCellMap (warp_id BIGINT, skycell_id VARCHAR(64), tess_id VARCHAR(64), cam_id BIGINT, class_id VARCHAR(64), fault SMALLINT, PRIMARY KEY(warp_id, skycell_id, tess_id, cam_id, class_id), KEY(fault), FOREIGN KEY (warp_id, cam_id)  REFERENCES  warpRun(warp_id, cam_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    88 CREATE TABLE warpSkyfile (warp_id BIGINT, skycell_id VARCHAR(64), tess_id VARCHAR(64), uri VARCHAR(255), path_base VARCHAR(255), bg DOUBLE, bg_stdev DOUBLE, dtime_warp FLOAT, hostname VARCHAR(64), good_frac FLOAT, xmin INT, xmax INT, ymin INT, ymax INT, ignored TINYINT, fault SMALLINT, PRIMARY KEY(warp_id, skycell_id, tess_id), KEY(good_frac), KEY(ignored), KEY(fault), FOREIGN KEY (warp_id, skycell_id, tess_id)  REFERENCES  warpSkyCellMap(warp_id, skycell_id, tess_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    89 CREATE TABLE warpMask (label VARCHAR(64), PRIMARY KEY(label)) ENGINE=innodb DEFAULT CHARSET=latin1;
     646
     647CREATE TABLE warpRun (
     648    warp_id BIGINT AUTO_INCREMENT,
     649    fake_id BIGINT,
     650    mode VARCHAR(64),
     651    state VARCHAR(64),
     652    workdir VARCHAR(255),
     653    workdir_state VARCHAR(64),
     654    label VARCHAR(64),
     655    dvodb VARCHAR(255),
     656    tess_id VARCHAR(64),
     657    end_stage VARCHAR(64),
     658    registered DATETIME,
     659    magiced TINYINT,
     660    PRIMARY KEY(warp_id),
     661    KEY(warp_id),
     662    KEY(fake_id),
     663    KEY(mode),
     664    KEY(state),
     665    KEY(workdir_state),
     666    KEY(label),
     667    KEY(end_stage),
     668    KEY(magiced),
     669    INDEX(warp_id, fake_id),
     670    FOREIGN KEY (fake_id) 
     671        REFERENCES fakeRun(fake_id)
     672) ENGINE=innodb DEFAULT CHARSET=latin1;
     673
     674CREATE TABLE warpSkyCellMap (
     675    warp_id BIGINT,
     676    skycell_id VARCHAR(64),
     677    tess_id VARCHAR(64),
     678    class_id VARCHAR(64),
     679    fault SMALLINT,
     680    PRIMARY KEY(warp_id, skycell_id, tess_id, class_id),
     681    KEY(fault),
     682    FOREIGN KEY (warp_id)
     683        REFERENCES warpRun(warp_id)
     684) ENGINE=innodb DEFAULT CHARSET=latin1;
     685
     686CREATE TABLE warpSkyfile (
     687    warp_id BIGINT,
     688    skycell_id VARCHAR(64),
     689    tess_id VARCHAR(64),
     690    uri VARCHAR(255),
     691    path_base VARCHAR(255),
     692    bg DOUBLE,
     693    bg_stdev DOUBLE,
     694    dtime_warp FLOAT,
     695    hostname VARCHAR(64),
     696    good_frac FLOAT,
     697    xmin INT,
     698    xmax INT,
     699    ymin INT,
     700    ymax INT,
     701    ignored TINYINT,
     702    fault SMALLINT,
     703    PRIMARY KEY(warp_id, skycell_id, tess_id),
     704    KEY(good_frac),
     705    KEY(ignored), KEY(fault),
     706    FOREIGN KEY (warp_id, skycell_id, tess_id) 
     707        REFERENCES warpSkyCellMap(warp_id, skycell_id, tess_id)
     708) ENGINE=innodb DEFAULT CHARSET=latin1;
     709
     710CREATE TABLE warpMask (
     711    label VARCHAR(64),
     712    PRIMARY KEY(label)
     713) ENGINE=innodb DEFAULT CHARSET=latin1;
     714
    90715CREATE TABLE stackRun (stack_id BIGINT AUTO_INCREMENT, state VARCHAR(64), workdir VARCHAR(255), dvodb VARCHAR(255), registered DATETIME, skycell_id VARCHAR(64), tess_id VARCHAR(64), PRIMARY KEY(stack_id), KEY(stack_id), KEY(state), KEY(skycell_id), KEY(tess_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    91716CREATE TABLE stackInputSkyfile (stack_id BIGINT, warp_id BIGINT, PRIMARY KEY(stack_id, warp_id), FOREIGN KEY (stack_id)  REFERENCES  stackRun(stack_id), FOREIGN KEY (warp_id)  REFERENCES  warpSkyfile(warp_id)) ENGINE=innodb DEFAULT CHARSET=latin1;

  • branches/cleanup/ippTools/share/pxadmin_drop_tables.sql

    r17854 r18076  
    11SET FOREIGN_KEY_CHECKS=0;
    2 DROP TABLE pzDataStore;
    3 DROP TABLE summitExp;
    4 DROP TABLE summitImfile;
    5 DROP TABLE pzDownloadExp;
    6 DROP TABLE pzDownloadImfile;
    7 DROP TABLE newExp;
    8 DROP TABLE newImfile;
    9 DROP TABLE rawExp;
    10 DROP TABLE rawImfile;
    11 DROP TABLE guidePendingExp;
    12 DROP TABLE chipRun;
    13 DROP TABLE chipProcessedImfile;
    14 DROP TABLE chipMask;
    15 DROP TABLE camRun;
    16 DROP TABLE camProcessedExp;
    17 DROP TABLE camMask;
    18 DROP TABLE detRun;
    19 DROP TABLE detInputExp;
    20 DROP TABLE detProcessedImfile;
    21 DROP TABLE detProcessedExp;
    22 DROP TABLE detStackedImfile;
    23 DROP TABLE detNormalizedStatImfile;
    24 DROP TABLE detNormalizedImfile;
    25 DROP TABLE detNormalizedExp;
    26 DROP TABLE detResidImfile;
    27 DROP TABLE detResidExp;
    28 DROP TABLE detRunSummary;
    29 DROP TABLE detRegisteredImfile;
    30 DROP TABLE warpRun;
    31 DROP TABLE warpSkyCellMap;
    32 DROP TABLE warpSkyfile;
    33 DROP TABLE warpMask;
    34 DROP TABLE diffRun;
    35 DROP TABLE diffInputSkyfile;
    36 DROP TABLE diffSkyfile;
    37 DROP TABLE stackRun;
    38 DROP TABLE stackInputSkyfile;
    39 DROP TABLE stackSumSkyfile;
    40 DROP TABLE magicRun;
    41 DROP TABLE magicInputSkyfile;
    42 DROP TABLE magicTree;
    43 DROP TABLE magicNodeResult;
    44 DROP TABLE magicMask;
    45 DROP TABLE magicSkyfileMask;
    46 DROP TABLE calDB;
    47 DROP TABLE calRun;
    48 DROP TABLE flatcorrRun;
    49 DROP TABLE flatcorrExp;
    50 DROP TABLE pstampDataStore;
    51 DROP TABLE pstampRequest;
    52 DROP TABLE pstampJob;
     2DROP TABLE IF EXISTS pzDataStore;
     3DROP TABLE IF EXISTS summitExp;
     4DROP TABLE IF EXISTS summitImfile;
     5DROP TABLE IF EXISTS pzDownloadExp;
     6DROP TABLE IF EXISTS pzDownloadImfile;
     7DROP TABLE IF EXISTS newExp;
     8DROP TABLE IF EXISTS newImfile;
     9DROP TABLE IF EXISTS rawExp;
     10DROP TABLE IF EXISTS rawImfile;
     11DROP TABLE IF EXISTS guidePendingExp;
     12DROP TABLE IF EXISTS chipRun;
     13DROP TABLE IF EXISTS chipProcessedImfile;
     14DROP TABLE IF EXISTS chipMask;
     15DROP TABLE IF EXISTS camRun;
     16DROP TABLE IF EXISTS camProcessedExp;
     17DROP TABLE IF EXISTS camMask;
     18DROP TABLE IF EXISTS detRun;
     19DROP TABLE IF EXISTS detInputExp;
     20DROP TABLE IF EXISTS fakeRun;
     21DROP TABLE IF EXISTS fakeProcessedImfile;
     22DROP TABLE IF EXISTS fakeMask;
     23DROP TABLE IF EXISTS detProcessedImfile;
     24DROP TABLE IF EXISTS detProcessedExp;
     25DROP TABLE IF EXISTS detStackedImfile;
     26DROP TABLE IF EXISTS detNormalizedStatImfile;
     27DROP TABLE IF EXISTS detNormalizedImfile;
     28DROP TABLE IF EXISTS detNormalizedExp;
     29DROP TABLE IF EXISTS detResidImfile;
     30DROP TABLE IF EXISTS detResidExp;
     31DROP TABLE IF EXISTS detRunSummary;
     32DROP TABLE IF EXISTS detRegisteredImfile;
     33DROP TABLE IF EXISTS warpRun;
     34DROP TABLE IF EXISTS warpSkyCellMap;
     35DROP TABLE IF EXISTS warpSkyfile;
     36DROP TABLE IF EXISTS warpMask;
     37DROP TABLE IF EXISTS diffRun;
     38DROP TABLE IF EXISTS diffInputSkyfile;
     39DROP TABLE IF EXISTS diffSkyfile;
     40DROP TABLE IF EXISTS stackRun;
     41DROP TABLE IF EXISTS stackInputSkyfile;
     42DROP TABLE IF EXISTS stackSumSkyfile;
     43DROP TABLE IF EXISTS magicRun;
     44DROP TABLE IF EXISTS magicInputSkyfile;
     45DROP TABLE IF EXISTS magicTree;
     46DROP TABLE IF EXISTS magicNodeResult;
     47DROP TABLE IF EXISTS magicMask;
     48DROP TABLE IF EXISTS magicSkyfileMask;
     49DROP TABLE IF EXISTS calDB;
     50DROP TABLE IF EXISTS calRun;
     51DROP TABLE IF EXISTS flatcorrRun;
     52DROP TABLE IF EXISTS flatcorrExp;
     53DROP TABLE IF EXISTS pstampDataStore;
     54DROP TABLE IF EXISTS pstampRequest;
     55DROP TABLE IF EXISTS pstampJob;
    5356SET FOREIGN_KEY_CHECKS=1

  • branches/cleanup/ippTools/share/pztool_find_completed_exp.sql

    r16588 r18076  
    33    camera,
    44    telescope,
    5     state
     5    state,
     6    NULL as epoch    -- epoch
    67FROM (
    78    SELECT

  • branches/cleanup/ippTools/share/regtool_pendingexp.sql

    r17618 r18076  
    1212    tess_id,
    1313    end_stage,
    14     label
     14    label,
     15    epoch
    1516FROM
    1617    (SELECT

  • branches/cleanup/ippTools/share/stacktool_find_complete_warps.sql

    r16827 r18076  
    66    JOIN warpSkyfile
    77        USING(warp_id)
     8    JOIN fakeRun
     9        USING(fake_id)
    810    JOIN camRun
    911        USING(cam_id)

  • branches/cleanup/ippTools/share/stacktool_inputskyfile.sql

    r16828 r18076  
    1111JOIN warpRun
    1212    ON stackInputSkyfile.warp_id = warpRun.warp_id
    13 JOIN camProcessedExp
    14     ON warpRun.cam_id = camProcessedExp.cam_id
     13JOIN fakeRun
     14    USING(fake_id)
     15JOIN camRun
     16    USING(cam_id)
    1517JOIN chipRun
    16     ON camProcessedExp.chip_id = chipRun.chip_id
     18    USING(chip_id)
    1719JOIN chipProcessedImfile
    18     ON chipRun.chip_id = chipProcessedImfile.chip_id
     20    USING(chip_id)
    1921JOIN rawExp
    2022    ON chipProcessedImfile.exp_id = rawExp.exp_id

  • branches/cleanup/ippTools/share/warptool_exp.sql

    r16733 r18076  
    11SELECT
    2     camProcessedExp.*
     2    fakeRun.*
    33FROM warpRun
    4 JOIN camProcessedExp
    5     USING(cam_id)
     4JOIN fakeRun
     5    USING(fake_id)
    66WHERE
    77    warpRun.state = 'run'
    8     AND camProcessedExp.fault = 0
     8    AND fakeRun.state = 'stop'

  • branches/cleanup/ippTools/share/warptool_imfile.sql

    r16733 r18076  
    11SELECT DISTINCT
    22    rawImfile.*,
    3     warpRun.cam_id,
     3    warpRun.fake_id,
    44    chipProcessedImfile.uri as chip_uri,
    55    chipProcessedImfile.path_base as chip_path_base,
    66    camProcessedExp.path_base as cam_path_base
    77FROM warpRun
     8JOIN fakeRun
     9    USING(fake_id)
     10JOIN camRun
     11    USING(cam_id)
    812JOIN camProcessedExp
    913    USING(cam_id)
    1014JOIN chipRun
    11     ON camProcessedExp.chip_id = chipRun.chip_id
     15    ON camRun.chip_id = chipRun.chip_id
    1216JOIN chipProcessedImfile
    13     ON camProcessedExp.chip_id = chipProcessedImfile.chip_id
     17    ON chipRun.chip_id = chipProcessedImfile.chip_id
    1418JOIN rawImfile -- is there any reason not to refer back to rawimfiles?
    15     ON chipProcessedImfile.exp_id = rawImfile.exp_id AND chipProcessedImfile.class_id = rawImfile.class_id
     19    ON chipProcessedImfile.exp_id = rawImfile.exp_id
     20    AND chipProcessedImfile.class_id = rawImfile.class_id
    1621WHERE
    1722    warpRun.state = 'run'
     23    AND fakeRun.state = 'stop'
     24    AND camRun.state = 'stop'
     25    AND chipRun.state = 'stop'
    1826

  • branches/cleanup/ippTools/share/warptool_revertwarped.sql

    r17226 r18076  
    11DELETE FROM warpSkyfile
    2 USING warpSkyfile, warpRun, camRun, chipRun, rawExp
     2USING warpSkyfile, warpRun, fakeRun, camRun, chipRun, rawExp
    33WHERE
    44    warpSkyfile.warp_id = warpRun.warp_id
    5     AND warpRun.cam_id = camRun.cam_id
     5    AND warpRun.fake_id = fakeRun.fake_id
     6    AND fakeRun.cam_id = camRun.cam_id
    67    AND camRun.chip_id = chipRun.chip_id
    78    AND chipRun.exp_id = rawExp.exp_id

  • branches/cleanup/ippTools/share/warptool_scmap.sql

    r16024 r18076  
    77JOIN warpSkyCellMap
    88    USING(warp_id)
     9JOIN fakeRun
     10    USING(fake_id)
     11JOIN camRun
     12    USING(cam_id)
    913JOIN camProcessedExp
    10     ON warpSkyCellMap.cam_id = camProcessedExp.cam_id
     14    USING(cam_id)
     15JOIN chipRun
     16    USING(chip_id)
    1117JOIN chipProcessedImfile
    12     ON camProcessedExp.chip_id = chipProcessedImfile.chip_id
     18    ON chipRun.chip_id = chipProcessedImfile.chip_id
    1319    AND warpSkyCellMap.class_id = chipProcessedImfile.class_id
    14 -- move this as an option into the code
    15 -- WHERE
     20WHERE
    1621--    warpRun.state = 'run'
     22    fakeRun.state = 'stop'
     23    AND camRun.state = 'stop'
     24    AND chipRun.state = 'stop'

  • branches/cleanup/ippTools/share/warptool_tooverlap.sql

    r17145 r18076  
    11SELECT
    22    warpRun.warp_id,
    3     warpRun.cam_id,
     3    warpRun.fake_id,
    44    warpRun.workdir,
    55    warpRun.tess_id,
    … …  
    99    warpRun.magiced
    1010FROM warpRun
    11 JOIN camProcessedExp
     11JOIN fakeRun
     12    USING(fake_id)
     13JOIN camRun
    1214    USING(cam_id)
    1315JOIN chipRun
    … …  
    1618    USING(exp_id)
    1719LEFT JOIN warpSkyCellMap
    18     USING(warp_id, cam_id)
     20    USING(warp_id)
    1921LEFT JOIN warpMask
    2022    ON warpRun.label = warpMask.label
    2123WHERE
    2224    warpRun.state = 'run'
    23     AND camProcessedExp.fault = 0
     25    AND fakeRun.state = 'stop'
     26    AND camRun.state = 'stop'
     27    AND chipRun.state = 'stop'
    2428    AND warpSkyCellMap.warp_id IS NULL
    25     AND warpSkyCellMap.cam_id IS NULL
    2629    AND warpMask.label IS NULL

  • branches/cleanup/ippTools/share/warptool_towarped.sql

    r17145 r18076  
    33    warpSkyCellMap.skycell_id,
    44    warpSkyCellMap.tess_id,
    5     warpSkyCellMap.cam_id,
     5    warpRun.fake_id,
     6    camRun.cam_id,
    67    rawExp.camera,
    78    warpRun.workdir
    … …  
    910JOIN warpSkyCellMap
    1011    USING(warp_id)
    11 JOIN camProcessedExp
    12     ON warpSkyCellMap.cam_id = camProcessedExp.cam_id
     12JOIN fakeRun
     13    USING(fake_id)
     14JOIN camRun
     15    USING(cam_id)
    1316JOIN chipRun
    14     ON camProcessedExp.chip_id = chipRun.chip_id
     17    USING(chip_id)
    1518JOIN chipProcessedImfile
    16     ON chipRun.chip_id = chipProcessedImfile.chip_id
     19    USING(chip_id)
    1720JOIN rawExp
    18     ON chipProcessedImfile.exp_id = rawExp.exp_id
     21    ON chipRun.exp_id = rawExp.exp_id
    1922LEFT JOIN warpSkyfile
    2023    ON warpRun.warp_id = warpSkyfile.warp_id
    … …  
    2528WHERE
    2629    warpRun.state = 'run'
     30    AND fakeRun.state = 'stop'
     31    AND camRun.state = 'stop'
     32    AND chipRun.state = 'stop'
    2733    AND warpSkyfile.warp_id IS NULL
    2834    AND warpSkyfile.skycell_id IS NULL

  • branches/cleanup/ippTools/src

    • Property svn:ignore

      •  

        old new  
        2323difftool
        2424stacktool
         25faketool
        2526dettool
        2627detselect

  • branches/cleanup/ippTools/src/.cvsignore

    r16134 r18076  
    2323difftool
    2424stacktool
     25faketool
    2526dettool
    2627detselect

  • branches/cleanup/ippTools/src/Makefile.am

    r17863 r18076  
    88        flatcorr \
    99        magictool \
    10         pstamptool \
     10        pstamptool \
    1111        pxadmin \
    1212        pxinject \
     13        faketool \
    1314        pzgetexp \
    1415        pzgetimfiles \
    … …  
    2829        pxconfig.h \
    2930        pxdata.h \
     31        pxfake.h \
    3032        pxio.h \
    3133        pxregister.h \
    … …  
    4446        difftool.h \
    4547        flatcorr.h \
     48        faketool.h \
    4649        guidetool.h \
    4750        magictool.h \
    48         pstamptool.h \
     51        pstamptool.h \
    4952        pxinject.h \
    5053        pzgetexp.h \
    … …  
    6568        pxdata.c \
    6669        pxerrors.c \
     70        pxfake.c \
    6771        pxfault.c \
    6872        pxio.c \
    … …  
    125129    camtoolConfig.c
    126130
     131faketool_CFLAGS = $(PSLIB_CFLAGS) $(PSMODULES_CFLAGS) $(IPPDB_CFLAGS)
     132faketool_LDADD = $(PSLIB_LIBS) $(PSMODULES_LIBS) $(IPPDB_LIBS) libpxtools.la
     133faketool_SOURCES = \
     134    faketool.c \
     135    faketoolConfig.c
     136
    127137magictool_CFLAGS = $(PSLIB_CFLAGS) $(PSMODULES_CFLAGS) $(IPPDB_CFLAGS)
    128138magictool_LDADD = $(PSLIB_LIBS) $(PSMODULES_LIBS) $(IPPDB_LIBS) libpxtools.la

  • branches/cleanup/ippTools/src/camtool.c

    r17609 r18076  
    2727
    2828#include "pxtools.h"
    29 #include "pxwarp.h"
    3029#include "pxcam.h"
    3130#include "camtool.h"
    … …  
    599598    psFree(output);
    600599    camProcessedExpRow *row = camProcessedExpRowAlloc(
    601         pendingRow->cam_id,
    602         pendingRow->chip_id,
    603         uri,
    604         bg,
    605         bg_stdev,
    606         bg_mean_stdev,
    607         bias,
    608         bias_stdev,
    609         fringe_0,
    610         fringe_1,
    611         fringe_2,
    612         sigma_ra,
    613         sigma_dec,
    614         ap_resid,
    615         ap_resid_stdev,
    616         zp_mean,
    617         zp_stdev,
    618         fwhm_major,
    619         fwhm_minor,
    620         dtime_detrend,
    621         dtime_photom,
    622         dtime_astrom,
    623         hostname,
    624         n_stars,
    625         n_extended,
    626         n_cr,
    627         n_astrom,
    628         path_base,
    629         code
     600            pendingRow->cam_id,
     601            uri,
     602            bg,
     603            bg_stdev,
     604            bg_mean_stdev,
     605            bias,
     606            bias_stdev,
     607            fringe_0,
     608            fringe_1,
     609            fringe_2,
     610            sigma_ra,
     611            sigma_dec,
     612            ap_resid,
     613            ap_resid_stdev,
     614            zp_mean,
     615            zp_stdev,
     616            fwhm_major,
     617            fwhm_minor,
     618            dtime_detrend,
     619            dtime_photom,
     620            dtime_astrom,
     621            hostname,
     622            n_stars,
     623            n_extended,
     624            n_cr,
     625            n_astrom,
     626            path_base,
     627            code
    630628        );
    631629
    … …  
    649647    }
    650648
    651     // should we stop here or proceed on to the warp stage?
    652649    // NULL for end_stage means go as far as possible
    653     // we can't start a warp run unlesss tess_id is defined
     650    // XXX true for fake too?
     651    // XXX we can't start a warp run unlesss tess_id is defined
    654652    if ((pendingRow->end_stage && psStrcasestr(pendingRow->end_stage, "cam"))
    655653        || (pendingRow->tess_id == NULL) || psStrcasestr(pendingRow->tess_id, "NULL")) {
    … …  
    666664    // else continue on...
    667665
    668     if (!pxwarpQueueByCamID(config,
     666    if (!pxfakeQueueByCamID(config,
    669667            pendingRow->cam_id,
    670668            pendingRow->workdir,
    671669            pendingRow->label,
     670            pendingRow->reduction,
     671            pendingRow->expgroup,
    672672            pendingRow->dvodb,
    673673            pendingRow->tess_id,
    … …  
    678678            psError(PS_ERR_UNKNOWN, false, "database error");
    679679        }
    680         psError(PS_ERR_UNKNOWN, false, "failed to queue new warpRun");
     680        psError(PS_ERR_UNKNOWN, false, "failed to queue new fakeRun");
    681681        psFree(pendingRow);
    682682        return false;

  • branches/cleanup/ippTools/src/faketool.c

    r17357 r18076  
    3232
    3333#include "faketool.h"
    34 #include "camtool.h"
    3534
    3635static bool queueMode(pxConfig *config);
    3736static bool updaterunMode(pxConfig *config);
     37static bool pendingexpMode(pxConfig *config);
    3838static bool pendingimfileMode(pxConfig *config);
    3939static bool addprocessedimfileMode(pxConfig *config);
    … …  
    6767        MODECASE(FAKETOOL_MODE_QUEUE,                   queueMode);
    6868        MODECASE(FAKETOOL_MODE_UPDATERUN,               updaterunMode);
     69        MODECASE(FAKETOOL_MODE_PENDINGEXP,              pendingexpMode);
    6970        MODECASE(FAKETOOL_MODE_PENDINGIMFILE,           pendingimfileMode);
    7071        MODECASE(FAKETOOL_MODE_ADDPROCESSEDIMFILE,      addprocessedimfileMode);
    … …  
    171172
    172173    // find the exp_id of all the exposures that we want to queue up.
    173     psString query = pxDataGet("faketool_find_rawexp.sql");
     174    psString query = pxDataGet("faketool_find_camrun.sql");
    174175    if (!query) {
    175176        psError(PXTOOLS_ERR_DATA, false, "failed to retreive SQL statement");
    … …  
    179180
    180181    if (where && psListLength(where->list)) {
    181         psString whereClause = psDBGenerateWhereConditionSQL(where, "rawExp");
    182         psStringAppend(&query, " AND %s", whereClause);
     182        psString whereClause = psDBGenerateWhereSQL(where, NULL);
     183        psStringAppend(&query, " %s", whereClause);
    183184        psFree(whereClause);
    184185    }
    … …  
    219220    }
    220221
    221     // loop over our list of exp_ids
     222    // loop over our list of cam_ids
    222223    for (long i = 0; i < psArrayLength(output); i++) {
    223224        psMetadata *md = output->data[i];
    224225
    225226        bool status;
    226         psS64 exp_id = psMetadataLookupS64(&status, md, "exp_id");
     227        psS64 cam_id = psMetadataLookupS64(&status, md, "cam_id");
    227228        if (!status) {
    228             psError(PS_ERR_UNKNOWN, false, "failed to lookup value for exp_id");
     229            psError(PS_ERR_UNKNOWN, false, "failed to lookup value for cam_id");
    229230            psFree(output);
    230231            return false;
    … …  
    232233
    233234        // queue the exp
    234         if (!pxfakeQueueByExpTag(config, exp_id, workdir, label, reduction, expgroup, dvodb, tess_id, end_stage)) {
     235        if (!pxfakeQueueByCamID(config, cam_id, workdir, label, reduction, expgroup, dvodb, tess_id, end_stage)) {
    235236            if (!psDBRollback(config->dbh)) {
    236237                psError(PS_ERR_UNKNOWN, false, "database error");
    237238            }
    238239            psError(PS_ERR_UNKNOWN, false,
    239                     "failed to trying to queue exp_id: %" PRId64, exp_id);
     240                    "failed to trying to queue cam_id: %" PRId64, cam_id);
    240241            psFree(output);
    241242            return false;
    … …  
    354355
    355356
     357static bool pendingexpMode(pxConfig *config)
     358{
     359    PS_ASSERT_PTR_NON_NULL(config, false);
     360
     361    PXOPT_LOOKUP_U64(limit, config->args, "-limit", false, false);
     362    PXOPT_LOOKUP_BOOL(simple, config->args, "-simple", false);
     363
     364    psMetadata *where = psMetadataAlloc();
     365    PXOPT_COPY_STR(config->args, where, "-fake_id", "fake_id", "==");
     366    PXOPT_COPY_STR(config->args, where, "-cam_id", "cam_id", "==");
     367    PXOPT_COPY_STR(config->args, where, "-chip_id", "chip_id", "==");
     368
     369    psString query = pxDataGet("faketool_find_pendingexp.sql");
     370    if (!query) {
     371        psError(PXTOOLS_ERR_DATA, false, "failed to retreive SQL statement");
     372        psFree(where);
     373        return false;
     374    }
     375
     376    if (where && psListLength(where->list)) {
     377        psString whereClause = psDBGenerateWhereConditionSQL(where, NULL);
     378        psStringAppend(&query, " AND %s", whereClause);
     379        psFree(whereClause);
     380    }
     381    psFree(where);
     382
     383    // treat limit == 0 as "no limit"
     384    if (limit) {
     385        psString limitString = psDBGenerateLimitSQL(limit);
     386        psStringAppend(&query, " %s", limitString);
     387        psFree(limitString);
     388    }
     389
     390    if (!p_psDBRunQuery(config->dbh, query)) {
     391        psError(PS_ERR_UNKNOWN, false, "database error");
     392        psFree(query);
     393        return false;
     394    }
     395    psFree(query);
     396
     397    psArray *output = p_psDBFetchResult(config->dbh);
     398    if (!output) {
     399        psError(PS_ERR_UNKNOWN, false, "database error");
     400        return false;
     401    }
     402    if (!psArrayLength(output)) {
     403        psTrace("camtool", PS_LOG_INFO, "no rows found");
     404        psFree(output);
     405        return true;
     406    }
     407
     408    if (!convertIdToStr(output)) {
     409        psError(PS_ERR_UNKNOWN, false, "failed to convert id fields into a strings");
     410        psFree(output);
     411        return false;
     412    }
     413
     414    // negate simple so the default is true
     415    if (!ippdbPrintMetadatas(stdout, output, "fakePendingExp", !simple)) {
     416        psError(PS_ERR_UNKNOWN, false, "failed to print array");
     417        psFree(output);
     418        return false;
     419    }
     420
     421    psFree(output);
     422
     423    return true;
     424}
     425
     426
    356427static bool pendingimfileMode(pxConfig *config)
    357428{
    … …  
    448519
    449520    // fake_id, ext_tag, class_id are required
    450     PXOPT_LOOKUP_STR(fake_id, config->args, "-fake_id", true, false);
    451     PXOPT_LOOKUP_STR(exp_id, config->args, "-exp_id", true, false);
    452     PXOPT_LOOKUP_STR(class_id, config->args, "-class_id", true, false);
     521    PXOPT_LOOKUP_STR(fake_id, config->args,     "-fake_id", true, false);
     522    PXOPT_LOOKUP_STR(exp_id, config->args,      "-exp_id", true, false);
     523    PXOPT_LOOKUP_STR(class_id, config->args,    "-class_id", true, false);
    453524
    454525    // optional
    455     PXOPT_LOOKUP_STR(uri, config->args,            "-uri", false, false);
    456     PXOPT_LOOKUP_F32(bg, config->args,             "-bg", false, false);
    457     PXOPT_LOOKUP_F32(bg_stdev, config->args,       "-bg_stdev", false, false);
    458     PXOPT_LOOKUP_F32(bg_mean_stdev, config->args,  "-bg_mean_stdev", false, false);
    459     PXOPT_LOOKUP_F32(bias, config->args,           "-bias", false, false);
    460     PXOPT_LOOKUP_F32(bias_stdev, config->args,     "-bias_stdev", false, false);
    461     PXOPT_LOOKUP_F32(fringe_0, config->args,       "-fringe_0", false, false);
    462     PXOPT_LOOKUP_F32(fringe_1, config->args,       "-fringe_1", false, false);
    463     PXOPT_LOOKUP_F32(fringe_2, config->args,       "-fringe_2", false, false);
    464     PXOPT_LOOKUP_F32(sigma_ra, config->args,       "-sigma_ra", false, false);
    465     PXOPT_LOOKUP_F32(sigma_dec, config->args,      "-sigma_dec", false, false);
    466     PXOPT_LOOKUP_F32(ap_resid, config->args,       "-ap_resid", false, false);
    467     PXOPT_LOOKUP_F32(ap_resid_stdev, config->args, "-ap_resid_stdev", false, false);
    468     PXOPT_LOOKUP_F32(zp_mean, config->args,        "-zp_mean", false, false);
    469     PXOPT_LOOKUP_F32(zp_stdev, config->args,       "-zp_stdev", false, false);
    470     PXOPT_LOOKUP_F32(fwhm_major, config->args,     "-fwhm_major", false, false);
    471     PXOPT_LOOKUP_F32(fwhm_minor, config->args,     "-fwhm_minor", false, false);
    472     PXOPT_LOOKUP_F32(dtime_detrend, config->args,  "-dtime_detrend", false, false);
    473     PXOPT_LOOKUP_F32(dtime_photom,  config->args,  "-dtime_photom",  false, false);
    474     PXOPT_LOOKUP_F32(dtime_astrom,  config->args,  "-dtime_astrom",  false, false);
    475     PXOPT_LOOKUP_STR(hostname, config->args,       "-hostname", false, false);
    476     PXOPT_LOOKUP_F32(n_stars, config->args, "-n_stars", false, false);
    477     PXOPT_LOOKUP_F32(n_extended, config->args, "-n_extended", false, false);
    478     PXOPT_LOOKUP_F32(n_cr, config->args, "-n_cr", false, false);
    479     PXOPT_LOOKUP_F32(n_astrom, config->args, "-n_astrom", false, false);
    480     PXOPT_LOOKUP_STR(path_base, config->args, "-path_base", false, false);
     526    PXOPT_LOOKUP_STR(uri, config->args,         "-uri", false, false);
     527
     528    PXOPT_LOOKUP_F32(dtime_fake, config->args,  "-dtime_fake", false, false);
     529    PXOPT_LOOKUP_STR(hostname, config->args,    "-hostname", false, false);
     530    PXOPT_LOOKUP_STR(path_base, config->args,   "-path_base", false, false);
    481531
    482532    // default values
    483     PXOPT_LOOKUP_S16(code, config->args, "-code", false, false);
     533    PXOPT_LOOKUP_S16(code, config->args,        "-code", false, false);
    484534
    485535    if (!psDBTransaction(config->dbh)) {
    … …  
    493543                                   class_id,
    494544                                   uri,
    495                                    bg,
    496                                    bg_stdev,
    497                                    bg_mean_stdev,
    498                                    bias,
    499                                    bias_stdev,
    500                                    fringe_0,
    501                                    fringe_1,
    502                                    fringe_2,
    503                                    sigma_ra,
    504                                    sigma_dec,
    505                                    ap_resid,
    506                                    ap_resid_stdev,
    507                                    zp_mean,
    508                                    zp_stdev,
    509                                    fwhm_major,
    510                                    fwhm_minor,
    511                                    dtime_detrend,
    512                                    dtime_photom,
    513                                    dtime_astrom,
     545                                   dtime_fake,
    514546                                   hostname,
    515                                    n_stars,
    516                                    n_extended,
    517                                    n_cr,
    518                                    n_astrom,
    519547                                   path_base,
    520                                    code
     548                                   code,
     549                                   NULL         // epoch
    521550            )) {
    522551        // rollback
    … …  
    748777    PXOPT_LOOKUP_S16(code, config->args, "-code", true, false);
    749778
    750     if (!pxSetFaultCode(config->dbh, "fakeProcessedImfile", config->where, code)) {
     779    psMetadata *where = psMetadataAlloc();
     780    PXOPT_LOOKUP_STR(fake_id, config->args, "-fake_id", false, false);
     781    // convert fake_id into a psS64
     782    if (fake_id) {
     783        if (!psMetadataAddS64(where, PS_LIST_TAIL, "fake_id", 0, "==", (psS64)atoll(fake_id))) {
     784            psError(PS_ERR_UNKNOWN, false, "failed to add item fake_id");
     785            psFree(where);
     786            return false;
     787        }
     788    }
     789    PXOPT_COPY_STR(config->args, where, "-class_id", "class_id", "==");
     790
     791    if (!pxSetFaultCode(config->dbh, "fakeProcessedImfile", where, code)) {
    751792        psError(PS_ERR_UNKNOWN, false, "failed to set set fault flag");
    752         return false;
    753     }
     793        psFree(where);
     794        return false;
     795    }
     796    psFree(where);
    754797
    755798    return true;
    … …  
    9841027        // camQueueFakeID() can only be run after fakeRun.state has been set to
    9851028        // stop
    986         if (!pxcamQueueByFakeID(config,
     1029        if (!pxwarpQueueByFakeID(config,
    9871030                    fakeRun->fake_id,
    9881031                    fakeRun->workdir,
    9891032                    fakeRun->label,
    990                     fakeRun->reduction,
    991                     fakeRun->expgroup,
    9921033                    fakeRun->dvodb,
    9931034                    fakeRun->tess_id,

  • branches/cleanup/ippTools/src/faketoolConfig.c

    r17357 r18076  
    232232
    233233
     234    // -pendingexp
     235    psMetadata *pendingexpArgs = psMetadataAlloc();
     236    psMetadataAddStr(pendingexpArgs, PS_LIST_TAIL, "-cam_id", 0,
     237            "search by camtool ID", NULL);
     238    psMetadataAddStr(pendingexpArgs, PS_LIST_TAIL, "-chip_id", 0,
     239            "search by chiptool ID", NULL);
     240    psMetadataAddU64(pendingexpArgs, PS_LIST_TAIL, "-limit",  0,
     241            "limit result set to N items", 0);
     242    psMetadataAddBool(pendingexpArgs, PS_LIST_TAIL, "-simple", 0,
     243            "use the simple output format", false);
     244
    234245    // -pendingimfile
    235246    psMetadata *pendingimfileArgs = psMetadataAlloc();
    … …  
    416427
    417428    PXOPT_ADD_MODE("-queue",                 "create runs from raw exposures",
    418         FAKETOOL_MODE_QUEUE,    queueArgs);
     429        FAKETOOL_MODE_QUEUE,                    queueArgs);
    419430    PXOPT_ADD_MODE("-updaterun",             "change fake run properties",
    420         FAKETOOL_MODE_UPDATERUN, updaterunArgs);
     431        FAKETOOL_MODE_UPDATERUN,                updaterunArgs);
     432    PXOPT_ADD_MODE("-pendingexp",           "show pending exposures",
     433        FAKETOOL_MODE_PENDINGEXP,               pendingexpArgs);
    421434    PXOPT_ADD_MODE("-pendingimfile",         "show pending imfiles",
    422         FAKETOOL_MODE_PENDINGIMFILE,  pendingimfileArgs);
     435        FAKETOOL_MODE_PENDINGIMFILE,            pendingimfileArgs);
    423436    PXOPT_ADD_MODE("-addprocessedimfile",    "add a processed imfile",
    424         FAKETOOL_MODE_ADDPROCESSEDIMFILE,addprocessedimfileArgs);
     437        FAKETOOL_MODE_ADDPROCESSEDIMFILE,       addprocessedimfileArgs);
    425438    PXOPT_ADD_MODE("-processedimfile",       "show processed imfiles",
    426         FAKETOOL_MODE_PROCESSEDIMFILE, processedimfileArgs);
    427     PXOPT_ADD_MODE("-updateprocessedimfile", "change procesed imfile properties", FAKETOOL_MODE_UPDATEPROCESSEDIMFILE,    updateprocessedimfileArgs);
    428     PXOPT_ADD_MODE("-revertprocessedimfile", "undo a processed imfile", FAKETOOL_MODE_REVERTPROCESSEDIMFILE,    revertprocessedimfileArgs);
     439        FAKETOOL_MODE_PROCESSEDIMFILE,          processedimfileArgs);
     440    PXOPT_ADD_MODE("-updateprocessedimfile","change procesed imfile properties",        FAKETOOL_MODE_UPDATEPROCESSEDIMFILE,    updateprocessedimfileArgs);
     441    PXOPT_ADD_MODE("-revertprocessedimfile", "undo a processed imfile",
     442        FAKETOOL_MODE_REVERTPROCESSEDIMFILE,    revertprocessedimfileArgs);
    429443    PXOPT_ADD_MODE("-block",                 "set a label block", FAKETOOL_MODE_BLOCK,          blockArgs);
    430444    PXOPT_ADD_MODE("-masked",                "show blocked labels", FAKETOOL_MODE_MASKED,         maskedArgs);

  • branches/cleanup/ippTools/src/pxinject.c

    r17611 r18076  
    9191
    9292    if (!newExpInsert(config->dbh,
    93                 0x0, // exp_id
     93                0x0,    // exp_id
    9494                tmp_exp_name,
    9595                tmp_camera,
    9696                tmp_telescope,
    97                 "reg", // state
     97                "reg",  // state
    9898                workdir,
    9999                "dirty",
    … …  
    101101                dvodb,
    102102                tess_id,
    103             end_stage,
    104               label
     103                end_stage,
     104                label,
     105                NULL    // epoch
    105106            )
    106107        ) {
    … …  
    141142
    142143    // insert with error flag state set to 0 (no errors)
    143     if (!newImfileInsert(config->dbh, (psS64)atoll(exp_id), tmp_class_id, uri)) {
     144    if (!newImfileInsert(config->dbh, (psS64)atoll(exp_id), tmp_class_id, uri, NULL)) {
    144145        psError(PS_ERR_UNKNOWN, false, "database error");
    145146        return false;

  • branches/cleanup/ippTools/src/pxtools.h

    r17863 r18076  
    2828#include <ippdb.h>
    2929
     30#include "pxconfig.h"
    3031#include "pxtoolsErrorCodes.h"
     32
     33#include "pxcam.h"
     34#include "pxchip.h"
     35#include "pxdata.h"
     36#include "pxfake.h"
     37#include "pxwarp.h"
    3138#include "pxio.h"
    32 #include "pxdata.h"
     39#include "pxregister.h"
    3340#include "pxtag.h"
    34 #include "pxregister.h"
    35 #include "pxchip.h"
    36 #include "pxcam.h"
    3741#include "pxtree.h"
    38 #include "pxconfig.h"
    3942
    4043# define MAX_ROWS 10e9

  • branches/cleanup/ippTools/src/pxwarp.c

    r17180 r18076  
    135135
    136136
    137 bool pxwarpQueueByCamID(pxConfig *config,
    138                     psS64 cam_id,
     137bool pxwarpQueueByFakeID(pxConfig *config,
     138                    psS64 fake_id,
    139139                    char *workdir,
    140140                    char *label,
    … …  
    148148    if (!warpRunInsert(config->dbh,
    149149        0,          // ID
    150         cam_id,
     150        fake_id,
    151151        "warp",     // mode
    152152        "run",      // state

  • branches/cleanup/ippTools/src/pxwarp.h

    r17180 r18076  
    3030bool pxwarpRunSetLabelByQuery(pxConfig *config, psMetadata *where, const char *label);
    3131
    32 bool pxwarpQueueByCamID(pxConfig *config,
    33                     psS64 cam_id,
     32bool pxwarpQueueByFakeID(pxConfig *config,
     33                    psS64 fake_id,
    3434                    char *workdir,
    3535                    char *label,

  • branches/cleanup/ippTools/src/pzgetexp.c

    r17572 r18076  
    192192            "   SElECT"
    193193            "       incoming.*,"
    194             "       NULL,"
    195             "       0"
     194            "       NULL,"  // imfiles
     195            "       0,"     // fault
     196            "       NULL"   // epoch
    196197            "   FROM incoming"
    197198            "   LEFT JOIN summitExp"

  • branches/cleanup/ippTools/src/pzgetimfiles.c

    r17744 r18076  
    250250            "       incoming.class,"
    251251            "       incoming.class_id,"
    252             "       incoming.uri"
     252            "       incoming.uri,"
     253            "       NULL"       // epoch
    253254            "   FROM incoming";
    254255        if (!p_psDBRunQuery(config->dbh, query)) {
    … …  
    307308            "       incoming.camera,"
    308309            "       incoming.telescope,"
    309             "       \"run\""
     310            "       \"run\","    // state
     311            "       NULL"
    310312            "   FROM incoming"
    311313            "   LEFT JOIN pzDownloadExp"

  • branches/cleanup/ippTools/src/pztool.c

    r17700 r18076  
    111111            camera,
    112112            telescope,
    113             uri
     113            uri,
     114            NULL  // epoch
    114115        )) {
    115116        psError(PS_ERR_UNKNOWN, false, "database error");
    … …  
    370371            class_id,
    371372            uri,
    372             code
     373            code,
     374            NULL    // epoch
    373375    )) {
    374376        psError(PS_ERR_UNKNOWN, false, "database error");
    … …  
    484486
    485487        pzDownloadExpRow *doneExp = pzDownloadExpObjectFromMetadata(row);
     488        if (!doneExp) {
     489            psError(PS_ERR_UNKNOWN, false, "pzDownloadExpObjectFromMetadata() failed");
     490            psFree(doneExp);
     491            psFree(output);
     492            return false;
     493        }
    486494
    487495        if (!newExpInsert(config->dbh,
    … …  
    497505                    tess_id,            // tess_id
    498506                    end_stage,          // end_stage
    499                    label
     507                    label,
     508                    NULL                // epoch
    500509                )
    501510        ) {
    … …  
    515524                "       %" PRId64 "," // exp_id
    516525                "       pzDownloadImfile.class_id," // tmp_class_id
    517                 "       pzDownloadImfile.uri" // uri
     526                "       pzDownloadImfile.uri," // uri
     527                "       NULL" // epoch
    518528                "   FROM pzDownloadImfile"
    519529                "   WHERE"

  • branches/cleanup/ippTools/src/regtool.c

    r17802 r18076  
    280280        object,
    281281        hostname,
    282         code
     282        code,
     283        NULL
    283284    )) {
    284285        psError(PS_ERR_UNKNOWN, false, "database error");
    … …  
    630631    psMetadata *row = output->data[0];
    631632    // convert metadata into a newExp object
     633    psMetadataConfigPrint(stdout, row);
    632634    newExpRow *newExp = newExpObjectFromMetadata(row);
    633635    psFree(output);
     636    if (!newExp) {
     637        psError(PS_ERR_UNKNOWN, false, "this should not happen");
     638        return false;
     639    }
    634640
    635641    // carry through these values
    … …  
    700706        0.0,
    701707        hostname,
    702         code
     708        code,
     709        NULL
    703710    )) {
    704711        // rollback

  • branches/cleanup/ippTools/src/warptool.c

    r17791 r18076  
    111111
    112112    // required options
    113     PXOPT_LOOKUP_STR(cam_id, config->args, "-cam_id", true, false);
     113    PXOPT_LOOKUP_STR(fake_id, config->args, "-fake_id", true, false);
    114114    PXOPT_LOOKUP_STR(mode, config->args, "-mode", true, false);
    115115    // check mode
    … …  
    133133    warpRunRow *warpRun = warpRunRowAlloc(
    134134            0,          // ID
    135             (psS64)atoll(cam_id),
     135            (psS64)atoll(fake_id),
    136136            mode,
    137137            "run",      // state
    … …  
    176176
    177177    PXOPT_LOOKUP_STR(warp_id, config->args, "-warp_id", false, false);
    178     PXOPT_LOOKUP_STR(cam_id, config->args, "-cam_id", false, false);
     178    PXOPT_LOOKUP_STR(fake_id, config->args, "-fake_id", false, false);
    179179    PXOPT_LOOKUP_STR(chip_id, config->args, "-chip_id", false, false);
    180180    PXOPT_LOOKUP_STR(exp_id, config->args, "-exp_id", false, false);
    … …  
    190190    }
    191191
    192     // convert cam_id into a psS64
    193     if (cam_id) {
    194         if (!psMetadataAddS64(where, PS_LIST_TAIL, "cam_id", 0, "==", (psS64)atoll(cam_id))) {
    195             psError(PS_ERR_UNKNOWN, false, "failed to add item cam_id");
     192    // convert fake_id into a psS64
     193    if (fake_id) {
     194        if (!psMetadataAddS64(where, PS_LIST_TAIL, "fake_id", 0, "==", (psS64)atoll(fake_id))) {
     195            psError(PS_ERR_UNKNOWN, false, "failed to add item fake_id");
    196196            psFree(where);
    197197            return false;
    … …  
    526526    PXOPT_LOOKUP_STR(mapfile, config->args, "-mapfile", false, false);
    527527    PXOPT_LOOKUP_STR(warp_id, config->args, "-warp_id", false, false);
    528     PXOPT_LOOKUP_STR(cam_id, config->args, "-cam_id", false, false);
    529528    PXOPT_LOOKUP_S16(code, config->args, "-code", false, false);
    530529
    … …  
    544543        }
    545544    } else {
    546         warpSkyCellMapInsert(config->dbh, (psS64)atoll(warp_id), NULL, NULL, 0, NULL, code);
     545        warpSkyCellMapInsert(config->dbh,
     546            (psS64)atoll(warp_id),
     547            NULL,   // skycell_id
     548            NULL,   // tess_id
     549            NULL,   // class_id
     550            code    // fault
     551        );
    547552    }
    548553
    … …  
    10291034
    10301035    PXOPT_LOOKUP_STR(warp_id, config->args, "-warp_id", false, false);
    1031     PXOPT_LOOKUP_STR(cam_id, config->args, "-cam_id", false, false);
     1036    PXOPT_LOOKUP_STR(fake_id, config->args, "-fake_id", false, false);
    10321037    PXOPT_LOOKUP_STR(chip_id, config->args, "-chip_id", false, false);
    10331038    PXOPT_LOOKUP_STR(exp_id, config->args, "-exp_id", false, false);
    … …  
    10461051    PXOPT_COPY_STR(config->args, where, "-tess_id", "tess_id", "==");
    10471052
    1048     // convert cam_id into a psS64
    1049     if (cam_id) {
    1050         if (!psMetadataAddS64(where, PS_LIST_TAIL, "camRun.cam_id", 0, "==", (psS64)atoll(cam_id))) {
    1051             psError(PS_ERR_UNKNOWN, false, "failed to add item cam_id");
     1053    // convert fake_id into a psS64
     1054    if (fake_id) {
     1055        if (!psMetadataAddS64(where, PS_LIST_TAIL, "fakeRun.fake_id", 0, "==", (psS64)atoll(fake_id))) {
     1056            psError(PS_ERR_UNKNOWN, false, "failed to add item fake_id");
    10521057            psFree(where);
    10531058            return false;

  • branches/cleanup/ippTools/src/warptoolConfig.c

    r17791 r18076  
    4949    // -definerun
    5050    psMetadata *definerunArgs = psMetadataAlloc();
    51     psMetadataAddStr(definerunArgs, PS_LIST_TAIL, "-cam_id", 0,
     51    psMetadataAddStr(definerunArgs, PS_LIST_TAIL, "-fake_id", 0,
    5252            "define camtool ID (required)", NULL);
    5353    psMetadataAddStr(definerunArgs, PS_LIST_TAIL, "-mode", 0,
    … …  
    7272    // -updaterun
    7373    psMetadata *updaterunArgs = psMetadataAlloc();
    74     // XXX need to allow multiple cam_ids
     74    // XXX need to allow multiple fake_ids
    7575    psMetadataAddStr(updaterunArgs, PS_LIST_TAIL, "-warp_id", 0,
    7676            "search by warptool ID", NULL);
    77     // XXX need to allow multiple cam_ids
    78     psMetadataAddStr(updaterunArgs, PS_LIST_TAIL, "-cam_id",  0,
    79             "search by cam_id", NULL);
     77    // XXX need to allow multiple fake_ids
     78    psMetadataAddStr(updaterunArgs, PS_LIST_TAIL, "-fake_id",  0,
     79            "search by fake_id", NULL);
    8080    // XXX need to allow multiple chip_ids
    8181    psMetadataAddStr(updaterunArgs, PS_LIST_TAIL, "-chip_id",  0,
    … …  
    176176    psMetadataAddStr(expArgs, PS_LIST_TAIL, "-warp_id", 0,
    177177            "search by warptool ID", NULL);
    178     psMetadataAddStr(expArgs, PS_LIST_TAIL, "-cam_id", 0,
     178    psMetadataAddStr(expArgs, PS_LIST_TAIL, "-fake_id", 0,
    179179            "search by camtool ID", NULL);
    180180    psMetadataAddU64(expArgs, PS_LIST_TAIL, "-limit",  0,
    … …  
    187187    psMetadataAddStr(imfileArgs, PS_LIST_TAIL, "-warp_id", 0,
    188188            "search by warptool ID", NULL);
    189     psMetadataAddStr(imfileArgs, PS_LIST_TAIL, "-cam_id", 0,
     189    psMetadataAddStr(imfileArgs, PS_LIST_TAIL, "-fake_id", 0,
    190190            "search by camtool ID", NULL);
    191191    psMetadataAddU64(imfileArgs, PS_LIST_TAIL, "-limit",  0,
    … …  
    279279    psMetadataAddStr(warpedArgs, PS_LIST_TAIL, "-exp_id", 0,
    280280            "define exposure tag", NULL);
    281     psMetadataAddStr(warpedArgs, PS_LIST_TAIL, "-cam_id", 0,
     281    psMetadataAddStr(warpedArgs, PS_LIST_TAIL, "-fake_id", 0,
    282282            "define phase 3 version of exposure tag", NULL);
    283283    psMetadataAddU64(warpedArgs, PS_LIST_TAIL, "-limit",  0,
    … …  
    288288    // -revertwarped
    289289    psMetadata *revertwarpedArgs = psMetadataAlloc();
    290     // XXX need to allow multiple cam_ids
     290    // XXX need to allow multiple fake_ids
    291291    psMetadataAddStr(revertwarpedArgs, PS_LIST_TAIL, "-warp_id", 0,
    292292            "search by warptool ID", NULL);
    … …  
    295295    psMetadataAddStr(revertwarpedArgs, PS_LIST_TAIL, "-tess_id",  0,
    296296            "searcy by tessellation ID", NULL);
    297     // XXX need to allow multiple cam_ids
    298     psMetadataAddStr(revertwarpedArgs, PS_LIST_TAIL, "-cam_id",  0,
    299             "search by cam_id", NULL);
     297    // XXX need to allow multiple fake_ids
     298    psMetadataAddStr(revertwarpedArgs, PS_LIST_TAIL, "-fake_id",  0,
     299            "search by fake_id", NULL);
    300300    // XXX need to allow multiple chip_ids
    301301    psMetadataAddStr(revertwarpedArgs, PS_LIST_TAIL, "-chip_id",  0,
Note: See TracChangeset for help on using the changeset viewer.