IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Changeset 18029


Ignore:
Timestamp:
Jun 9, 2008, 12:55:57 PM (18 years ago)
Author:
jhoblitt
Message:

merge faketool branch

Location:
trunk
Files:
4 added
33 edited

Legend:

Unmodified
Added
Removed

  • trunk/dbconfig/cam.md

    r16253 r18029  
    1616# the camPendingExp row gets deleted so we can not put a fkey on cam_id
    1717    cam_id         S64      0       # Primary Key
    18     chip_id        S64      0       # Primary Key fkey(cam_id, chip_id) ref camRun(cam_id, chip_id)
    19     uri            STR      255
     18    uri            STR      255     # fkey(cam_id) ref camRun(cam_id)
     19
    2020    bg             F32      0.0
    2121    bg_stdev       F32      0.0

  • trunk/dbconfig/changes.txt

    r18014 r18029  
    173173-- 1.1.38
    174174
     175-- convert from utf8 -> latin1 for performance/space gains
     176SET FOREIGN_KEY_CHECKS=0;
     177ALTER TABLE calDB CONVERT TO CHARACTER SET latin1;
     178ALTER TABLE calRun CONVERT TO CHARACTER SET latin1;
     179ALTER TABLE camMask CONVERT TO CHARACTER SET latin1;
     180ALTER TABLE camProcessedExp CONVERT TO CHARACTER SET latin1;
     181ALTER TABLE camRun CONVERT TO CHARACTER SET latin1;
     182ALTER TABLE chipMask CONVERT TO CHARACTER SET latin1;
     183ALTER TABLE chipProcessedImfile CONVERT TO CHARACTER SET latin1;
     184ALTER TABLE chipRun CONVERT TO CHARACTER SET latin1;
     185ALTER TABLE detInputExp CONVERT TO CHARACTER SET latin1;
     186ALTER TABLE detNormalizedExp CONVERT TO CHARACTER SET latin1;
     187ALTER TABLE detNormalizedImfile CONVERT TO CHARACTER SET latin1;
     188ALTER TABLE detNormalizedStatImfile CONVERT TO CHARACTER SET latin1;
     189ALTER TABLE detProcessedExp CONVERT TO CHARACTER SET latin1;
     190ALTER TABLE detProcessedImfile CONVERT TO CHARACTER SET latin1;
     191ALTER TABLE detRegisteredImfile CONVERT TO CHARACTER SET latin1;
     192ALTER TABLE detResidExp CONVERT TO CHARACTER SET latin1;
     193ALTER TABLE detResidImfile CONVERT TO CHARACTER SET latin1;
     194ALTER TABLE detRun CONVERT TO CHARACTER SET latin1;
     195ALTER TABLE detRunSummary CONVERT TO CHARACTER SET latin1;
     196ALTER TABLE detStackedImfile CONVERT TO CHARACTER SET latin1;
     197ALTER TABLE diffInputSkyfile CONVERT TO CHARACTER SET latin1;
     198ALTER TABLE diffRun CONVERT TO CHARACTER SET latin1;
     199ALTER TABLE diffSkyfile CONVERT TO CHARACTER SET latin1;
     200ALTER TABLE fakeMask CONVERT TO CHARACTER SET latin1;
     201ALTER TABLE fakeProcessedImfile CONVERT TO CHARACTER SET latin1;
     202ALTER TABLE fakeRun CONVERT TO CHARACTER SET latin1;
     203ALTER TABLE flatcorrExp CONVERT TO CHARACTER SET latin1;
     204ALTER TABLE flatcorrRun CONVERT TO CHARACTER SET latin1;
     205ALTER TABLE guidePendingExp CONVERT TO CHARACTER SET latin1;
     206ALTER TABLE magicInputSkyfile CONVERT TO CHARACTER SET latin1;
     207ALTER TABLE magicMask CONVERT TO CHARACTER SET latin1;
     208ALTER TABLE magicNodeResult CONVERT TO CHARACTER SET latin1;
     209ALTER TABLE magicRun CONVERT TO CHARACTER SET latin1;
     210ALTER TABLE magicSkyfileMask CONVERT TO CHARACTER SET latin1;
     211ALTER TABLE magicTree CONVERT TO CHARACTER SET latin1;
     212ALTER TABLE newExp CONVERT TO CHARACTER SET latin1;
     213ALTER TABLE newImfile CONVERT TO CHARACTER SET latin1;
     214ALTER TABLE pstampDataStore CONVERT TO CHARACTER SET latin1;
     215ALTER TABLE pstampJob CONVERT TO CHARACTER SET latin1;
     216ALTER TABLE pstampRequest CONVERT TO CHARACTER SET latin1;
     217ALTER TABLE pzDataStore CONVERT TO CHARACTER SET latin1;
     218ALTER TABLE pzDownloadExp CONVERT TO CHARACTER SET latin1;
     219ALTER TABLE pzDownloadImfile CONVERT TO CHARACTER SET latin1;
     220ALTER TABLE rawExp CONVERT TO CHARACTER SET latin1;
     221ALTER TABLE rawImfile CONVERT TO CHARACTER SET latin1;
     222ALTER TABLE stackInputSkyfile CONVERT TO CHARACTER SET latin1;
     223ALTER TABLE stackRun CONVERT TO CHARACTER SET latin1;
     224ALTER TABLE stackSumSkyfile CONVERT TO CHARACTER SET latin1;
     225ALTER TABLE summitExp CONVERT TO CHARACTER SET latin1;
     226ALTER TABLE summitImfile CONVERT TO CHARACTER SET latin1;
     227ALTER TABLE warpMask CONVERT TO CHARACTER SET latin1;
     228ALTER TABLE warpRun CONVERT TO CHARACTER SET latin1;
     229ALTER TABLE warpSkyCellMap CONVERT TO CHARACTER SET latin1;
     230ALTER TABLE warpSkyfile CONVERT TO CHARACTER SET latin1;
     231SET FOREIGN_KEY_CHECKS=1;
     232
    175233-- first use of fake* tables
    176 -- just drop/recreate any fake* tables prior to this point
     234-- drop and recreate any fake* tables created prior to this point
     235
     236DROP TABLE IF EXISTS fakeRun;
     237CREATE TABLE fakeRun (
     238    fake_id BIGINT AUTO_INCREMENT,
     239    cam_id BIGINT,
     240    state VARCHAR(64),
     241    workdir VARCHAR(255),
     242    label VARCHAR(64),
     243    reduction VARCHAR(64),
     244    expgroup VARCHAR(64),
     245    dvodb VARCHAR(255),
     246    tess_id VARCHAR(64),
     247    end_stage VARCHAR(64),
     248    epoch TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
     249    PRIMARY KEY(fake_id),
     250    KEY(cam_id),
     251    KEY(state),
     252    KEY(label),
     253    KEY(expgroup),
     254    KEY(end_stage),
     255    INDEX(fake_id, cam_id),
     256    FOREIGN KEY (cam_id)
     257        REFERENCES camRun(cam_id))
     258ENGINE=innodb DEFAULT CHARSET=latin1;
     259
     260DROP TABLE IF EXISTS fakeProcessedImfile;
     261CREATE TABLE fakeProcessedImfile (
     262    fake_id BIGINT AUTO_INCREMENT,
     263    exp_id BIGINT(20),
     264    class_id VARCHAR(64),
     265    uri VARCHAR(255),
     266    dtime_fake FLOAT,
     267    hostname VARCHAR(64),
     268    path_base VARCHAR(255),
     269    fault SMALLINT NOT NULL,
     270    epoch TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
     271    PRIMARY KEY(fake_id, exp_id, class_id),
     272    KEY(fault),
     273    FOREIGN KEY (fake_id)
     274        REFERENCES fakeRun(fake_id),
     275    FOREIGN KEY(exp_id, class_id)
     276        REFERENCES rawImfile(exp_id, class_id)
     277) ENGINE=innodb DEFAULT CHARSET=latin1;
     278
     279DROP TABLE IF EXISTS fakeMask;
     280CREATE TABLE fakeMask (
     281    label VARCHAR(64),
     282    PRIMARY KEY(label))
     283ENGINE=innodb DEFAULT CHARSET=latin1;
     284
     285-- re-normalize camProcessedExp table
     286-- unrelated to other changes
     287ALTER TABLE camProcessedExp DROP FOREIGN KEY camProcessedExp_ibfk_1;
     288ALTER TABLE camProcessedExp DROP COLUMN chip_id;
     289ALTER TABLE camProcessedExp ADD FOREIGN KEY (cam_id) REFERENCES camRun (cam_id);
     290
     291-- insert fakeRun betwen camRun and warpRun
     292-- populate fakeRun/fakeProcessedImfile
     293-- then heal the foreign key references
     294
     295CREATE TEMPORARY TABLE warpCamMap (
     296    warp_id BIGINT,
     297    cam_id  BIGINT,
     298    PRIMARY KEY(warp_id),
     299    KEY(cam_id)
     300) ENGINE=MEMORY;
     301
     302INSERT INTO warpCamMap SELECT warp_id, cam_id FROM warpRun;
     303
     304ALTER TABLE warpRun drop FOREIGN KEY warpRun_ibfk_1;
     305ALTER TABLE warpSkyCellMap DROP FOREIGN KEY warpSkyCellMap_ibfk_1;
     306
     307ALTER TABLE warpRun change COLUMN cam_id fake_id BIGINT(20) DEFAULT NULL;
     308ALTER TABLE warpSkyCellMap DROP COLUMN cam_id;
     309
     310SET FOREIGN_KEY_CHECKS=0;
     311ALTER TABLE warpRun ADD FOREIGN KEY (fake_id) REFERENCES fakeRun (fake_id);
     312SET FOREIGN_KEY_CHECKS=1;
     313ALTER TABLE warpSkyCellMap ADD FOREIGN KEY (warp_id) REFERENCES warpRun(warp_id);
     314
     315INSERT INTO fakeRun
     316SELECT
     317    NULL,
     318    cam_id,
     319    'stop',
     320    workdir,
     321    label,
     322    reduction,
     323    expgroup,
     324    dvodb,
     325    tess_id,
     326    end_stage,
     327    NULL
     328FROM camRun
     329JOIN warpCamMap
     330    using(cam_id);
     331
     332INSERT INTO fakeProcessedImfile
     333SELECT
     334    fake_id,
     335    chipRun.exp_id,
     336    class_id,
     337    uri,
     338    0,
     339    hostname,
     340    path_base,
     341    fault,
     342    NULL
     343FROM fakeRun
     344JOIN camRun
     345    USING(cam_id)
     346JOIN chipRun
     347    USING(chip_id)
     348JOIN chipProcessedImfile
     349    USING(chip_id);
     350
     351UPDATE warpRun, fakeRun, warpCamMap
     352SET warpRun.fake_id = fakeRun.fake_id
     353WHERE warpRun.warp_id = warpCamMap.warp_id
     354    AND warpCamMap.cam_id = fakeRun.fake_id;
     355
     356DROP TABLE warpCamMap;

  • trunk/dbconfig/warp.md

    r17782 r18029  
    1 # $Id: warp.md,v 1.16 2008-05-23 22:52:48 price Exp $
     1# $Id: warp.md,v 1.17 2008-06-09 22:55:57 jhoblitt Exp $
    22
    33#
    … …  
    1111warpRun METADATA
    1212    warp_id     S64         0       # Primary Key AUTO_INCREMENT
    13     cam_id      S64         0       # Key INDEX(warp_id, cam_id) fkey(cam_id) ref camProcessedExp(cam_id)
     13    fake_id      S64         0       # Key INDEX(warp_id, fake_id) fkey(fake_id) ref camProcessedExp(fake_id)
    1414    mode        STR         64      # Key
    1515    state       STR         64      # Key
    … …  
    2626
    2727warpSkyCellMap METADATA
    28     warp_id     S64         0       # Primary Key fkey(warp_id, cam_id) ref warpRun(warp_id, cam_id)
     28    warp_id     S64         0       # Primary Key fkey(warp_id) ref warpRun(warp_id)
    2929    skycell_id  STR         64      # Primary Key
    3030    tess_id     STR         64      # Primary Key
    31     cam_id      S64         0       # Primary Key
    32 # class is not yet consistently carried through pXtools
    33 #    class       STR         64      # Primary Key
    3431    class_id    STR         64      # Primary Key
    3532    fault       S16         0       # Key

  • trunk/ippTools/scripts/regtest.sh

    r15776 r18029  
    3333$regtool -pendingexp|| exit 1
    3434
    35 $regtool -addprocessedexp -exp_id $exp_id1 -exp_name t10 -inst gpc -telescope ps1 -exp_tag batman.t10 -filelevel OTA -filter r -airmass 10 -ra 1 -decl 2 -exp_type bias -exp_time 0 -bg 10 -bg_stdev 1 -bg_mean_stdev 10 -alt 10 -az 10 -ccd_temp 45 -posang 10 -object dog -dateobs "2006-10-20T10:10:10Z" -label foobar $* || exit 1
     35$regtool -addprocessedexp -exp_id $exp_id1 -exp_name t10 -inst gpc -telescope ps1 -exp_tag batman.t10 -filelevel OTA -filter r -airmass 10 -ra 1 -decl 2 -exp_type object -exp_time 0 -bg 10 -bg_stdev 1 -bg_mean_stdev 10 -alt 10 -az 10 -ccd_temp 45 -posang 10 -object dog -dateobs "2006-10-20T10:10:10Z" -label foobar -tess_id moldyshoe $* || exit 1
    3636
    3737$regtool -pendingimfile || exit 1
    … …  
    4343$regtool -pendingexp|| exit 1
    4444
    45 $regtool -addprocessedexp -exp_id $exp_id2 -exp_name t11 -inst gpc -telescope ps1 -exp_tag batman.t11 -filelevel OTA -filter r -airmass 11 -ra 1 -decl 2 -exp_type bias -exp_time 0 -bg 11 -bg_stdev 1 -bg_mean_stdev 11 -alt 11 -az 11 -ccd_temp 45 -posang 11 -object dog -dateobs 2006-10-20T10:10:10Z -label foobar $* || exit 1
     45$regtool -addprocessedexp -exp_id $exp_id2 -exp_name t11 -inst gpc -telescope ps1 -exp_tag batman.t11 -filelevel OTA -filter r -airmass 11 -ra 1 -decl 2 -exp_type object -exp_time 0 -bg 11 -bg_stdev 1 -bg_mean_stdev 11 -alt 11 -az 11 -ccd_temp 45 -posang 11 -object dog -dateobs 2006-10-20T10:10:10Z -label foobar -tess_id moldyshoe $* || exit 1

  • trunk/ippTools/scripts/warptest.sh

    r17145 r18029  
    33set -o verbose
    44
    5 camtest.sh || exit 1
     5faketest.sh || exit 1
    66
    7 #warptool -definerun -mode warp -workdir file:///foo || exit 1
     7#warp tool -definerun -fake_id 1 -mode warp -workdir file:///foo
     8
    89#warptool -addinputexp -warp_id 1 -cam_id 1 || exit 1
    910#warptool -addinputexp -warp_id 1 -cam_id 2 || exit 1
    … …  
    1516
    1617warptool -tooverlap -warp_id 1 || exit 1
    17 
    18 exit 1
    1918
    2019warptool -addoverlap -mapfile mapfile.txt || exit 1

  • trunk/ippTools/share/Makefile.am

    r17859 r18029  
    11dist_pkgdata_DATA = \
     2        camtool_find_chip_id.sql \
    23        camtool_find_pendingexp.sql \
    34        camtool_find_pendingimfile.sql \
    45        camtool_find_processedexp.sql \
    5         camtool_find_chip_id.sql \
    66        camtool_queue_chip_id.sql \
    77        camtool_reset_faulted_runs.sql \
    … …  
    1818        detselect_search.sql \
    1919        detselect_select.sql \
    20         dettool_tocorrectimfile.sql \
    21         dettool_tocorrectexp.sql \
    22         dettool_stop_completed_correct_runs.sql \
    2320        dettool_find_completed_runs.sql \
    2421        dettool_normalizedstat.sql \
    2522        dettool_raw.sql \
    26         dettool_runs.sql \
    2723        dettool_revertdetrunsummary.sql \
    2824        dettool_revertnormalizedexp.sql \
    … …  
    3430        dettool_revertresidimfile.sql\
    3531        dettool_revertstacked.sql \
     32        dettool_runs.sql \
    3633        dettool_start_new_iteration.sql \
     34        dettool_stop_completed_correct_runs.sql \
     35        dettool_tocorrectexp.sql \
     36        dettool_tocorrectimfile.sql \
    3737        dettool_todetrunsummary.sql \
    3838        dettool_tonormalizedexp.sql \
    … …  
    4444        dettool_tostacked.sql \
    4545        difftool_inputskyfile.sql \
     46        difftool_queue.sql \
     47        difftool_revertdiffskyfile.sql \
    4648        difftool_skyfile.sql \
    4749        difftool_todiffskyfile.sql \
    48         difftool_revertdiffskyfile.sql \
    49         difftool_queue.sql \
     50        faketool_completely_processed_exp.sql \
     51        faketool_find_camrun.sql \
     52        faketool_find_pendingexp.sql \
     53        faketool_pendingimfile.sql \
     54        faketool_processedimfile.sql \
     55        faketool_queue_cam_id.sql \
     56        faketool_revertprocessedimfile.sql \
     57        faketool_unmasked.sql \
     58        flatcorr_completely_processed_chiprun.sql \
    5059        flatcorr_create_tmp_chiprundone.sql \
    51         flatcorr_completely_processed_chiprun.sql \
    5260        flatcorr_find_completed_floatcorruns.sql \
    5361        flatcorr_find_processedimfiles.sql \
    54         magictool_toprocess_inputs.sql \
    55         magictool_toprocess_tree.sql \
    56         magictool_tomask.sql \
    57         magictool_toskyfilemask.sql \
    5862        magictool_find_complete_diffed_exposures.sql \
    5963        magictool_find_complete_warpruns.sql \
    6064        magictool_inputskyfile.sql \
     65        magictool_tomask.sql \
     66        magictool_toprocess_inputs.sql \
     67        magictool_toprocess_tree.sql \
     68        magictool_toskyfilemask.sql \
     69        pxadmin_create_tables.sql \
     70        pxadmin_drop_tables.sql \
    6171        pztool_find_completed_exp.sql \
    6272        pztool_pendingimfile.sql \
    6373        pztool_revertcopied.sql \
    64         pxadmin_create_tables.sql \
    65         pxadmin_drop_tables.sql \
    6674        regtool_pendingexp.sql \
    6775        regtool_pendingimfile.sql \
    … …  
    7987        warptool_scmap.sql \
    8088        warptool_tooverlap.sql \
     89        warptool_revertwarped.sql \
    8190        warptool_towarped.sql \
    82         warptool_warped.sql \
    83         warptool_revertwarped.sql
     91        warptool_warped.sql

  • trunk/ippTools/share/camtool_find_pendingexp.sql

    r15956 r18029  
    2020--      ON chipProcessedImfile.exp_id = rawExp.exp_id
    2121    LEFT JOIN camProcessedExp
    22         ON camRun.cam_id = camProcessedExp.cam_id
     22        USING(cam_id)
    2323    LEFT JOIN camMask
    2424        ON camRun.label = camMask.label

  • trunk/ippTools/share/camtool_find_pendingimfile.sql

    r14117 r18029  
    3434        ON chipProcessedImfile.exp_id = rawExp.exp_id
    3535    LEFT JOIN camProcessedExp
    36         ON camRun.cam_id = camProcessedExp.cam_id
     36        USING(cam_id)
    3737    LEFT JOIN camMask
    3838        ON camRun.label = camMask.label

  • trunk/ippTools/share/camtool_find_processedexp.sql

    r14031 r18029  
    66    rawExp.telescope,
    77    rawExp.filelevel
    8 FROM camProcessedExp
     8FROM camRun
     9JOIN camProcessedExp
     10    USING(cam_id)
    911JOIN chipRun
    1012    USING(chip_id)

  • trunk/ippTools/share/difftool_inputskyfile.sql

    r16828 r18029  
    1919    JOIN warpRun
    2020        ON diffInputSkyfile.warp_id = warpRun.warp_id
    21     JOIN camProcessedExp
    22         ON warpRun.cam_id = camProcessedExp.cam_id
     21    JOIN fakeRun
     22        USING(fake_id)
     23    JOIN camRun
     24        USING(cam_id)
    2325    JOIN chipRun
    24         ON camProcessedExp.chip_id = chipRun.chip_id
     26        USING(chip_id)
    2527    JOIN chipProcessedImfile
    26         ON chipRun.chip_id = chipProcessedImfile.chip_id
     28        USING(chip_id)
    2729    JOIN rawExp
    28         ON chipProcessedImfile.exp_id = rawExp.exp_id
     30        ON chipRun.exp_id = rawExp.exp_id
    2931    WHERE
    3032        diffRun.state = 'run'
     33        AND warpRun.state = 'stop'
     34        AND fakeRun.state = 'stop'
     35        AND camRun.state = 'stop'
     36        AND chipRun.state = 'stop'
    3137    UNION
    3238    SELECT
    … …  
    4955    JOIN warpRun
    5056        ON stackInputSkyfile.warp_id = warpRun.warp_id
    51     JOIN camProcessedExp
    52         ON warpRun.cam_id = camProcessedExp.cam_id
     57    JOIN fakeRun
     58        USING(fake_id)
     59    JOIN camRun
     60        USING(cam_id)
    5361    JOIN chipRun
    54         ON camProcessedExp.chip_id = chipRun.chip_id
     62        USING(chip_id)
    5563    JOIN chipProcessedImfile
    56         ON chipRun.chip_id = chipProcessedImfile.chip_id
     64        USING(chip_id)
    5765    JOIN rawExp
    58         ON chipProcessedImfile.exp_id = rawExp.exp_id
     66        ON chipRun.exp_id = rawExp.exp_id
    5967    WHERE
    6068        diffRun.state = 'run'
     69        AND warpRun.state = 'stop'
     70        AND fakeRun.state = 'stop'
     71        AND camRun.state = 'stop'
     72        AND chipRun.state = 'stop'
    6173    ) as Foo

  • trunk/ippTools/share/difftool_todiffskyfile.sql

    r17713 r18029  
    1414JOIN warpRun
    1515    ON warpRun.warp_id = warpSkyfile.warp_id
     16JOIN fakeRun
     17    USING(fake_id)
    1618JOIN camRun
    1719    USING(cam_id)
    … …  
    2426WHERE
    2527  diffRun.state = 'run'
     28  AND warpRun.state = 'stop'
     29  AND fakeRun.state = 'stop'
     30  AND camRun.state = 'stop'
     31  AND chipRun.state = 'stop'
    2632  AND diffSkyfile.diff_id IS NULL

  • trunk/ippTools/share/faketool_pendingimfile.sql

    r17938 r18029  
    2121        chipProcessedImfile.n_cr,
    2222        chipProcessedImfile.n_astrom,
    23         chipProcessedImfile.path_base,
     23        chipProcessedImfile.path_base as chip_path_base,
     24        camProcessedExp.path_base as cam_path_base,
    2425        rawExp.exp_name,
    2526        rawExp.camera,
    … …  
    2829    FROM fakeRun
    2930    JOIN camRun
     31        USING(cam_id)
     32    JOIN camProcessedExp
    3033        USING(cam_id)
    3134    JOIN chipRun

  • trunk/ippTools/share/pxadmin_create_tables.sql

    r17881 r18029  
    328328CREATE TABLE camProcessedExp (
    329329    cam_id BIGINT,
    330     chip_id BIGINT,
    331330    uri VARCHAR(255),
    332331    bg FLOAT,
    … …  
    356355    path_base VARCHAR(255),
    357356    fault SMALLINT NOT NULL,
    358     PRIMARY KEY(cam_id, chip_id),
    359     KEY(fault),
    360     FOREIGN KEY (cam_id, chip_id) 
    361     REFERENCES camRun(cam_id, chip_id))
     357    PRIMARY KEY(cam_id),
     358    KEY(fault),
     359    FOREIGN KEY (cam_id) 
     360        REFERENCES camRun(cam_id))
    362361ENGINE=innodb DEFAULT CHARSET=latin1;
    363362
    … …  
    646645CREATE TABLE detRegisteredImfile (det_id BIGINT, iteration INT, class_id VARCHAR(64), uri VARCHAR(255), bg DOUBLE, bg_stdev DOUBLE, bg_mean_stdev DOUBLE, user_1 DOUBLE, user_2 DOUBLE, user_3 DOUBLE, user_4 DOUBLE, user_5 DOUBLE, path_base VARCHAR(255), fault SMALLINT NOT NULL, PRIMARY KEY(det_id, iteration, class_id), KEY(fault), FOREIGN KEY (det_id, iteration)  REFERENCES  detRun(det_id, iteration)) ENGINE=innodb DEFAULT CHARSET=latin1;
    647646
    648 CREATE TABLE warpRun (warp_id BIGINT AUTO_INCREMENT, cam_id BIGINT, mode VARCHAR(64), state VARCHAR(64), workdir VARCHAR(255), workdir_state VARCHAR(64), label VARCHAR(64), dvodb VARCHAR(255), tess_id VARCHAR(64), end_stage VARCHAR(64), registered DATETIME, magiced TINYINT, PRIMARY KEY(warp_id), KEY(warp_id), KEY(cam_id), KEY(mode), KEY(state), KEY(workdir_state), KEY(label), KEY(end_stage), KEY(magiced), INDEX(warp_id, cam_id), FOREIGN KEY (cam_id)  REFERENCES  camProcessedExp(cam_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    649 CREATE TABLE warpSkyCellMap (warp_id BIGINT, skycell_id VARCHAR(64), tess_id VARCHAR(64), cam_id BIGINT, class_id VARCHAR(64), fault SMALLINT, PRIMARY KEY(warp_id, skycell_id, tess_id, cam_id, class_id), KEY(fault), FOREIGN KEY (warp_id, cam_id)  REFERENCES  warpRun(warp_id, cam_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    650 CREATE TABLE warpSkyfile (warp_id BIGINT, skycell_id VARCHAR(64), tess_id VARCHAR(64), uri VARCHAR(255), path_base VARCHAR(255), bg DOUBLE, bg_stdev DOUBLE, dtime_warp FLOAT, hostname VARCHAR(64), good_frac FLOAT, xmin INT, xmax INT, ymin INT, ymax INT, ignored TINYINT, fault SMALLINT, PRIMARY KEY(warp_id, skycell_id, tess_id), KEY(good_frac), KEY(ignored), KEY(fault), FOREIGN KEY (warp_id, skycell_id, tess_id)  REFERENCES  warpSkyCellMap(warp_id, skycell_id, tess_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    651 CREATE TABLE warpMask (label VARCHAR(64), PRIMARY KEY(label)) ENGINE=innodb DEFAULT CHARSET=latin1;
     647CREATE TABLE warpRun (
     648    warp_id BIGINT AUTO_INCREMENT,
     649    fake_id BIGINT,
     650    mode VARCHAR(64),
     651    state VARCHAR(64),
     652    workdir VARCHAR(255),
     653    workdir_state VARCHAR(64),
     654    label VARCHAR(64),
     655    dvodb VARCHAR(255),
     656    tess_id VARCHAR(64),
     657    end_stage VARCHAR(64),
     658    registered DATETIME,
     659    magiced TINYINT,
     660    PRIMARY KEY(warp_id),
     661    KEY(warp_id),
     662    KEY(fake_id),
     663    KEY(mode),
     664    KEY(state),
     665    KEY(workdir_state),
     666    KEY(label),
     667    KEY(end_stage),
     668    KEY(magiced),
     669    INDEX(warp_id, fake_id),
     670    FOREIGN KEY (fake_id) 
     671        REFERENCES fakeRun(fake_id)
     672) ENGINE=innodb DEFAULT CHARSET=latin1;
     673
     674CREATE TABLE warpSkyCellMap (
     675    warp_id BIGINT,
     676    skycell_id VARCHAR(64),
     677    tess_id VARCHAR(64),
     678    class_id VARCHAR(64),
     679    fault SMALLINT,
     680    PRIMARY KEY(warp_id, skycell_id, tess_id, class_id),
     681    KEY(fault),
     682    FOREIGN KEY (warp_id)
     683        REFERENCES warpRun(warp_id)
     684) ENGINE=innodb DEFAULT CHARSET=latin1;
     685
     686CREATE TABLE warpSkyfile (
     687    warp_id BIGINT,
     688    skycell_id VARCHAR(64),
     689    tess_id VARCHAR(64),
     690    uri VARCHAR(255),
     691    path_base VARCHAR(255),
     692    bg DOUBLE,
     693    bg_stdev DOUBLE,
     694    dtime_warp FLOAT,
     695    hostname VARCHAR(64),
     696    good_frac FLOAT,
     697    xmin INT,
     698    xmax INT,
     699    ymin INT,
     700    ymax INT,
     701    ignored TINYINT,
     702    fault SMALLINT,
     703    PRIMARY KEY(warp_id, skycell_id, tess_id),
     704    KEY(good_frac),
     705    KEY(ignored), KEY(fault),
     706    FOREIGN KEY (warp_id, skycell_id, tess_id) 
     707        REFERENCES warpSkyCellMap(warp_id, skycell_id, tess_id)
     708) ENGINE=innodb DEFAULT CHARSET=latin1;
     709
     710CREATE TABLE warpMask (
     711    label VARCHAR(64),
     712    PRIMARY KEY(label)
     713) ENGINE=innodb DEFAULT CHARSET=latin1;
     714
    652715CREATE TABLE stackRun (stack_id BIGINT AUTO_INCREMENT, state VARCHAR(64), workdir VARCHAR(255), dvodb VARCHAR(255), registered DATETIME, skycell_id VARCHAR(64), tess_id VARCHAR(64), PRIMARY KEY(stack_id), KEY(stack_id), KEY(state), KEY(skycell_id), KEY(tess_id)) ENGINE=innodb DEFAULT CHARSET=latin1;
    653716CREATE TABLE stackInputSkyfile (stack_id BIGINT, warp_id BIGINT, PRIMARY KEY(stack_id, warp_id), FOREIGN KEY (stack_id)  REFERENCES  stackRun(stack_id), FOREIGN KEY (warp_id)  REFERENCES  warpSkyfile(warp_id)) ENGINE=innodb DEFAULT CHARSET=latin1;

  • trunk/ippTools/share/stacktool_find_complete_warps.sql

    r16827 r18029  
    66    JOIN warpSkyfile
    77        USING(warp_id)
     8    JOIN fakeRun
     9        USING(fake_id)
    810    JOIN camRun
    911        USING(cam_id)

  • trunk/ippTools/share/stacktool_inputskyfile.sql

    r16828 r18029  
    1111JOIN warpRun
    1212    ON stackInputSkyfile.warp_id = warpRun.warp_id
    13 JOIN camProcessedExp
    14     ON warpRun.cam_id = camProcessedExp.cam_id
     13JOIN fakeRun
     14    USING(fake_id)
     15JOIN camRun
     16    USING(cam_id)
    1517JOIN chipRun
    16     ON camProcessedExp.chip_id = chipRun.chip_id
     18    USING(chip_id)
    1719JOIN chipProcessedImfile
    18     ON chipRun.chip_id = chipProcessedImfile.chip_id
     20    USING(chip_id)
    1921JOIN rawExp
    2022    ON chipProcessedImfile.exp_id = rawExp.exp_id

  • trunk/ippTools/share/warptool_exp.sql

    r16733 r18029  
    11SELECT
    2     camProcessedExp.*
     2    fakeRun.*
    33FROM warpRun
    4 JOIN camProcessedExp
    5     USING(cam_id)
     4JOIN fakeRun
     5    USING(fake_id)
    66WHERE
    77    warpRun.state = 'run'
    8     AND camProcessedExp.fault = 0
     8    AND fakeRun.state = 'stop'

  • trunk/ippTools/share/warptool_imfile.sql

    r16733 r18029  
    11SELECT DISTINCT
    22    rawImfile.*,
    3     warpRun.cam_id,
     3    warpRun.fake_id,
    44    chipProcessedImfile.uri as chip_uri,
    55    chipProcessedImfile.path_base as chip_path_base,
    66    camProcessedExp.path_base as cam_path_base
    77FROM warpRun
     8JOIN fakeRun
     9    USING(fake_id)
     10JOIN camRun
     11    USING(cam_id)
    812JOIN camProcessedExp
    913    USING(cam_id)
    1014JOIN chipRun
    11     ON camProcessedExp.chip_id = chipRun.chip_id
     15    ON camRun.chip_id = chipRun.chip_id
    1216JOIN chipProcessedImfile
    13     ON camProcessedExp.chip_id = chipProcessedImfile.chip_id
     17    ON chipRun.chip_id = chipProcessedImfile.chip_id
    1418JOIN rawImfile -- is there any reason not to refer back to rawimfiles?
    15     ON chipProcessedImfile.exp_id = rawImfile.exp_id AND chipProcessedImfile.class_id = rawImfile.class_id
     19    ON chipProcessedImfile.exp_id = rawImfile.exp_id
     20    AND chipProcessedImfile.class_id = rawImfile.class_id
    1621WHERE
    1722    warpRun.state = 'run'
     23    AND fakeRun.state = 'stop'
     24    AND camRun.state = 'stop'
     25    AND chipRun.state = 'stop'
    1826

  • trunk/ippTools/share/warptool_revertwarped.sql

    r17226 r18029  
    11DELETE FROM warpSkyfile
    2 USING warpSkyfile, warpRun, camRun, chipRun, rawExp
     2USING warpSkyfile, warpRun, fakeRun, camRun, chipRun, rawExp
    33WHERE
    44    warpSkyfile.warp_id = warpRun.warp_id
    5     AND warpRun.cam_id = camRun.cam_id
     5    AND warpRun.fake_id = fakeRun.fake_id
     6    AND fakeRun.cam_id = camRun.cam_id
    67    AND camRun.chip_id = chipRun.chip_id
    78    AND chipRun.exp_id = rawExp.exp_id

  • trunk/ippTools/share/warptool_scmap.sql

    r16024 r18029  
    77JOIN warpSkyCellMap
    88    USING(warp_id)
     9JOIN fakeRun
     10    USING(fake_id)
     11JOIN camRun
     12    USING(cam_id)
    913JOIN camProcessedExp
    10     ON warpSkyCellMap.cam_id = camProcessedExp.cam_id
     14    USING(cam_id)
     15JOIN chipRun
     16    USING(chip_id)
    1117JOIN chipProcessedImfile
    12     ON camProcessedExp.chip_id = chipProcessedImfile.chip_id
     18    ON chipRun.chip_id = chipProcessedImfile.chip_id
    1319    AND warpSkyCellMap.class_id = chipProcessedImfile.class_id
    14 -- move this as an option into the code
    15 -- WHERE
     20WHERE
    1621--    warpRun.state = 'run'
     22    fakeRun.state = 'stop'
     23    AND camRun.state = 'stop'
     24    AND chipRun.state = 'stop'

  • trunk/ippTools/share/warptool_tooverlap.sql

    r17145 r18029  
    11SELECT
    22    warpRun.warp_id,
    3     warpRun.cam_id,
     3    warpRun.fake_id,
    44    warpRun.workdir,
    55    warpRun.tess_id,
    … …  
    99    warpRun.magiced
    1010FROM warpRun
    11 JOIN camProcessedExp
     11JOIN fakeRun
     12    USING(fake_id)
     13JOIN camRun
    1214    USING(cam_id)
    1315JOIN chipRun
    … …  
    1618    USING(exp_id)
    1719LEFT JOIN warpSkyCellMap
    18     USING(warp_id, cam_id)
     20    USING(warp_id)
    1921LEFT JOIN warpMask
    2022    ON warpRun.label = warpMask.label
    2123WHERE
    2224    warpRun.state = 'run'
    23     AND camProcessedExp.fault = 0
     25    AND fakeRun.state = 'stop'
     26    AND camRun.state = 'stop'
     27    AND chipRun.state = 'stop'
    2428    AND warpSkyCellMap.warp_id IS NULL
    25     AND warpSkyCellMap.cam_id IS NULL
    2629    AND warpMask.label IS NULL

  • trunk/ippTools/share/warptool_towarped.sql

    r17145 r18029  
    33    warpSkyCellMap.skycell_id,
    44    warpSkyCellMap.tess_id,
    5     warpSkyCellMap.cam_id,
     5    warpRun.fake_id,
     6    camRun.cam_id,
    67    rawExp.camera,
    78    warpRun.workdir
    … …  
    910JOIN warpSkyCellMap
    1011    USING(warp_id)
    11 JOIN camProcessedExp
    12     ON warpSkyCellMap.cam_id = camProcessedExp.cam_id
     12JOIN fakeRun
     13    USING(fake_id)
     14JOIN camRun
     15    USING(cam_id)
    1316JOIN chipRun
    14     ON camProcessedExp.chip_id = chipRun.chip_id
     17    USING(chip_id)
    1518JOIN chipProcessedImfile
    16     ON chipRun.chip_id = chipProcessedImfile.chip_id
     19    USING(chip_id)
    1720JOIN rawExp
    18     ON chipProcessedImfile.exp_id = rawExp.exp_id
     21    ON chipRun.exp_id = rawExp.exp_id
    1922LEFT JOIN warpSkyfile
    2023    ON warpRun.warp_id = warpSkyfile.warp_id
    … …  
    2528WHERE
    2629    warpRun.state = 'run'
     30    AND fakeRun.state = 'stop'
     31    AND camRun.state = 'stop'
     32    AND chipRun.state = 'stop'
    2733    AND warpSkyfile.warp_id IS NULL
    2834    AND warpSkyfile.skycell_id IS NULL

  • trunk/ippTools/src

    • Property svn:ignore

      •  

        old new  
        2323difftool
        2424stacktool
         25faketool
        2526dettool
        2627detselect

  • trunk/ippTools/src/.cvsignore

    r16134 r18029  
    2323difftool
    2424stacktool
     25faketool
    2526dettool
    2627detselect

  • trunk/ippTools/src/Makefile.am

    r17856 r18029  
    88        flatcorr \
    99        magictool \
    10         pstamptool \
     10        pstamptool \
    1111        pxadmin \
    1212        pxinject \
     13        faketool \
    1314        pzgetexp \
    1415        pzgetimfiles \
    … …  
    2829        pxconfig.h \
    2930        pxdata.h \
     31        pxfake.h \
    3032        pxio.h \
    3133        pxregister.h \
    … …  
    4446        difftool.h \
    4547        flatcorr.h \
     48        faketool.h \
    4649        guidetool.h \
    4750        magictool.h \
    48         pstamptool.h \
     51        pstamptool.h \
    4952        pxinject.h \
    5053        pzgetexp.h \
    … …  
    6568        pxdata.c \
    6669        pxerrors.c \
     70        pxfake.c \
    6771        pxfault.c \
    6872        pxio.c \
    … …  
    124128    camtoolConfig.c
    125129
     130faketool_CFLAGS = $(PSLIB_CFLAGS) $(PSMODULES_CFLAGS) $(IPPDB_CFLAGS)
     131faketool_LDADD = $(PSLIB_LIBS) $(PSMODULES_LIBS) $(IPPDB_LIBS) libpxtools.la
     132faketool_SOURCES = \
     133    faketool.c \
     134    faketoolConfig.c
     135
    126136magictool_CFLAGS = $(PSLIB_CFLAGS) $(PSMODULES_CFLAGS) $(IPPDB_CFLAGS)
    127137magictool_LDADD = $(PSLIB_LIBS) $(PSMODULES_LIBS) $(IPPDB_LIBS) libpxtools.la

  • trunk/ippTools/src/camtool.c

    r17609 r18029  
    2727
    2828#include "pxtools.h"
    29 #include "pxwarp.h"
    3029#include "pxcam.h"
    3130#include "camtool.h"
    … …  
    599598    psFree(output);
    600599    camProcessedExpRow *row = camProcessedExpRowAlloc(
    601         pendingRow->cam_id,
    602         pendingRow->chip_id,
    603         uri,
    604         bg,
    605         bg_stdev,
    606         bg_mean_stdev,
    607         bias,
    608         bias_stdev,
    609         fringe_0,
    610         fringe_1,
    611         fringe_2,
    612         sigma_ra,
    613         sigma_dec,
    614         ap_resid,
    615         ap_resid_stdev,
    616         zp_mean,
    617         zp_stdev,
    618         fwhm_major,
    619         fwhm_minor,
    620         dtime_detrend,
    621         dtime_photom,
    622         dtime_astrom,
    623         hostname,
    624         n_stars,
    625         n_extended,
    626         n_cr,
    627         n_astrom,
    628         path_base,
    629         code
     600            pendingRow->cam_id,
     601            uri,
     602            bg,
     603            bg_stdev,
     604            bg_mean_stdev,
     605            bias,
     606            bias_stdev,
     607            fringe_0,
     608            fringe_1,
     609            fringe_2,
     610            sigma_ra,
     611            sigma_dec,
     612            ap_resid,
     613            ap_resid_stdev,
     614            zp_mean,
     615            zp_stdev,
     616            fwhm_major,
     617            fwhm_minor,
     618            dtime_detrend,
     619            dtime_photom,
     620            dtime_astrom,
     621            hostname,
     622            n_stars,
     623            n_extended,
     624            n_cr,
     625            n_astrom,
     626            path_base,
     627            code
    630628        );
    631629
    … …  
    649647    }
    650648
    651     // should we stop here or proceed on to the warp stage?
    652649    // NULL for end_stage means go as far as possible
    653     // we can't start a warp run unlesss tess_id is defined
     650    // XXX true for fake too?
     651    // XXX we can't start a warp run unlesss tess_id is defined
    654652    if ((pendingRow->end_stage && psStrcasestr(pendingRow->end_stage, "cam"))
    655653        || (pendingRow->tess_id == NULL) || psStrcasestr(pendingRow->tess_id, "NULL")) {
    … …  
    666664    // else continue on...
    667665
    668     if (!pxwarpQueueByCamID(config,
     666    if (!pxfakeQueueByCamID(config,
    669667            pendingRow->cam_id,
    670668            pendingRow->workdir,
    671669            pendingRow->label,
     670            pendingRow->reduction,
     671            pendingRow->expgroup,
    672672            pendingRow->dvodb,
    673673            pendingRow->tess_id,
    … …  
    678678            psError(PS_ERR_UNKNOWN, false, "database error");
    679679        }
    680         psError(PS_ERR_UNKNOWN, false, "failed to queue new warpRun");
     680        psError(PS_ERR_UNKNOWN, false, "failed to queue new fakeRun");
    681681        psFree(pendingRow);
    682682        return false;

  • trunk/ippTools/src/faketool.c

    r17357 r18029  
    3232
    3333#include "faketool.h"
    34 #include "camtool.h"
    3534
    3635static bool queueMode(pxConfig *config);
    3736static bool updaterunMode(pxConfig *config);
     37static bool pendingexpMode(pxConfig *config);
    3838static bool pendingimfileMode(pxConfig *config);
    3939static bool addprocessedimfileMode(pxConfig *config);
    … …  
    6767        MODECASE(FAKETOOL_MODE_QUEUE,                   queueMode);
    6868        MODECASE(FAKETOOL_MODE_UPDATERUN,               updaterunMode);
     69        MODECASE(FAKETOOL_MODE_PENDINGEXP,              pendingexpMode);
    6970        MODECASE(FAKETOOL_MODE_PENDINGIMFILE,           pendingimfileMode);
    7071        MODECASE(FAKETOOL_MODE_ADDPROCESSEDIMFILE,      addprocessedimfileMode);
    … …  
    171172
    172173    // find the exp_id of all the exposures that we want to queue up.
    173     psString query = pxDataGet("faketool_find_rawexp.sql");
     174    psString query = pxDataGet("faketool_find_camrun.sql");
    174175    if (!query) {
    175176        psError(PXTOOLS_ERR_DATA, false, "failed to retreive SQL statement");
    … …  
    179180
    180181    if (where && psListLength(where->list)) {
    181         psString whereClause = psDBGenerateWhereConditionSQL(where, "rawExp");
    182         psStringAppend(&query, " AND %s", whereClause);
     182        psString whereClause = psDBGenerateWhereSQL(where, NULL);
     183        psStringAppend(&query, " %s", whereClause);
    183184        psFree(whereClause);
    184185    }
    … …  
    219220    }
    220221
    221     // loop over our list of exp_ids
     222    // loop over our list of cam_ids
    222223    for (long i = 0; i < psArrayLength(output); i++) {
    223224        psMetadata *md = output->data[i];
    224225
    225226        bool status;
    226         psS64 exp_id = psMetadataLookupS64(&status, md, "exp_id");
     227        psS64 cam_id = psMetadataLookupS64(&status, md, "cam_id");
    227228        if (!status) {
    228             psError(PS_ERR_UNKNOWN, false, "failed to lookup value for exp_id");
     229            psError(PS_ERR_UNKNOWN, false, "failed to lookup value for cam_id");
    229230            psFree(output);
    230231            return false;
    … …  
    232233
    233234        // queue the exp
    234         if (!pxfakeQueueByExpTag(config, exp_id, workdir, label, reduction, expgroup, dvodb, tess_id, end_stage)) {
     235        if (!pxfakeQueueByCamID(config, cam_id, workdir, label, reduction, expgroup, dvodb, tess_id, end_stage)) {
    235236            if (!psDBRollback(config->dbh)) {
    236237                psError(PS_ERR_UNKNOWN, false, "database error");
    237238            }
    238239            psError(PS_ERR_UNKNOWN, false,
    239                     "failed to trying to queue exp_id: %" PRId64, exp_id);
     240                    "failed to trying to queue cam_id: %" PRId64, cam_id);
    240241            psFree(output);
    241242            return false;
    … …  
    354355
    355356
     357static bool pendingexpMode(pxConfig *config)
     358{
     359    PS_ASSERT_PTR_NON_NULL(config, false);
     360
     361    PXOPT_LOOKUP_U64(limit, config->args, "-limit", false, false);
     362    PXOPT_LOOKUP_BOOL(simple, config->args, "-simple", false);
     363
     364    psMetadata *where = psMetadataAlloc();
     365    PXOPT_COPY_STR(config->args, where, "-fake_id", "fake_id", "==");
     366    PXOPT_COPY_STR(config->args, where, "-cam_id", "cam_id", "==");
     367    PXOPT_COPY_STR(config->args, where, "-chip_id", "chip_id", "==");
     368
     369    psString query = pxDataGet("faketool_find_pendingexp.sql");
     370    if (!query) {
     371        psError(PXTOOLS_ERR_DATA, false, "failed to retreive SQL statement");
     372        psFree(where);
     373        return false;
     374    }
     375
     376    if (where && psListLength(where->list)) {
     377        psString whereClause = psDBGenerateWhereConditionSQL(where, NULL);
     378        psStringAppend(&query, " AND %s", whereClause);
     379        psFree(whereClause);
     380    }
     381    psFree(where);
     382
     383    // treat limit == 0 as "no limit"
     384    if (limit) {
     385        psString limitString = psDBGenerateLimitSQL(limit);
     386        psStringAppend(&query, " %s", limitString);
     387        psFree(limitString);
     388    }
     389
     390    if (!p_psDBRunQuery(config->dbh, query)) {
     391        psError(PS_ERR_UNKNOWN, false, "database error");
     392        psFree(query);
     393        return false;
     394    }
     395    psFree(query);
     396
     397    psArray *output = p_psDBFetchResult(config->dbh);
     398    if (!output) {
     399        psError(PS_ERR_UNKNOWN, false, "database error");
     400        return false;
     401    }
     402    if (!psArrayLength(output)) {
     403        psTrace("camtool", PS_LOG_INFO, "no rows found");
     404        psFree(output);
     405        return true;
     406    }
     407
     408    if (!convertIdToStr(output)) {
     409        psError(PS_ERR_UNKNOWN, false, "failed to convert id fields into a strings");
     410        psFree(output);
     411        return false;
     412    }
     413
     414    // negate simple so the default is true
     415    if (!ippdbPrintMetadatas(stdout, output, "fakePendingExp", !simple)) {
     416        psError(PS_ERR_UNKNOWN, false, "failed to print array");
     417        psFree(output);
     418        return false;
     419    }
     420
     421    psFree(output);
     422
     423    return true;
     424}
     425
     426
    356427static bool pendingimfileMode(pxConfig *config)
    357428{
    … …  
    448519
    449520    // fake_id, ext_tag, class_id are required
    450     PXOPT_LOOKUP_STR(fake_id, config->args, "-fake_id", true, false);
    451     PXOPT_LOOKUP_STR(exp_id, config->args, "-exp_id", true, false);
    452     PXOPT_LOOKUP_STR(class_id, config->args, "-class_id", true, false);
     521    PXOPT_LOOKUP_STR(fake_id, config->args,     "-fake_id", true, false);
     522    PXOPT_LOOKUP_STR(exp_id, config->args,      "-exp_id", true, false);
     523    PXOPT_LOOKUP_STR(class_id, config->args,    "-class_id", true, false);
    453524
    454525    // optional
    455     PXOPT_LOOKUP_STR(uri, config->args,            "-uri", false, false);
    456     PXOPT_LOOKUP_F32(bg, config->args,             "-bg", false, false);
    457     PXOPT_LOOKUP_F32(bg_stdev, config->args,       "-bg_stdev", false, false);
    458     PXOPT_LOOKUP_F32(bg_mean_stdev, config->args,  "-bg_mean_stdev", false, false);
    459     PXOPT_LOOKUP_F32(bias, config->args,           "-bias", false, false);
    460     PXOPT_LOOKUP_F32(bias_stdev, config->args,     "-bias_stdev", false, false);
    461     PXOPT_LOOKUP_F32(fringe_0, config->args,       "-fringe_0", false, false);
    462     PXOPT_LOOKUP_F32(fringe_1, config->args,       "-fringe_1", false, false);
    463     PXOPT_LOOKUP_F32(fringe_2, config->args,       "-fringe_2", false, false);
    464     PXOPT_LOOKUP_F32(sigma_ra, config->args,       "-sigma_ra", false, false);
    465     PXOPT_LOOKUP_F32(sigma_dec, config->args,      "-sigma_dec", false, false);
    466     PXOPT_LOOKUP_F32(ap_resid, config->args,       "-ap_resid", false, false);
    467     PXOPT_LOOKUP_F32(ap_resid_stdev, config->args, "-ap_resid_stdev", false, false);
    468     PXOPT_LOOKUP_F32(zp_mean, config->args,        "-zp_mean", false, false);
    469     PXOPT_LOOKUP_F32(zp_stdev, config->args,       "-zp_stdev", false, false);
    470     PXOPT_LOOKUP_F32(fwhm_major, config->args,     "-fwhm_major", false, false);
    471     PXOPT_LOOKUP_F32(fwhm_minor, config->args,     "-fwhm_minor", false, false);
    472     PXOPT_LOOKUP_F32(dtime_detrend, config->args,  "-dtime_detrend", false, false);
    473     PXOPT_LOOKUP_F32(dtime_photom,  config->args,  "-dtime_photom",  false, false);
    474     PXOPT_LOOKUP_F32(dtime_astrom,  config->args,  "-dtime_astrom",  false, false);
    475     PXOPT_LOOKUP_STR(hostname, config->args,       "-hostname", false, false);
    476     PXOPT_LOOKUP_F32(n_stars, config->args, "-n_stars", false, false);
    477     PXOPT_LOOKUP_F32(n_extended, config->args, "-n_extended", false, false);
    478     PXOPT_LOOKUP_F32(n_cr, config->args, "-n_cr", false, false);
    479     PXOPT_LOOKUP_F32(n_astrom, config->args, "-n_astrom", false, false);
    480     PXOPT_LOOKUP_STR(path_base, config->args, "-path_base", false, false);
     526    PXOPT_LOOKUP_STR(uri, config->args,         "-uri", false, false);
     527
     528    PXOPT_LOOKUP_F32(dtime_fake, config->args,  "-dtime_fake", false, false);
     529    PXOPT_LOOKUP_STR(hostname, config->args,    "-hostname", false, false);
     530    PXOPT_LOOKUP_STR(path_base, config->args,   "-path_base", false, false);
    481531
    482532    // default values
    483     PXOPT_LOOKUP_S16(code, config->args, "-code", false, false);
     533    PXOPT_LOOKUP_S16(code, config->args,        "-code", false, false);
    484534
    485535    if (!psDBTransaction(config->dbh)) {
    … …  
    493543                                   class_id,
    494544                                   uri,
    495                                    bg,
    496                                    bg_stdev,
    497                                    bg_mean_stdev,
    498                                    bias,
    499                                    bias_stdev,
    500                                    fringe_0,
    501                                    fringe_1,
    502                                    fringe_2,
    503                                    sigma_ra,
    504                                    sigma_dec,
    505                                    ap_resid,
    506                                    ap_resid_stdev,
    507                                    zp_mean,
    508                                    zp_stdev,
    509                                    fwhm_major,
    510                                    fwhm_minor,
    511                                    dtime_detrend,
    512                                    dtime_photom,
    513                                    dtime_astrom,
     545                                   dtime_fake,
    514546                                   hostname,
    515                                    n_stars,
    516                                    n_extended,
    517                                    n_cr,
    518                                    n_astrom,
    519547                                   path_base,
    520                                    code
     548                                   code,
     549                                   NULL         // epoch
    521550            )) {
    522551        // rollback
    … …  
    748777    PXOPT_LOOKUP_S16(code, config->args, "-code", true, false);
    749778
    750     if (!pxSetFaultCode(config->dbh, "fakeProcessedImfile", config->where, code)) {
     779    psMetadata *where = psMetadataAlloc();
     780    PXOPT_LOOKUP_STR(fake_id, config->args, "-fake_id", false, false);
     781    // convert fake_id into a psS64
     782    if (fake_id) {
     783        if (!psMetadataAddS64(where, PS_LIST_TAIL, "fake_id", 0, "==", (psS64)atoll(fake_id))) {
     784            psError(PS_ERR_UNKNOWN, false, "failed to add item fake_id");
     785            psFree(where);
     786            return false;
     787        }
     788    }
     789    PXOPT_COPY_STR(config->args, where, "-class_id", "class_id", "==");
     790
     791    if (!pxSetFaultCode(config->dbh, "fakeProcessedImfile", where, code)) {
    751792        psError(PS_ERR_UNKNOWN, false, "failed to set set fault flag");
    752         return false;
    753     }
     793        psFree(where);
     794        return false;
     795    }
     796    psFree(where);
    754797
    755798    return true;
    … …  
    9841027        // camQueueFakeID() can only be run after fakeRun.state has been set to
    9851028        // stop
    986         if (!pxcamQueueByFakeID(config,
     1029        if (!pxwarpQueueByFakeID(config,
    9871030                    fakeRun->fake_id,
    9881031                    fakeRun->workdir,
    9891032                    fakeRun->label,
    990                     fakeRun->reduction,
    991                     fakeRun->expgroup,
    9921033                    fakeRun->dvodb,
    9931034                    fakeRun->tess_id,

  • trunk/ippTools/src/faketool.h

    r17938 r18029  
    2828    FAKETOOL_MODE_UPDATERUN,
    2929    FAKETOOL_MODE_PENDINGIMFILE,
     30    FAKETOOL_MODE_PENDINGEXP,
    3031    FAKETOOL_MODE_ADDPROCESSEDIMFILE,
    3132    FAKETOOL_MODE_PROCESSEDIMFILE,

  • trunk/ippTools/src/faketoolConfig.c

    r17357 r18029  
    232232
    233233
     234    // -pendingexp
     235    psMetadata *pendingexpArgs = psMetadataAlloc();
     236    psMetadataAddStr(pendingexpArgs, PS_LIST_TAIL, "-cam_id", 0,
     237            "search by camtool ID", NULL);
     238    psMetadataAddStr(pendingexpArgs, PS_LIST_TAIL, "-chip_id", 0,
     239            "search by chiptool ID", NULL);
     240    psMetadataAddU64(pendingexpArgs, PS_LIST_TAIL, "-limit",  0,
     241            "limit result set to N items", 0);
     242    psMetadataAddBool(pendingexpArgs, PS_LIST_TAIL, "-simple", 0,
     243            "use the simple output format", false);
     244
    234245    // -pendingimfile
    235246    psMetadata *pendingimfileArgs = psMetadataAlloc();
    … …  
    416427
    417428    PXOPT_ADD_MODE("-queue",                 "create runs from raw exposures",
    418         FAKETOOL_MODE_QUEUE,    queueArgs);
     429        FAKETOOL_MODE_QUEUE,                    queueArgs);
    419430    PXOPT_ADD_MODE("-updaterun",             "change fake run properties",
    420         FAKETOOL_MODE_UPDATERUN, updaterunArgs);
     431        FAKETOOL_MODE_UPDATERUN,                updaterunArgs);
     432    PXOPT_ADD_MODE("-pendingexp",           "show pending exposures",
     433        FAKETOOL_MODE_PENDINGEXP,               pendingexpArgs);
    421434    PXOPT_ADD_MODE("-pendingimfile",         "show pending imfiles",
    422         FAKETOOL_MODE_PENDINGIMFILE,  pendingimfileArgs);
     435        FAKETOOL_MODE_PENDINGIMFILE,            pendingimfileArgs);
    423436    PXOPT_ADD_MODE("-addprocessedimfile",    "add a processed imfile",
    424         FAKETOOL_MODE_ADDPROCESSEDIMFILE,addprocessedimfileArgs);
     437        FAKETOOL_MODE_ADDPROCESSEDIMFILE,       addprocessedimfileArgs);
    425438    PXOPT_ADD_MODE("-processedimfile",       "show processed imfiles",
    426         FAKETOOL_MODE_PROCESSEDIMFILE, processedimfileArgs);
    427     PXOPT_ADD_MODE("-updateprocessedimfile", "change procesed imfile properties", FAKETOOL_MODE_UPDATEPROCESSEDIMFILE,    updateprocessedimfileArgs);
    428     PXOPT_ADD_MODE("-revertprocessedimfile", "undo a processed imfile", FAKETOOL_MODE_REVERTPROCESSEDIMFILE,    revertprocessedimfileArgs);
     439        FAKETOOL_MODE_PROCESSEDIMFILE,          processedimfileArgs);
     440    PXOPT_ADD_MODE("-updateprocessedimfile","change procesed imfile properties",        FAKETOOL_MODE_UPDATEPROCESSEDIMFILE,    updateprocessedimfileArgs);
     441    PXOPT_ADD_MODE("-revertprocessedimfile", "undo a processed imfile",
     442        FAKETOOL_MODE_REVERTPROCESSEDIMFILE,    revertprocessedimfileArgs);
    429443    PXOPT_ADD_MODE("-block",                 "set a label block", FAKETOOL_MODE_BLOCK,          blockArgs);
    430444    PXOPT_ADD_MODE("-masked",                "show blocked labels", FAKETOOL_MODE_MASKED,         maskedArgs);

  • trunk/ippTools/src/pxtools.h

    r16170 r18029  
    2828#include <ippdb.h>
    2929
     30#include "pxconfig.h"
    3031#include "pxtoolsErrorCodes.h"
     32
     33#include "pxcam.h"
     34#include "pxchip.h"
     35#include "pxdata.h"
     36#include "pxfake.h"
     37#include "pxwarp.h"
    3138#include "pxio.h"
    32 #include "pxdata.h"
     39#include "pxregister.h"
    3340#include "pxtag.h"
    34 #include "pxregister.h"
    35 #include "pxchip.h"
    36 #include "pxcam.h"
    3741#include "pxtree.h"
    38 #include "pxconfig.h"
    3942
    4043# define MAX_ROWS 10e9

  • trunk/ippTools/src/pxwarp.c

    r17180 r18029  
    135135
    136136
    137 bool pxwarpQueueByCamID(pxConfig *config,
    138                     psS64 cam_id,
     137bool pxwarpQueueByFakeID(pxConfig *config,
     138                    psS64 fake_id,
    139139                    char *workdir,
    140140                    char *label,
    … …  
    148148    if (!warpRunInsert(config->dbh,
    149149        0,          // ID
    150         cam_id,
     150        fake_id,
    151151        "warp",     // mode
    152152        "run",      // state

  • trunk/ippTools/src/pxwarp.h

    r17180 r18029  
    3030bool pxwarpRunSetLabelByQuery(pxConfig *config, psMetadata *where, const char *label);
    3131
    32 bool pxwarpQueueByCamID(pxConfig *config,
    33                     psS64 cam_id,
     32bool pxwarpQueueByFakeID(pxConfig *config,
     33                    psS64 fake_id,
    3434                    char *workdir,
    3535                    char *label,

  • trunk/ippTools/src/warptool.c

    r17917 r18029  
    111111
    112112    // required options
    113     PXOPT_LOOKUP_STR(cam_id, config->args, "-cam_id", true, false);
     113    PXOPT_LOOKUP_STR(fake_id, config->args, "-fake_id", true, false);
    114114    PXOPT_LOOKUP_STR(mode, config->args, "-mode", true, false);
    115115    // check mode
    … …  
    133133    warpRunRow *warpRun = warpRunRowAlloc(
    134134            0,          // ID
    135             (psS64)atoll(cam_id),
     135            (psS64)atoll(fake_id),
    136136            mode,
    137137            "run",      // state
    … …  
    176176
    177177    PXOPT_LOOKUP_STR(warp_id, config->args, "-warp_id", false, false);
    178     PXOPT_LOOKUP_STR(cam_id, config->args, "-cam_id", false, false);
     178    PXOPT_LOOKUP_STR(fake_id, config->args, "-fake_id", false, false);
    179179    PXOPT_LOOKUP_STR(chip_id, config->args, "-chip_id", false, false);
    180180    PXOPT_LOOKUP_STR(exp_id, config->args, "-exp_id", false, false);
    … …  
    190190    }
    191191
    192     // convert cam_id into a psS64
    193     if (cam_id) {
    194         if (!psMetadataAddS64(where, PS_LIST_TAIL, "cam_id", 0, "==", (psS64)atoll(cam_id))) {
    195             psError(PS_ERR_UNKNOWN, false, "failed to add item cam_id");
     192    // convert fake_id into a psS64
     193    if (fake_id) {
     194        if (!psMetadataAddS64(where, PS_LIST_TAIL, "fake_id", 0, "==", (psS64)atoll(fake_id))) {
     195            psError(PS_ERR_UNKNOWN, false, "failed to add item fake_id");
    196196            psFree(where);
    197197            return false;
    … …  
    543543        }
    544544    } else {
    545         warpSkyCellMapInsert(config->dbh, (psS64)atoll(warp_id), NULL, NULL, 0, NULL, code);
     545        warpSkyCellMapInsert(config->dbh,
     546            (psS64)atoll(warp_id),
     547            NULL,   // skycell_id
     548            NULL,   // tess_id
     549            NULL,   // class_id
     550            code    // fault
     551        );
    546552    }
    547553
    … …  
    10281034
    10291035    PXOPT_LOOKUP_STR(warp_id, config->args, "-warp_id", false, false);
    1030     PXOPT_LOOKUP_STR(cam_id, config->args, "-cam_id", false, false);
     1036    PXOPT_LOOKUP_STR(fake_id, config->args, "-fake_id", false, false);
    10311037    PXOPT_LOOKUP_STR(chip_id, config->args, "-chip_id", false, false);
    10321038    PXOPT_LOOKUP_STR(exp_id, config->args, "-exp_id", false, false);
    … …  
    10451051    PXOPT_COPY_STR(config->args, where, "-tess_id", "tess_id", "==");
    10461052
    1047     // convert cam_id into a psS64
    1048     if (cam_id) {
    1049         if (!psMetadataAddS64(where, PS_LIST_TAIL, "camRun.cam_id", 0, "==", (psS64)atoll(cam_id))) {
    1050             psError(PS_ERR_UNKNOWN, false, "failed to add item cam_id");
     1053    // convert fake_id into a psS64
     1054    if (fake_id) {
     1055        if (!psMetadataAddS64(where, PS_LIST_TAIL, "fakeRun.fake_id", 0, "==", (psS64)atoll(fake_id))) {
     1056            psError(PS_ERR_UNKNOWN, false, "failed to add item fake_id");
    10511057            psFree(where);
    10521058            return false;

  • trunk/ippTools/src/warptoolConfig.c

    r17791 r18029  
    4949    // -definerun
    5050    psMetadata *definerunArgs = psMetadataAlloc();
    51     psMetadataAddStr(definerunArgs, PS_LIST_TAIL, "-cam_id", 0,
     51    psMetadataAddStr(definerunArgs, PS_LIST_TAIL, "-fake_id", 0,
    5252            "define camtool ID (required)", NULL);
    5353    psMetadataAddStr(definerunArgs, PS_LIST_TAIL, "-mode", 0,
    … …  
    7272    // -updaterun
    7373    psMetadata *updaterunArgs = psMetadataAlloc();
    74     // XXX need to allow multiple cam_ids
     74    // XXX need to allow multiple fake_ids
    7575    psMetadataAddStr(updaterunArgs, PS_LIST_TAIL, "-warp_id", 0,
    7676            "search by warptool ID", NULL);
    77     // XXX need to allow multiple cam_ids
    78     psMetadataAddStr(updaterunArgs, PS_LIST_TAIL, "-cam_id",  0,
    79             "search by cam_id", NULL);
     77    // XXX need to allow multiple fake_ids
     78    psMetadataAddStr(updaterunArgs, PS_LIST_TAIL, "-fake_id",  0,
     79            "search by fake_id", NULL);
    8080    // XXX need to allow multiple chip_ids
    8181    psMetadataAddStr(updaterunArgs, PS_LIST_TAIL, "-chip_id",  0,
    … …  
    176176    psMetadataAddStr(expArgs, PS_LIST_TAIL, "-warp_id", 0,
    177177            "search by warptool ID", NULL);
    178     psMetadataAddStr(expArgs, PS_LIST_TAIL, "-cam_id", 0,
     178    psMetadataAddStr(expArgs, PS_LIST_TAIL, "-fake_id", 0,
    179179            "search by camtool ID", NULL);
    180180    psMetadataAddU64(expArgs, PS_LIST_TAIL, "-limit",  0,
    … …  
    187187    psMetadataAddStr(imfileArgs, PS_LIST_TAIL, "-warp_id", 0,
    188188            "search by warptool ID", NULL);
    189     psMetadataAddStr(imfileArgs, PS_LIST_TAIL, "-cam_id", 0,
     189    psMetadataAddStr(imfileArgs, PS_LIST_TAIL, "-fake_id", 0,
    190190            "search by camtool ID", NULL);
    191191    psMetadataAddU64(imfileArgs, PS_LIST_TAIL, "-limit",  0,
    … …  
    279279    psMetadataAddStr(warpedArgs, PS_LIST_TAIL, "-exp_id", 0,
    280280            "define exposure tag", NULL);
    281     psMetadataAddStr(warpedArgs, PS_LIST_TAIL, "-cam_id", 0,
     281    psMetadataAddStr(warpedArgs, PS_LIST_TAIL, "-fake_id", 0,
    282282            "define phase 3 version of exposure tag", NULL);
    283283    psMetadataAddU64(warpedArgs, PS_LIST_TAIL, "-limit",  0,
    … …  
    288288    // -revertwarped
    289289    psMetadata *revertwarpedArgs = psMetadataAlloc();
    290     // XXX need to allow multiple cam_ids
     290    // XXX need to allow multiple fake_ids
    291291    psMetadataAddStr(revertwarpedArgs, PS_LIST_TAIL, "-warp_id", 0,
    292292            "search by warptool ID", NULL);
    … …  
    295295    psMetadataAddStr(revertwarpedArgs, PS_LIST_TAIL, "-tess_id",  0,
    296296            "searcy by tessellation ID", NULL);
    297     // XXX need to allow multiple cam_ids
    298     psMetadataAddStr(revertwarpedArgs, PS_LIST_TAIL, "-cam_id",  0,
    299             "search by cam_id", NULL);
     297    // XXX need to allow multiple fake_ids
     298    psMetadataAddStr(revertwarpedArgs, PS_LIST_TAIL, "-fake_id",  0,
     299            "search by fake_id", NULL);
    300300    // XXX need to allow multiple chip_ids
    301301    psMetadataAddStr(revertwarpedArgs, PS_LIST_TAIL, "-chip_id",  0,
Note: See TracChangeset for help on using the changeset viewer.