IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Changes between Version 8 and Version 9 of IspSasProcessing


Ignore:
Timestamp:
Sep 19, 2012, 6:00:47 PM (14 years ago)
Author:
heather
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • IspSasProcessing

    v8 v9  
    182182Still marching along - I only have a handful of hosts so I increased the number. about 20 hours after I put in the fix (note, also checked into svn), 1059  have completed with another 1400 remaining.. Hopefully it will finish by tomorrow and I can try to stack.
    183183
     184=== Stacks! ===
     185
     18609-19-2012
     187
     188First attempts at stacking... the warps had finished last week, but then I was sidetracked by psps stuff. I'm returning to it now. All but 3 skycells stacked.. I am not going to worry about that for now.   Here is the list of good warps for stacking:
     189
     190{{{
     191mysql> select warpRun.label,skycell_id, filter, quality, count(*) from rawExp join chipRun using (exp_id) join camRun using (chip_id) join fakeRun using (cam_id) join warpRun using (fake_id) join warpSkyfile using (warp_id) where warpRun.label = 'SAS.v1' and warpRun.state = 'full' and quality = 0 group by skycell_id, filter, warpRun.label;
     192+--------+--------------+--------+---------+----------+
     193| label  | skycell_id   | filter | quality | count(*) |
     194+--------+--------------+--------+---------+----------+
     195| sas.v1 | skycell.1224 | g      |       0 |       34 |
     196| sas.v1 | skycell.1224 | i      |       0 |       55 |
     197| sas.v1 | skycell.1224 | r      |       0 |       32 |
     198| sas.v1 | skycell.1224 | z      |       0 |        5 |
     199| sas.v1 | skycell.1225 | g      |       0 |      115 |
     200| sas.v1 | skycell.1225 | i      |       0 |      226 |
     201| sas.v1 | skycell.1225 | r      |       0 |      116 |
     202| sas.v1 | skycell.1225 | z      |       0 |       20 |
     203| sas.v1 | skycell.1226 | g      |       0 |       95 |
     204| sas.v1 | skycell.1226 | i      |       0 |      203 |
     205| sas.v1 | skycell.1226 | r      |       0 |      105 |
     206| sas.v1 | skycell.1226 | z      |       0 |       23 |
     207| sas.v1 | skycell.1227 | g      |       0 |       32 |
     208| sas.v1 | skycell.1227 | i      |       0 |       73 |
     209| sas.v1 | skycell.1227 | r      |       0 |       33 |
     210| sas.v1 | skycell.1227 | z      |       0 |        9 |
     211| sas.v1 | skycell.1314 | g      |       0 |      106 |
     212| sas.v1 | skycell.1314 | i      |       0 |      223 |
     213| sas.v1 | skycell.1314 | r      |       0 |      100 |
     214| sas.v1 | skycell.1314 | z      |       0 |       35 |
     215| sas.v1 | skycell.1315 | g      |       0 |      253 |
     216| sas.v1 | skycell.1315 | i      |       0 |      522 |
     217| sas.v1 | skycell.1315 | r      |       0 |      251 |
     218| sas.v1 | skycell.1315 | z      |       0 |       67 |
     219| sas.v1 | skycell.1316 | g      |       0 |      214 |
     220| sas.v1 | skycell.1316 | i      |       0 |      477 |
     221| sas.v1 | skycell.1316 | r      |       0 |      205 |
     222| sas.v1 | skycell.1316 | y      |       0 |        4 |
     223| sas.v1 | skycell.1316 | z      |       0 |       67 |
     224| sas.v1 | skycell.1317 | g      |       0 |       68 |
     225| sas.v1 | skycell.1317 | i      |       0 |      148 |
     226| sas.v1 | skycell.1317 | r      |       0 |       70 |
     227| sas.v1 | skycell.1317 | z      |       0 |       16 |
     228| sas.v1 | skycell.1404 | g      |       0 |      125 |
     229| sas.v1 | skycell.1404 | i      |       0 |      234 |
     230| sas.v1 | skycell.1404 | r      |       0 |      101 |
     231| sas.v1 | skycell.1404 | z      |       0 |       27 |
     232| sas.v1 | skycell.1405 | g      |       0 |      253 |
     233| sas.v1 | skycell.1405 | i      |       0 |      519 |
     234| sas.v1 | skycell.1405 | r      |       0 |      229 |
     235| sas.v1 | skycell.1405 | y      |       0 |        3 |
     236| sas.v1 | skycell.1405 | z      |       0 |       80 |
     237| sas.v1 | skycell.1406 | g      |       0 |      214 |
     238| sas.v1 | skycell.1406 | i      |       0 |      471 |
     239| sas.v1 | skycell.1406 | r      |       0 |      201 |
     240| sas.v1 | skycell.1406 | y      |       0 |       10 |
     241| sas.v1 | skycell.1406 | z      |       0 |       67 |
     242| sas.v1 | skycell.1407 | g      |       0 |       72 |
     243| sas.v1 | skycell.1407 | i      |       0 |      156 |
     244| sas.v1 | skycell.1407 | r      |       0 |       69 |
     245| sas.v1 | skycell.1407 | y      |       0 |        4 |
     246| sas.v1 | skycell.1407 | z      |       0 |       17 |
     247| sas.v1 | skycell.1493 | g      |       0 |       44 |
     248| sas.v1 | skycell.1493 | i      |       0 |       72 |
     249| sas.v1 | skycell.1493 | r      |       0 |       37 |
     250| sas.v1 | skycell.1493 | z      |       0 |       11 |
     251| sas.v1 | skycell.1494 | g      |       0 |      110 |
     252| sas.v1 | skycell.1494 | i      |       0 |      188 |
     253| sas.v1 | skycell.1494 | r      |       0 |       85 |
     254| sas.v1 | skycell.1494 | y      |       0 |        2 |
     255| sas.v1 | skycell.1494 | z      |       0 |       26 |
     256| sas.v1 | skycell.1495 | g      |       0 |      102 |
     257| sas.v1 | skycell.1495 | i      |       0 |      199 |
     258| sas.v1 | skycell.1495 | r      |       0 |       94 |
     259| sas.v1 | skycell.1495 | y      |       0 |        7 |
     260| sas.v1 | skycell.1495 | z      |       0 |       19 |
     261| sas.v1 | skycell.1496 | g      |       0 |       44 |
     262| sas.v1 | skycell.1496 | i      |       0 |       70 |
     263| sas.v1 | skycell.1496 | r      |       0 |       41 |
     264| sas.v1 | skycell.1496 | y      |       0 |        2 |
     265| sas.v1 | skycell.1496 | z      |       0 |        1 |
     266| sas.v1 | skycell.1582 | g      |       0 |        1 |
     267| sas.v1 | skycell.1582 | i      |       0 |        1 |
     268| sas.v1 | skycell.1583 | i      |       0 |        3 |
     269| sas.v1 | skycell.1583 | r      |       0 |        2 |
     270| sas.v1 | skycell.1584 | g      |       0 |        3 |
     271| sas.v1 | skycell.1584 | i      |       0 |        9 |
     272| sas.v1 | skycell.1584 | r      |       0 |        2 |
     273| sas.v1 | skycell.1584 | y      |       0 |        1 |
     274| sas.v1 | skycell.1585 | i      |       0 |        1 |
     275+--------+--------------+--------+---------+----------+
     27680 rows in set (0.07 sec)
     277}}}
     278
     279and here's the breakdown of quality:
     280{{{
     281mysql> select quality, count(*) from warpSkyfile join warpRun using (warp_id) where label = 'SAS.v1' group by quality;
     282+---------+----------+
     283| quality | count(*) |
     284+---------+----------+
     285|       0 |     8039 |
     286|     257 |      629 |
     287|    3006 |      651 |
     288|    8007 |     1409 |
     289+---------+----------+
     2904 rows in set (0.13 sec)
     291}}}
     292
     293right this moment I'm not going to look into why so many things have such crummy quality.
     294
     295This is my stacktool command:
     296{{{
     297stacktool -definebyquery -set_workdir neb://@HOST@.0/isp/sas.v0 -set_label SAS.v0 -select_skycell_id skycell.1496 -select_label sas.v1 -dbname isp -min_num 2
     298}}}
     299
     300I just went from the last skycell up and kept queueing until they stopped faulting. That happened at skycell.1496, which is taking a while because I am running it on ipp007, and the load is already high from LAP.
     301
     302
     303
     304