IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Changes between Version 26 and Version 27 of PS1_IPP_Czarlog_20190510


Ignore:
Timestamp:
May 15, 2019, 11:36:01 AM (7 years ago)
Author:
tdeboer
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • PS1_IPP_Czarlog_20190510

    v26 v27  
    217217 There is still the ~700k chip exps with a state=wait that need to be dealt with. We can query the labels and data_groups that they occupy, using:
    218218{{{
    219 mysql -hscidbm -uX -pX gpc1 -B -e 'SELECT waitct,data_group,label from (SELECT count(*) as waitct,data_group,label FROM chipRun WHERE state like "wait" GROUP BY data_group,label) as s ORDER by waitct ASC;'
    220 
    221 mysql -hscidbm -uX -pX gpc1 -B -e 'SELECT waitct,data_group,label from (SELECT count(*) as waitct,data_group,label FROM chipRun WHERE state like "wait" GROUP BY label) as s ORDER by waitct ASC;'
    222 }}}
    223  The vast majority of them are in fact exps which have a label of goto_clean% which are likely previously cleaned chip exps. However, we cannot simply set their state to cleaned, since we have no way of telling whether the cleanup operation went succesfully or failed. Therefore, we need to send the whole lot back to cleanup. Nonetheless, by parsin the xps, we can preferentially send exps that we still need to use in the update processing before doing things previosuly cleaned. Focus on labels like %LAP.PV3% or %OSS% at first and slowly end them to cleanup in between other cleanup jobs.
    224 
    225  I made a quick inventory of the predominant labels that have large (>100) numbers of wait state chip exps:
    226 {{{
    227 |     97 | DS.REPAIR.clean                   | ThreePi.20111112                  |
    228 |    104 | EUCLID.MD08.PV0.T1                | EUCLID.MD08.PV0.T1                |
    229 |    104 | EUCLID.MD07.PV0.T1                | EUCLID.MD07.PV0.T1                |
    230 |    106 | NULL                              | NULL                              |
    231 |    106 | altaz.20080920                    | altaz.20080920                    |
    232 |    109 | goto_cleaned.broke190323          | LAP.PV3.20140730.20140918         |
    233 |    114 | STS.rp.2013.hold                  | dropped                           |
    234 |    117 | scitest.200807                    | scitest.200807                    |
    235 |    122 | QUB.PS16cgx                       | QUB.20160517                      |
    236 |    141 | flatcorr.20100124                 | flatcorr.20100124                 |
    237 |    141 | flatcorr.20081109                 | flatcorr.20081109                 |
    238 |    142 | flattest.20091010                 | flattest.20091010                 |
    239 |    142 | MD03.nightlystack                 | MD03.20091228                     |
    240 |    142 | flatcorr.20091003                 | flatcorr.20091003                 |
    241 |    180 | PV2.PHOTO.STD.20141028            | PV2.PHOTO.STD.20141028.i          |
    242 |    180 | flatcorr.20081107                 | flatcorr.20081107                 |
    243 |    187 | Bright3Pi.nightlyscience          | Bright3Pi.20190402                |
    244 |    203 | flatcorr.20090509                 | flatcorr.20090509                 |
    245 |    205 | MD07.20091123                     | MD07.20091123                     |
    246 |    209 | goto_cleaned.broke190312          | OSS.20141207                      |
    247 |    214 | cleanup_testing_old               | opposition.20080922               |
    248 |    217 | ThreePi.Run2.z.v0                 | ThreePi.Run2.z.v0                 |
    249 |    231 | mopsfix                           | mops.fixbrokenLAP.20180323        |
    250 |    248 | lanl.SAS.201402114                | czw.SAS.201402114                 |
    251 |    248 | SAS.20151208                      | SAS.20151208                      |
    252 |    573 | goto_purged                       | altaz.20080920                    |
    253 |    586 | goto_cleaned.broke                | LAP.PV3.20140730.20141008         |
    254 |    641 | scitest.20090327                  | scitest.20090327                  |
    255 |    783 | update.LAP.PV3                    | LAP.PV3.20140730.20150118         |
    256 |    927 | goto_cleaned.redoitchold          | LAP.PV3.20140730.20140927         |
    257 |   1658 | PV3.cleanup                       | LAP.PV3.20140730.20140810         |
    258 |   2239 | goto_cleaned.redoitc              | ThreePi.20140126                  |
    259 |   3360 | PV3.Pole.Reprocess.20180510       | PV3.Pole.Reprocess.20180510       |
    260 |  15431 | STS.rp.2013                       | STS.rp.2013.20120412              |
    261 |  51293 | goto_cleaned.rerun                | ThreePi.20100220                  |
    262 | 165642 | goto_cleaned_redo                 | scitest.200808                    |
    263 | 442467 | goto_cleaned                      | altstrip.200806                   |
    264 +--------+-----------------------------------+-----------------------------------+
     219mysql -hscidbm -uX -pX gpc1 -B -e 'SELECT waitct,data_group,label from (SELECT count(*) as waitct,data_group,label FROM chipRun WHERE state like "wait"  GROUP BY data_group) as s ORDER by waitct ASC;'
     220}}}
     221 The vast majority of them are in fact exps which have a label of goto_clean% which are likely previously cleaned chip exps. However, we cannot simply set their state to cleaned, since we have no way of telling whether the cleanup operation went succesfully or failed. Therefore, we need to send the whole lot back to cleanup. Nonetheless, by parsin the xps, we can preferentially send exps that we still need to use in the update processing before doing things previosuly cleaned. Focus on data_groups like %LAP.PV3% or %OSS% at first and slowly end them to cleanup in between other cleanup jobs.
     222
     223 I made a quick inventory of the predominant data_groups that have large (>500) numbers of wait state chip exps:
     224{{{
     225+--------+--------------------------------------------+-----------------------------------+
     226| waitct | data_group                                 | label                             |
     227+--------+--------------------------------------------+-----------------------------------+
     228|    500 | LAP.PV3.20140730.20141214                  | goto_cleaned                      |
     229|    508 | LAP.ThreePi.20110809.20120229              | goto_cleaned.rerun                |
     230|    508 | OSS.20161115                               | goto_cleaned                      |
     231|    508 | LAP.ThreePi.20110809.20120114              | goto_cleaned.rerun                |
     232|    508 | OSS.20161114                               | goto_cleaned                      |
     233|    508 | OSS.20180725                               | goto_cleaned                      |
     234|    510 | OSS.20140912                               | goto_cleaned                      |
     235|    512 | OSS.20170906                               | goto_cleaned                      |
     236|    513 | LAP.ThreePi.20110809.20120117              | goto_cleaned.rerun                |
     237|    516 | OSS.20151025                               | goto_cleaned                      |
     238|    516 | OSS.20170806                               | goto_cleaned                      |
     239|    516 | LAP.ThreePi.20120510.20120517              | goto_cleaned_redo                 |
     240|    516 | OSS.20170808                               | goto_cleaned                      |
     241|    516 | MD08.GR0.20120419                          | goto_cleaned_redo                 |
     242|    517 | LAP.PV3.20140730.20141111                  | goto_cleaned                      |
     243|    520 | OSS.20171106                               | goto_cleaned                      |
     244|    520 | OSS.20160818                               | goto_cleaned                      |
     245|    523 | PSNSC.qubicref.20171107                    | goto_cleaned                      |
     246|    523 | LAP.ThreePi.20120706.20120930              | goto_cleaned                      |
     247|    524 | LAP.ThreePi.20120706.20121010              | goto_cleaned                      |
     248|    524 | LAP.ThreePi.20120706.20121127              | goto_cleaned_redo                 |
     249|    525 | LAP.ThreePi.20120706.20121205              | goto_cleaned_redo                 |
     250|    527 | LAP.PV3.20140730.bigmem.20150130           | goto_cleaned                      |
     251|    527 | QUB.20151229                               | goto_cleaned                      |
     252|    531 | LAP.ThreePi.20110809.20111004              | goto_cleaned.rerun                |
     253|    533 | LAP.ThreePi.20120706.20121103              | goto_cleaned                      |
     254|    535 | LAP.ThreePi.20120706.20120830              | goto_cleaned                      |
     255|    537 | LAP.PV3.20140730.20141228                  | goto_cleaned                      |
     256|    537 | MD08.GR0.20120420                          | goto_cleaned_redo                 |
     257|    540 | OSS.20140911                               | goto_cleaned                      |
     258|    540 | LAP.ThreePi.20120706.20121002              | goto_cleaned                      |
     259|    542 | LAP.PV3.20140730.ipp.20150213              | goto_cleaned                      |
     260|    543 | LAP.ThreePi.20120706.20120917              | goto_cleaned                      |
     261|    543 | LAP.ThreePi.20120706.20120725              | goto_cleaned_redo                 |
     262|    545 | LAP.ThreePi.20120706.20130130              | goto_cleaned_redo                 |
     263|    545 | LAP.ThreePi.20120706.20120920              | goto_cleaned                      |
     264|    549 | LAP.ThreePi.20120706.20121004              | goto_cleaned                      |
     265|    551 | LAP.PV3.20140730.bigmem.20150115           | goto_cleaned                      |
     266|    552 | LAP.ThreePi.20110809.20111029              | goto_cleaned.rerun                |
     267|    556 | OSS.20170908                               | goto_cleaned                      |
     268|    556 | LAP.ThreePi.20120706.20120925              | goto_cleaned                      |
     269|    556 | OSS.20171102                               | goto_cleaned                      |
     270|    559 | OSS.20161016                               | goto_cleaned                      |
     271|    560 | LAP.ThreePi.20120706.20121003              | goto_cleaned_redo                 |
     272|    563 | LAP.ThreePi.20120706.20120809              | goto_cleaned_redo                 |
     273|    563 | LAP.ThreePi.20120706.20121016              | goto_cleaned                      |
     274|    563 | LAP.ThreePi.20120706.20121023              | goto_cleaned                      |
     275|    564 | LAP.ThreePi.20120706.20121113              | goto_cleaned_redo                 |
     276|    564 | OSS.20140910                               | goto_cleaned                      |
     277|    564 | OSS.20141007                               | goto_cleaned                      |
     278|    564 | OSS.20170905                               | goto_cleaned                      |
     279|    565 | LAP.ThreePi.20120706.20120924              | goto_cleaned                      |
     280|    565 | OSS.20150830                               | goto_cleaned                      |
     281|    567 | OSS.20161017                               | goto_cleaned                      |
     282|    568 | LAP.ThreePi.20120706.20120819              | goto_cleaned                      |
     283|    570 | OSS.20141008                               | goto_cleaned                      |
     284|    571 | LAP.ThreePi.20120706.20121031              | goto_cleaned                      |
     285|    575 | LAP.PV3.20140730.ipp.20141028              | goto_cleaned                      |
     286|    577 | OSS.20161015                               | goto_cleaned                      |
     287|    578 | LAP.ThreePi.20120706.20120714              | goto_cleaned                      |
     288|    580 | LAP.PV3.20140730.20141106                  | goto_cleaned                      |
     289|    583 | LAP.ThreePi.20120706.20121014              | goto_cleaned                      |
     290|    590 | LAP.ThreePi.20130717.pole3.20140719        | goto_cleaned                      |
     291|    594 | LAP.ThreePi.20120706.20121102              | goto_cleaned_redo                 |
     292|    597 | OSS.20161014                               | goto_cleaned                      |
     293|    598 | MD10.pv1.20130324                          | goto_cleaned                      |
     294|    599 | LAP.ThreePi.20120706.20121101              | goto_cleaned                      |
     295|    602 | LAP.PV3.20140730.ipp.20141120              | goto_cleaned                      |
     296|    603 | LAP.ThreePi.20120706.20120823              | goto_cleaned                      |
     297|    604 | LAP.PV3.20140730.20141205                  | goto_cleaned                      |
     298|    606 | LAP.PV3.20140730.ipp.20141029              | goto_cleaned                      |
     299|    607 | LAP.PV3.20140730.20141104                  | goto_cleaned                      |
     300|    612 | STS.GPC1.i.00000.200811                    | goto_cleaned                      |
     301|    613 | LAP.ThreePi.20120706.20120722              | goto_cleaned                      |
     302|    623 | LAP.ThreePi.20120510.20120521              | goto_cleaned_redo                 |
     303|    623 | LAP.ThreePi.20120510.20120511              | goto_cleaned_redo                 |
     304|    624 | LAP.ThreePi.20120706.20120926              | goto_cleaned                      |
     305|    624 | MD06.pv1.20130326                          | goto_cleaned                      |
     306|    633 | LAP.PV3.20140730.20141103                  | goto_cleaned                      |
     307|    636 | LAP.ThreePi.20120706.20130218              | goto_cleaned_redo                 |
     308|    639 | LAP.ThreePi.20120706.20120923              | goto_cleaned                      |
     309|    641 | ThreePi.Run5c.20100217                     | goto_cleaned_redo                 |
     310|    643 | scitest.20090327                           | scitest.20090327                  |
     311|    643 | LAP.ThreePi.20120706.20120727              | goto_cleaned_redo                 |
     312|    652 | LAP.PV3.20140730.20141122                  | goto_cleaned                      |
     313|    654 | LAP.ThreePi.20120706.20121117              | goto_cleaned_redo                 |
     314|    654 | LAP.ThreePi.20120706.20130228              | goto_cleaned_redo                 |
     315|    661 | LAP.PV3.20140730.ipp.20141127              | goto_cleaned                      |
     316|    666 | LAP.ThreePi.20120706.20121029              | goto_cleaned                      |
     317|    666 | LAP.PV3.20140730.bigmem.20150202           | goto_cleaned                      |
     318|    666 | LAP.ThreePi.20120706.20120829              | goto_cleaned                      |
     319|    669 | LAP.ThreePi.20120706.20130217              | goto_cleaned_redo                 |
     320|    671 | LAP.ThreePi.20120706.20121008              | goto_cleaned                      |
     321|    671 | LAP.ThreePi.20120706.20121206              | goto_cleaned_redo                 |
     322|    685 | LAP.ThreePi.20110505.20110508              | goto_cleaned.rerun                |
     323|    685 | LAP.ThreePi.20110809.20111031              | goto_cleaned.rerun                |
     324|    687 | ThreePi.yz.200907.v1                       | goto_cleaned                      |
     325|    690 | LAP.ThreePi.20120706.20121120              | goto_cleaned                      |
     326|    695 | LAP.ThreePi.20120706.20120710              | goto_cleaned_redo                 |
     327|    696 | LAP.ThreePi.20120706.20120813              | goto_cleaned_redo                 |
     328|    710 | LAP.PV3.20140730.20141211                  | goto_cleaned                      |
     329|    711 | LAP.PV3.20140730.ipp.20141107              | goto_cleaned                      |
     330|    716 | LAP.PV3.20140730.ipp.20141022              | goto_cleaned                      |
     331|    718 | LAP.ThreePi.20120706.20120828              | goto_cleaned_redo                 |
     332|    723 | LAP.ThreePi.20120706.20120928              | goto_cleaned                      |
     333|    724 | LAP.ThreePi.20120706.20120914              | goto_cleaned                      |
     334|    728 | LAP.ThreePi.20120706.20120902              | goto_cleaned                      |
     335|    733 | LAP.PV3.20140730.ipp.20150210              | goto_cleaned                      |
     336|    741 | LAP.ThreePi.20120706.20121013              | goto_cleaned                      |
     337|    749 | LAP.ThreePi.20120706.20121009              | goto_cleaned                      |
     338|    751 | LAP.PV3.20140730.ipp.20141118              | goto_cleaned                      |
     339|    751 | LAP.ThreePi.20120706.20121012              | goto_cleaned                      |
     340|    754 | LAP.ThreePi.20120706.20120804              | goto_cleaned_redo                 |
     341|    755 | LAP.ThreePi.20120706.20121130              | goto_cleaned_redo                 |
     342|    757 | LAP.PV3.20140730.bigmem.20150122           | goto_cleaned                      |
     343|    768 | LAP.ThreePi.20120706.20121017              | goto_cleaned                      |
     344|    769 | LAP.ThreePi.20120706.20121119              | goto_cleaned_redo                 |
     345|    779 | LAP.ThreePi.20120706.20120827              | goto_cleaned_redo                 |
     346|    783 | LAP.ThreePi.20130717.pole.20140514         | goto_cleaned                      |
     347|    784 | LAP.ThreePi.20130717.pole3.20140720        | goto_cleaned                      |
     348|    787 | LAP.ThreePi.20120706.20121121              | goto_cleaned                      |
     349|    795 | LAP.ThreePi.20120706.20121026              | goto_cleaned                      |
     350|    796 | LAP.PV3.20140730.20141026                  | goto_cleaned                      |
     351|    799 | LAP.PV3.20140730.bigmem.20150118           | goto_cleaned                      |
     352|    803 | LAP.ThreePi.20120706.20121110              | goto_cleaned_redo                 |
     353|    822 | LAP.ThreePi.20120706.20130216              | goto_cleaned_redo                 |
     354|    824 | LAP.PV3.20140730.20141019                  | goto_cleaned                      |
     355|    824 | LAP.ThreePi.20120706.20120824              | goto_cleaned                      |
     356|    825 | LAP.ThreePi.20120706.20121030              | goto_cleaned                      |
     357|    826 | LAP.ThreePi.20120706.20121115              | goto_cleaned                      |
     358|    827 | LAP.ThreePi.20120706.20121109              | goto_cleaned                      |
     359|    828 | LAP.PV3.20140730.bigmem.20150129           | goto_cleaned                      |
     360|    831 | LAP.PV3.20140730.20141024                  | goto_cleaned                      |
     361|    843 | LAP.ThreePi.20120706.20120901              | goto_cleaned                      |
     362|    845 | LAP.PV3.20140730.bigmem.20150113           | goto_cleaned                      |
     363|    846 | LAP.ThreePi.20120706.20120721              | goto_cleaned                      |
     364|    846 | LAP.ThreePi.20120510.20120514              | goto_cleaned_redo                 |
     365|    846 | LAP.ThreePi.20120706.20120927              | goto_cleaned                      |
     366|    861 | LAP.ThreePi.20120706.20120712              | goto_cleaned                      |
     367|    865 | STS.201007                                 | goto_cleaned_redo                 |
     368|    866 | STS.201008                                 | goto_cleaned_redo                 |
     369|    882 | MD08.pv1.20130403                          | goto_cleaned                      |
     370|    887 | LAP.PV3.20140730.ipp.20141020              | goto_cleaned                      |
     371|    890 | LAP.ThreePi.20120706.20120911              | goto_cleaned                      |
     372|    911 | LAP.PV3.20140730.20141020                  | goto_cleaned                      |
     373|    922 | LAP.PV3.20140730.ipp.20141108              | goto_cleaned                      |
     374|    926 | LAP.ThreePi.20120706.20121025              | goto_cleaned                      |
     375|    963 | LAP.PV3.20140730.ipp.20141126              | goto_cleaned                      |
     376|    970 | MD09.GR0.20120601                          | goto_cleaned                      |
     377|    992 | LAP.ThreePi.20110505.20110507              | goto_cleaned_redo                 |
     378|   1009 | LAP.PV3.20140730.ipp.20141021              | goto_cleaned                      |
     379|   1018 | LAP.ThreePi.20120706.20130219              | goto_cleaned_redo                 |
     380|   1027 | LAP.PV3.20140730.ipp.20141105              | goto_cleaned                      |
     381|   1037 | STS.090724                                 | goto_cleaned_redo                 |
     382|   1041 | condor_MD07.V3_01_dg                       | goto_cleaned_redo                 |
     383|   1047 | LAP.PV3.20140730.bigmem.20150119           | goto_cleaned                      |
     384|   1050 | LAP.PV3.20140730.20141102                  | goto_cleaned                      |
     385|   1053 | condor_MD08.V3_01_dg                       | goto_cleaned_redo                 |
     386|   1103 | LAP.PV3.20140730.20141117                  | goto_cleaned.broke                |
     387|   1103 | MD07.pv1.20130323                          | goto_cleaned                      |
     388|   1189 | LAP.PV3.20140730.bigmem.20150107           | goto_cleaned                      |
     389|   1202 | LAP.PV3.20140730.ipp.20141103              | goto_cleaned                      |
     390|   1237 | LAP.PV3.20140730.bigmem.20150102           | goto_cleaned                      |
     391|   1267 | LAP.PV3.20140730.ipp.20141023              | goto_cleaned                      |
     392|   1268 | LAP.ThreePi.20120706.20120820              | goto_cleaned                      |
     393|   1282 | LAP.ThreePi.20120706.20120910              | goto_cleaned                      |
     394|   1301 | LAP.PV3.20140730.20141031                  | goto_cleaned                      |
     395|   1304 | LAP.PV3.20140730.20141021                  | goto_cleaned                      |
     396|   1317 | ThreePi.Run3.r.20091027                    | goto_cleaned_redo                 |
     397|   1341 | LAP.ThreePi.20120706.20120831              | goto_cleaned                      |
     398|   1371 | LAP.PV3.20140730.20141027                  | goto_cleaned                      |
     399|   1385 | LAP.ThreePi.20120706.20121114              | goto_cleaned_redo                 |
     400|   1472 | STS.20091214                               | goto_cleaned_redo                 |
     401|   1472 | STS.20091027                               | goto_cleaned_redo                 |
     402|   1558 | LAP.PV3.20140730.20141105                  | goto_cleaned                      |
     403|   1623 | LAP.PV3.20140730.ipp.20141129              | goto_cleaned                      |
     404|   1677 | LAP.ThreePi.20120706.20120918              | goto_cleaned                      |
     405|   1692 | LAP.PV3.20140730.ipp.20141024              | goto_cleaned                      |
     406|   1840 | LAP.PV3.20140730.ipp.20141122              | goto_cleaned                      |
     407|   1861 | LAP.PV3.20140730.ipp.20141031              | goto_cleaned                      |
     408|   1992 | LAP.ThreePi.20130717.pole.20140515         | goto_cleaned                      |
     409|   1998 | LAP.PV3.20140730.bigmem.20150105           | goto_cleaned                      |
     410|   2091 | STS.rerun.20121129                         | goto_cleaned_redo                 |
     411|   2594 | LAP.ThreePi.20120706.20120720              | goto_cleaned                      |
     412|   2725 | LAP.PV3.20140730.bigmem.20150125           | goto_cleaned                      |
     413|   3360 | PV3.Pole.Reprocess.20180510                | PV3.Pole.Reprocess.20180510       |
     414+--------+--------------------------------------------+-----------------------------------+
    265415}}}
    266416 We can send a data_group to clean up, using:
    267417{{{
    268 mysql -hscidbm -uX -pX gpc1 -B -e 'SELECT chip_id,data_group,label FROM chipRun WHERE state like "wait" and data_group like "LAP.PV3.20140730.20140807";' | grep -v data_group | awk '{print "chiptool -dbname gpc1 -updaterun -set_state goto_cleaned -set_label goto_cleaned -chip_id  "$1}' | tcsh
     418mysql -hscidbm -uX -pX gpc1 -B -e 'SELECT chip_id,data_group,label FROM chipRun WHERE state like "wait" and data_group like "LAP.PV3.20140730.20150%" and label not like "update.LAP.PV3";' | grep -v data_group | awk '{print "chiptool -dbname gpc1 -updaterun -set_state goto_cleaned -set_label goto_cleaned -chip_id  "$1}' | tcsh
    269419}}}
     420 And to cehck if the cleanip is working ok, we can query the curent states (and numbers) for a data_group:
     421{{{
     422mysql -hscidbm -uX -pX gpc1 -B -e 'SELECT waitct,data_group,label,state from (SELECT count(*) as waitct,data_group,label,state FROM chipRun where data_group like "LAP.PV3.20140730.20150%" GROUP BY data_group,state) as s;'
     423}}}
     424 Ihave sent everything with wait states under data_group "LAP.PV3.20140730.20150%" to clean, to make current updates smoother. But, this needs to be done for subsequent groups as well.
    270425
    271426 * TdB: at around 17:30, the IPPmonitor stalled. Turns out, mysql crashed on ippdb05. Let's check things: