IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Changes between Version 20 and Version 21 of PS1_IPP_CzarLog_20110228


Ignore:
Timestamp:
Mar 5, 2011, 6:29:02 AM (15 years ago)
Author:
bills
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • PS1_IPP_CzarLog_20110228

    v20 v21  
    4747 
    4848=== Saturday : 2011.03.05 ===
    49  * 06:00 good morning. Well not for Bill. Czartool shows lots of red and MOPS's endless stream of postage stamp requests that require update processing are falling over. This may be all due to ipp005 becoming unresponsive.
     49 * 06:00 good morning. Well not for Bill. Czartool shows lots of red and MOPS's endless stream of postage stamp requests that require update processing are falling over. This may be all due to ipp005 becoming unresponsive. Unpon further review it sems to have panic'd but not fully died. It still shows up in ganglia.
    5050
    5151{{{
    52 Unfinished Requests
     52[753534.365854] Kernel panic - not syncing: Attempted to kill init!
    5353
    54 +--------+-----------------+----------+
    55 | label  | Unfinished Jobs | priority |
    56 +--------+-----------------+----------+
    57 | MOPS.2 |            1310 |      500 |
    58 +--------+-----------------+----------+
    59 
    60 +--------+---------------------------------+--------+---------+-------+-------+----------+------------+----------------+--------------+--------------+---------------+-------------------------+
    61 | req_id | name                            | label  | reqType | state | fault | Num Rows | Total Jobs | Completed Jobs | Pending Jobs | Faulted Jobs | Image updates | last state change (UTC) |
    62 +--------+---------------------------------+--------+---------+-------+-------+----------+------------+----------------+--------------+--------------+---------------+-------------------------+
    63 |  79123 | MOPSSTAMPREQ20110305T085049Z_00 | MOPS.2 | pstamp  | run   |     0 |      200 |        200 |            193 |            7 |            6 |           158 |     2011-03-05 08:54:38 |
    64 |  79124 | MOPSSTAMPREQ20110305T085049Z_01 | MOPS.2 | pstamp  | run   |     0 |      200 |        200 |            144 |           56 |           75 |            60 |     2011-03-05 08:54:37 |
    65 |  79125 | MOPSSTAMPREQ20110305T085049Z_02 | MOPS.2 | pstamp  | run   |     0 |      200 |        200 |            136 |           64 |           61 |            61 |     2011-03-05 08:54:46 |
    66 |  79126 | MOPSSTAMPREQ20110305T092051Z_00 | MOPS.2 | pstamp  | run   |     0 |      200 |        200 |            163 |           37 |           34 |            99 |     2011-03-05 09:22:52 |
    67 |  79127 | MOPSSTAMPREQ20110305T092051Z_01 | MOPS.2 | pstamp  | run   |     0 |      200 |        200 |            157 |           43 |           29 |            97 |     2011-03-05 09:26:39 |
    68 |  79128 | MOPSSTAMPREQ20110305T092051Z_02 | MOPS.2 | pstamp  | run   |     0 |      200 |        200 |            163 |           37 |           66 |            92 |     2011-03-05 09:26:50 |
    69 |  79129 | MOPSSTAMPREQ20110305T092051Z_03 | MOPS.2 | pstamp  | run   |     0 |      200 |        200 |            188 |           12 |           21 |           139 |     2011-03-05 09:23:05 |
    70 |  79130 | MOPSSTAMPREQ20110305T092051Z_04 | MOPS.2 | pstamp  | run   |     0 |      200 |        200 |            171 |           29 |           34 |           106 |     2011-03-05 09:23:13 |
    71 |  79131 | MOPSSTAMPREQ20110305T095052Z_00 | MOPS.2 | pstamp  | run   |     0 |      200 |        200 |            157 |           43 |           50 |            47 |     2011-03-05 09:54:59 |
    72 |  79132 | MOPSSTAMPREQ20110305T095052Z_01 | MOPS.2 | pstamp  | run   |     0 |      200 |        200 |            118 |           82 |           51 |            51 |     2011-03-05 09:54:23 |
    73 |  79133 | MOPSSTAMPREQ20110305T102054Z_00 | MOPS.2 | pstamp  | run   |     0 |      200 |        200 |            100 |          100 |           89 |             8 |     2011-03-05 10:25:29 |
    74 |  79134 | MOPSSTAMPREQ20110305T102054Z_01 | MOPS.2 | pstamp  | run   |     0 |      200 |        200 |              0 |          200 |            0 |             0 |     2011-03-05 10:25:32 |
    75 |  79135 | MOPSSTAMPREQ20110305T102054Z_02 | MOPS.2 | pstamp  | run   |     0 |      200 |        200 |              0 |          200 |            0 |             0 |     2011-03-05 10:25:37 |
    76 |  79136 | MOPSSTAMPREQ20110305T102054Z_03 | MOPS.2 | pstamp  | run   |     0 |      200 |        200 |              0 |          200 |            0 |             0 |     2011-03-05 10:25:40 |
    77 |  79137 | MOPSSTAMPREQ20110305T102055Z_00 | MOPS.2 | pstamp  | run   |     0 |      200 |        200 |              0 |          200 |            0 |             0 |     2011-03-05 10:25:41 |
    78 +--------+---------------------------------+--------+---------+-------+-------+----------+------------+----------------+--------------+--------------+---------------+-------------------------+
    79 
    80 pstamp pantasks:
    81 
    82 Task Status
    83   AV Name                      Nrun   Njobs   Ngood Nfail Ntime Command               
    84   ++ pstamp.request.find          0    6163    6163     0     0 pstamp_queue_requests.pl
    85   ++ pstamp.request.load          0   11892   11892     0     0 pstamptool             
    86   ++ pstamp.request.run           0      78      78     0     0 pstamp_parser_run.pl   
    87   ++ request.finish.load          0   11870   11870     0     0 pstamptool             
    88   ++ request.finish.run           0     113     113     0     0 request_finish.pl     
    89   ++ pstamp.job.load              0   11876   11875     0     1 pstamptool             
    90   ++ pstamp.job.run               0   17952   17952     0     0 pstamp_job_run.pl     
    91   ++ pstamp.dependent.load        0    6117    6117     0     0 pstamptool             
    92   ++ pstamp.dependent.run        28  445436  365888 79520     0 pstamp_checkdependent.pl
    93   ++ pstamp.cleanup.load          0   11955   11955     0     0 pstamptool             
    94   ++ pstamp.cleanup.run           0       0       0     0     0 (dynamic)             
    95   ++ pstamp.save.status           0     711     705     0     6 pstamp_save_server_status.pl
    96   ++ pstamp.job.revert            0     206     206     0     0 pstamptool             
    97   ++ pstamp.dependent.revert      0      67      67     0     0 pstamptool             
    98   ++ pstamp.stopfaulted           1    2033    2020    12     0 pstampstopfaulted     
     54}}}
    9955
    10056
    101 update pantasks
    10257
    103  AV Name                        Nrun  Njobs  Ngood Nfail Ntime Command                 
    104   ++ diff.skycell.load              1  16782  16781     0     0 difftool                 
    105   ++ diff.skycell.run               0   8535   8511    24     0 diff_skycell.pl         
    106   ++ diff.advance                   0   2575   2575     0     0 difftool                 
    107   ++ diff.revert                    0     39     39     0     0 difftool                 
    108   ++ diff.summary.load              0  16798  16798     0     0 difftool                 
    109   ++ diff.summary.run               0      0      0     0     0 (dynamic)               
    110   ++ destreak.revert.load           0    631    631     0     0 magicdstool             
    111   ++ destreak.revert.run            0  10853  10803    50     0 magic_destreak_revert.pl
    112   ++ destreak.completed.revert      0   2572   2572     0     0 magicdstool             
    113   ++ chip.imfile.load               0  16703  16703     0     0 chiptool                 
    114   ++ chip.imfile.run                0  38710  37649  1061     0 chip_imfile.pl           
    115   ++ chip.advanceexp                1   2572   2571     0     0 chiptool                 
    116   ++ chip.revert                    0     39     39     0     0 chiptool                 
    117   ++ destreak.load                  1   7971   7970     0     0 magicdstool             
    118   ++ destreak.run                   0  20398   9429 10969     0 magic_destreak.pl       
    119   ++ destreak.advance               0   2560   2560     0     0 magicdstool             
    120   ++ warp.exp.load                  0  16835  16835     0     0 warptool                 
    121   ++ warp.exp.run                   0      0      0     0     0 (dynamic)               
    122   ++ warp.skycell.load              1  16761  16760     0     0 warptool                 
    123   ++ warp.skycell.run               0  20071  17053  3018     0 warp_skycell.pl         
    124   ++ warp.advancerun                0   2581   2581     0     0 warptool                 
    125   ++ warp.revert.overlap            0     39     39     0     0 warptool                 
    126   ++ warp.revert.warped             0     38     38     0     0 warptool                 
    127   ++ warp.summary.load              0  16809  16809     0     0 warptool                 
    128   ++ warp.summary.run               0      0      0     0     0 (dynamic)               
    129 
    130 
    131 }}}
    13258
    13359 * The only things running are distribution for STS.2010.raw (destreak and distribution) and ThreePi.136 (magic and destreak)