IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Changes between Version 12 and Version 13 of Cluster_Storage_Notes


Ignore:
Timestamp:
Feb 23, 2010, 1:42:38 PM (16 years ago)
Author:
watersc1
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • Cluster_Storage_Notes

    v12 v13  
    1 
    21== In Nebulous By Host ==
    32
    … …  
    5554||Host||BTABLE||BTPIX||CAM||CHIP||CMF||DETREND||DIFF||JPEG||LOG||MDC||MEGACAM||OTA||PSF||SKYCELL||STACK||STATS||TRACE||UNKFITS||UNKNOTFITS||WARP||total||
    5655
    57 
    5856[[Image(usage.png)]]
    5957
    6058== By Host ==
    6159
    62 Check of the disk space currently (2009/11/30) being used by data not stored in nebulous.  These data take up about X% of the total space (X% of the used space).
    63 
     60Check of the disk space currently (2010/02/23) being used by data not stored in nebulous.  These data take up about X% of the total space (X% of the used space).
    6461
    6562|| Host || Total Space (1K-blocks) || Used || Free || Non-nebulous || % Free || % Non-neb ||
    66 || ipp004 || 10651598144 || 5622358560 || 5029239584 || 3848503544 ||  47 ||  36 ||
    67 || ipp005 || 10651598144 || 8621873568 || 2029724576 || 3142732 ||  19 ||   0 ||
    68 || ipp006 || 10651598144 || 10119288768 || 532309376 || 118542556 ||   5 ||   1 ||
    69 || ipp007 || 10651588352 || 10119445952 || 532142400 || 3078693244 ||   5 ||  29 ||
    70 || ipp009 || 10651598144 || 9674099136 || 977499008 || 629435432 ||   9 ||   6 ||
    71 || ipp010 || 10651598144 || 9457964160 || 1193633984 || 256559716 ||  11 ||   2 ||
    72 || ipp011 || 10651588352 || 10060069056 || 591519296 || 108932228 ||   6 ||   1 ||
    73 || ipp012 || 10651588352 || 10119055936 || 532532416 || 2679609756 ||   5 ||  25 ||
    74 || ipp013 || 10651588352 || 10218701472 || 432886880 || 108889868 ||   4 ||   1 ||
    75 || ipp014 || 10609814272 || 8966056736 || 1643757536 || 104285504 ||  15 ||   1 ||
    76 || ipp015 || 10651588352 || 10125141056 || 526447296 || 175543984 ||   5 ||   2 ||
    77 || ipp016 || 10651588352 || 10497262848 || 154325504 || 5045678336 ||   1 ||  47 ||
    78 || ipp017 || 10651588352 || 10124036256 || 527552096 || 5149155368 ||   5 ||  48 ||
    79 || ipp019 || 10651588352 || 10028911616 || 622676736 || 2377441656 ||   6 ||  22 ||
    80 || ipp020 || 10651588352 || 10123906656 || 527681696 || 110883232 ||   5 ||   1 ||
    81 || ipp021 || 10651588352 || 10119157152 || 532431200 || 109669568 ||   5 ||   1 ||
    82 || ipp023 || 21420144640 || 19293861408 || 2126283232 || 2729146052 ||  10 ||  13 ||
    83 || ipp024 || 21420144640 || 20151534944 || 1268609696 || 129453880 ||   6 ||   1 ||
    84 || ipp025 || 21420144640 || 3364737696 || 18055406944 || 29095812 ||  84 ||   0 ||
    85 || ipp026 || 21420144640 || 19251209792 || 2168934848 || 113734416 ||  10 ||   1 ||
    86 || ipp028 || 21420144640 || 19782618336 || 1637526304 || 8178272 ||   8 ||   0 ||
    87 || ipp029 || 21420144640 || 19828038368 || 1592106272 || 291389620 ||   7 ||   1 ||
    88 || ipp030 || 21420144640 || 18002294272 || 3417850368 || 735373196 ||  16 ||   3 ||
    89 || ipp031 || 21420144640 || 19225006144 || 2195138496 || 79133040 ||  10 ||   0 ||
    90 || ipp032 || 21420144640 || 19009428160 || 2410716480 || 121185272 ||  11 ||   1 ||
    91 || ipp033 || 21420144640 || 19639343296 || 1780801344 || 198478272 ||   8 ||   1 ||
    92 || ipp034 || 21420144640 || 18773378080 || 2646766560 || 77550268 ||  12 ||   0 ||
    93 || ipp035 || 21420144640 || 20349376992 || 1070767648 || 2399920800 ||   5 ||  11 ||
    94 || ipp036 || 21420144640 || 19456268896 || 1963875744 || 1147288504 ||   9 ||   5 ||
    95 || ipp038 || 21419913728 || 18002050144 || 3417863584 || 262917236 ||  16 ||   1 ||
    96 || ipp039 || 21419913728 || 20056417952 || 1363495776 || 53456068 ||   6 ||   0 ||
    97 || ipp040 || 20443361792 || 17025660032 || 3417701760 || 5644529500 ||  17 ||  28 ||
    98 || ipp041 || 21419913728 || 18622833376 || 2797080352 || 60752116 ||  13 ||   0 ||
    99 || ipp042 || 21419913728 || 18002178720 || 3417735008 || 448578892 ||  16 ||   2 ||
    100 || ipp043 || 21419913728 || 18002045472 || 3417868256 || 1218479776 ||  16 ||   6 ||
    101 || ipp044 || 21419913728 || 18002047936 || 3417865792 || 470104256 ||  16 ||   2 ||
    102 || ipp045 || 21419913728 || 18002200352 || 3417713376 || 379366600 ||  16 ||   2 ||
    103 || ipp046 || 21419913728 || 18002546784 || 3417366944 || 404599160 ||  16 ||   2 ||
    104 || ipp047 || 21419913728 || 18018135520 || 3401778208 || 89718352 ||  16 ||   0 ||
    105 || ipp048 || 21419913728 || 16351139232 || 5068774496 || 4128888600 ||  24 ||  19 ||
    106 || ipp049 || 21419913728 || 20043608768 || 1376304960 || 4592776260 ||   6 ||  21 ||
    107 || ipp050 || 21419913728 || 18002049760 || 3417863968 || 4013713612 ||  16 ||  19 ||
    108 || ipp051 || 21419913728 || 18002047200 || 3417866528 || 3501250484 ||  16 ||  16 ||
    109 || ipp052 || 21419913728 || 18002196576 || 3417717152 || 2695505596 ||  16 ||  13 ||
    110 || ipp053 || 21419913728 || 8288725024 || 13131188704 || 2494035120 ||  61 ||  12 ||
    111 
     63|| ipp004 || 10651598144 || 10026600352 || 624997792 || 4062173952 ||   6 ||  38 ||
     64|| ipp005 || 10651598144 || 8623103680 || 2028494464 || 3846688 ||  19 ||   0 ||
     65|| ipp006 || 10651598144 || 10120836288 || 530761856 || 23058428 ||   5 ||   0 ||
     66|| ipp007 || 10651588352 || 10121328320 || 530260032 || 3024720728 ||   5 ||  28 ||
     67|| ipp009 || 10651598144 || 10123485056 || 528113088 || 551858148 ||   5 ||   5 ||
     68|| ipp010 || 10651598144 || 10120323872 || 531274272 || 157354328 ||   5 ||   1 ||
     69|| ipp011 || 10651588352 || 10120761440 || 530826912 || 9801856 ||   5 ||   0 ||
     70|| ipp012 || 10651588352 || 10121565216 || 530023136 || 16853600 ||   5 ||   0 ||
     71|| ipp013 || 10651588352 || 10120332512 || 531255840 || 9782924 ||   5 ||   0 ||
     72|| ipp014 || 10609814272 || 8871570784 || 1738243488 || 9799580 ||  16 ||   0 ||
     73|| ipp015 || 10651588352 || 10119544704 || 532043648 || 79148476 ||   5 ||   1 ||
     74|| ipp016 || 10651588352 || 7977333024 || 2674255328 || 48686164 ||  25 ||   0 ||
     75|| ipp017 || 10651588352 || 10119871552 || 531716800 || 11053836 ||   5 ||   0 ||
     76|| ipp019 || 10651588352 || 10121043392 || 530544960 || 1609861036 ||   5 ||  15 ||
     77|| ipp020 || 10651588352 || 10120436640 || 531151712 || 9803248 ||   5 ||   0 ||
     78|| ipp021 || 10651588352 || 10120510560 || 531077792 || 9792472 ||   5 ||   0 ||
     79|| ipp023 || 21420144640 || 20349617632 || 1070527008 || 2624457160 ||   5 ||  12 ||
     80|| ipp024 || 21420144640 || 20349709888 || 1070434752 || 25084620 ||   5 ||   0 ||
     81|| ipp025 || 21420144640 || 9752726432 || 11667418208 || 29498252 ||  54 ||   0 ||
     82|| ipp026 || 21420144640 || 20350860000 || 1069284640 || 11535676 ||   5 ||   0 ||
     83|| ipp027 || 21419913728 || 2646015328 || 18773898400 || 10828756 ||  88 ||   0 ||
     84|| ipp028 || 21420144640 || 20351964416 || 1068180224 || 16571316 ||   5 ||   0 ||
     85|| ipp029 || 21420144640 || 20349490400 || 1070654240 || 193218764 ||   5 ||   1 ||
     86|| ipp030 || 21420144640 || 20349564960 || 1070579680 || 636345304 ||   5 ||   3 ||
     87|| ipp031 || 21420144640 || 20349364928 || 1070779712 || 11025024 ||   5 ||   0 ||
     88|| ipp032 || 21420144640 || 20349207840 || 1070936800 || 50396320 ||   5 ||   0 ||
     89|| ipp033 || 21420144640 || 20349721024 || 1070423616 || 133693012 ||   5 ||   1 ||
     90|| ipp034 || 21420144640 || 20132953760 || 1287190880 || 12785336 ||   6 ||   0 ||
     91|| ipp035 || 21420144640 || 20349255552 || 1070889088 || 2175854876 ||   5 ||  10 ||
     92|| ipp036 || 21420144640 || 20349468800 || 1070675840 || 989118384 ||   5 ||   5 ||
     93|| ipp038 || 21419913728 || 20349447552 || 1070466176 || 210200924 ||   5 ||   1 ||
     94|| ipp039 || 21419913728 || 20349545472 || 1070368256 || 10482148 ||   5 ||   0 ||
     95|| ipp040 || 20443361792 || 19422110912 || 1021250880 || 5625139232 ||   5 ||  28 ||
     96|| ipp041 || 21419913728 || 20349332128 || 1070581600 || 10116288 ||   5 ||   0 ||
     97|| ipp042 || 21419913728 || 20349827872 || 1070085856 || 463574004 ||   5 ||   2 ||
     98|| ipp043 || 21419913728 || 20349122688 || 1070791040 || 1168259680 ||   5 ||   5 ||
     99|| ipp044 || 21419913728 || 20349451840 || 1070461888 || 436884844 ||   5 ||   2 ||
     100|| ipp045 || 21419913728 || 20349843488 || 1070070240 || 371244668 ||   5 ||   2 ||
     101|| ipp046 || 21419913728 || 20349594176 || 1070319552 || 370681380 ||   5 ||   2 ||
     102|| ipp047 || 21419913728 || 20459449696 || 960464032 || 1493451924 ||   4 ||   7 ||
     103|| ipp048 || 21419913728 || 20362105216 || 1057808512 || 2931527216 ||   5 ||  14 ||
     104|| ipp049 || 21419913728 || 10905015136 || 10514898592 || 1819205192 ||  49 ||   8 ||
     105|| ipp050 || 21419913728 || 20470454336 || 949459392 || 4297216276 ||   4 ||  20 ||
     106|| ipp051 || 21419913728 || 20361173152 || 1058740576 || 3477157408 ||   5 ||  16 ||
     107|| ipp052 || 21419913728 || 20361638528 || 1058275200 || 2771389288 ||   5 ||  13 ||
     108|| ipp053 || 21419913728 || 6635762400 || 14784151328 || 2596907032 ||  69 ||  12 ||
    112109
    113110----
    114111
    115 
    116112== By Keyword ==
    117113
    118114Keyword matching done based on summing the disk usage of all directories with the name /data/@HOST@/keyword.
    119115
    120 
    121116|| Keyword || Total Space Used || % of cluster ||
    122 || gpc1_distribution || 15794954804 ||   2 ||
    123 || megacam || 13692867052 ||   2 ||
     117|| gpc1_distribution || 13009200216 ||   2 ||
    124118|| ipp018.0 || 5414586080 ||   1 ||
    125 || gpc1 || 4409129624 ||   1 ||
    126 || beaumont || 4238449700 ||   1 ||
    127 || gpc1_destreak || 3759220316 ||   0 ||
    128 || iqanalysis || 2952465320 ||   0 ||
    129 || home || 2899732176 ||   0 ||
     119|| gpc1 || 4513249564 ||   1 ||
     120|| gpc1_destreak || 4460297968 ||   1 ||
     121|| beaumont || 4259782908 ||   1 ||
     122|| home || 3094540600 ||   0 ||
    130123|| MOPS || 2767351540 ||   0 ||
    131 || ipp || 2636373948 ||   0 ||
    132 || price || 1150278764 ||   0 ||
    133 || heather || 969252392 ||   0 ||
     124|| ipp || 2473778884 ||   0 ||
     125|| heather || 1096811696 ||   0 ||
     126|| price || 1091120932 ||   0 ||
     127|| iqanalysis || 561213928 ||   0 ||
    134128|| rodney || 433771656 ||   0 ||
    135129|| gpc1dark || 317590620 ||   0 ||
    136130|| eugene || 236727456 ||   0 ||
    137 || billsstuff || 179740860 ||   0 ||
    138 || bills || 109662436 ||   0 ||
    139 || pstamp || 96276572 ||   0 ||
     131|| bills || 189375280 ||   0 ||
     132|| billsstuff || 179740868 ||   0 ||
     133|| pstamp.ipp049 || 96681408 ||   0 ||
     134|| watersc1 || 96381740 ||   0 ||
    140135|| old || 90156472 ||   0 ||
    141 || watersc1 || 81066944 ||   0 ||
    142 || datastore || 60382556 ||   0 ||
     136|| datastore.ipp049 || 71220040 ||   0 ||
     137|| tmp || 48318360 ||   0 ||
    143138|| isp || 41834288 ||   0 ||
    144 || tmp || 33578900 ||   0 ||
    145139|| allskycam || 21680532 ||   0 ||
    146140|| kaiser || 19740236 ||   0 ||
    147 || eam_tmpdir || 7338888 ||   0 ||
     141|| datastore || 9023680 ||   0 ||
     142|| eam_tmpdir || 7338896 ||   0 ||
    148143|| gpc1_dist || 6798048 ||   0 ||
    149144|| md09smf || 2228540 ||   0 ||
    150145|| pstamp-work || 323632 ||   0 ||
     146|| rhenders || 318056 ||   0 ||
     147|| megacam || 255232 ||   0 ||
    151148|| giebink || 2060 ||   0 ||
    152149|| gpc1_rel_200901 || 1508 ||   0 ||
    153150|| gpc1-magic || 1156 ||   0 ||
     151|| mysql || 748 ||   0 ||
    154152|| jhoblitt || 400 ||   0 ||
     153|| lost+found || 256 ||   0 ||
    155154|| ippTests || 236 ||   0 ||
    156155|| MD08.200906.v0_0 || 36 ||   0 ||
    157156|| mkhome.sh || 4 ||   0 ||
     157|| pstamp || 4 ||   0 ||
    158158|| node_update.sh || 4 ||   0 ||
    159159
    … …  
    163163
    164164||Host||Orphans||Number Zero-size||Widows||
    165 ||ipp004.0||126||0||0||
    166 ||ipp005.0||532||92||0||
    167 ||ipp006.0||510||204||0||
    168 ||ipp007.0||820||186||0||
    169 ||ipp009.0||2117||1546||4||
    170 ||ipp010.0||721||121||0||
    171 ||ipp011.0||725||220||0||
    172 ||ipp012.0||65||62||0||
    173 ||ipp013.0||67||60||0||
    174 ||ipp014.0||922||385||0||
    175 ||ipp015.0||587||38||1||
    176 ||ipp016.0||370||268||0||
    177 ||ipp017.0||84||83||0||
    178 ||ipp018.0||298||161||0||
    179 ||ipp019.0||65||61||1||
    180 ||ipp020.0||424||207||0||
    181 ||ipp021.0||416||199||0||
    182 ||ipp023.0||14||1||4||
    183 ||ipp024.0||938||910||2||
    184 ||ipp025.0||12327||12238||5||
    185 ||ipp026.0||742||728||8||
    186 ||ipp027.0||0||0||517771||
    187 ||ipp028.0||11531||11355||137||
    188 ||ipp029.0||1011||964||6||
    189 ||ipp030.0||432||18||11||
    190 ||ipp031.0||132||102||4||
    191 ||ipp032.0||514||478||5||
    192 ||ipp033.0||4237||4204||48||
    193 ||ipp034.0||2091||2042||28||
    194 ||ipp035.0||834||783||33||
    195 ||ipp036.0||1391||1322||95||
    196 ||ipp038.0||107||90||1||
    197 ||ipp039.0||92||89||0||
    198 ||ipp040.0||92||90||2||
    199 ||ipp041.0||186||112||0||
    200 ||ipp042.0||81||74||9||
    201 ||ipp043.0||127||125||2||
    202 ||ipp044.0||85||79||2||
    203 ||ipp045.0||91||90||1||
    204 ||ipp046.0||89||86||25||
    205 ||ipp047.0||93||91||0||
    206 ||ipp048.0||108||100||0||
    207 ||ipp049.0||101||98||4||
    208 ||ipp050.0||92||91||0||
    209 ||ipp051.0||441||156||1||
    210 ||ipp052.0||90||87||4||
     165||ipp004.0||952||156||18||
     166||ipp005.0||1250||94||0||
     167||ipp006.0||1177||260||2||
     168||ipp007.0||1067||213||11||
     169||ipp009.0||4199||1654||6||
     170||ipp010.0||1880||160||2||
     171||ipp011.0||3454||474||12||
     172||ipp012.0||1939||127||182||
     173||ipp013.0||581||102||19||
     174||ipp014.0||52768||386||0||
     175||ipp015.0||591||39||1||
     176||ipp016.0||1418||287||2||
     177||ipp017.0||2271||297||396||
     178||ipp019.0||837||119||5||
     179||ipp020.0||934||244||4||
     180||ipp021.0||2814||246||53||
     181||ipp023.0||7619||124||23||
     182||ipp024.0||3301||1034||4||
     183||ipp025.0||13688||12304||9||
     184||ipp026.0||1600||729||30||
     185||ipp028.0||12535||11356||140||
     186||ipp029.0||1514||969||16||
     187||ipp030.0||1050||20||10||
     188||ipp031.0||842||105||10||
     189||ipp032.0||782||480||6||
     190||ipp033.0||4973||4206||48||
     191||ipp034.0||2202||2135||31||
     192||ipp035.0||1583||792||35||
     193||ipp036.0||1873||1353||134||
     194||ipp038.0||116||91||1||
     195||ipp039.0||110||94||0||
     196||ipp040.0||384||104||1009||
     197||ipp041.0||189||113||0||
     198||ipp042.0||86||76||9||
     199||ipp043.0||131||126||2||
     200||ipp044.0||94||81||2||
     201||ipp045.0||109||102||2||
     202||ipp046.0||102||88||13||
     203||ipp047.0||96||94||0||
     204||ipp048.0||110||100||0||
     205||ipp049.0||2144||138||36||
     206||ipp050.0||94||93||0||
     207||ipp051.0||442||157||1||
     208||ipp052.0||93||90||4||
    211209||ipp053.0||91||84||1||