시험さま : Linux 디스크 검사 / P7P55D-E EVO / P55 칩셋

Linux 디스크 검사 / P7P55D-E EVO / P55 칩셋

[1] 복수의 HDD 동시 입출력시 throughput

ASUS P7P55D-E EVO 보드에 달린 하드디스크 7개를 동시에 검사하면서
발생하는 블록입출력 속도를 살펴보게 되었다.

7개의 HDD는 시게이트 ST3000DM001 모델이며,
처음 6개 (/dev/hd{a..f})는 P55 칩셋에서 기본지원되는 3Gbps SATA-II 포트 6개에 달려있고
7번째인 /dev/hdi는 보드(ASUS P7P55D-E EVO) 제조사에서 끼워넣은 JMB363의 3Gbps SATA-II 포트에 달려있다.

디스크 검사에는 아래의 명령을 사용했다.

( sudo badblocks -v -b 4096 -w /dev/sda 2>&1 ) > badblocks_log.sda &
( sudo badblocks -v -b 4096 -w /dev/sdb 2>&1 ) > badblocks_log.sdb &
( sudo badblocks -v -b 4096 -w /dev/sdc 2>&1 ) > badblocks_log.sdc &
( sudo badblocks -v -b 4096 -w /dev/sdd 2>&1 ) > badblocks_log.sdd &
( sudo badblocks -v -b 4096 -w /dev/sde 2>&1 ) > badblocks_log.sde &
( sudo badblocks -v -b 4096 -w /dev/sdf 2>&1 ) > badblocks_log.sdf &
( sudo badblocks -v -b 4096 -w /dev/sdi 2>&1 ) > badblocks_log.sdi &

$ vmstat 5
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 1  7      0 15818708 119044 173588    0    0     0 671218 2708 5355  0  2 49 48
 0  7      0 15818708 119044 173588    0    0     0 671488 2704 5345  0  2 49 49
 0  7      0 15818708 119044 173588    0    0     0 671437 2706 5349  0  2 49 49
 0  7      0 15818708 119044 173588    0    0     0 671437 2699 5337  0  2 49 49

총 670MB/s 정도의 출력이 이뤄지고 있다.
한 번에 작업을 시작하지 않고 하나씩 해보니 아래와 같이 나왔다.

$ vmstat 5
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 0  0      0 7981504 7873736  48864    0    0  5691 32300  187  378  0  1 89 10
 0  0      0 7981620 7873736  48944    0    0     0    51   23   60  0  0 100  0
 0  0      0 7981620 7873736  48944    0    0     0     0   21   52  0  0 100  0
 3  0      0 7980852 7873736  48956    0    0     0 135373  585 1177  0  1 79 21
 0  1      0 7980852 7873736  48956    0    0     0 155699  646 1281  0  1 75 24
 0  1      0 7980852 7873736  48956    0    0     0 155238  636 1268  0  1 75 24
 0  1      0 7980884 7873736  48956    0    0     0 160410  661 1334  0  1 75 24
 0  1      0 7980884 7873736  48956    0    0     0 154675  636 1269  0  0 75 24
 1  1      0 7979092 7873736  48956    0    0     0 260966 1073 2170  0  1 75 24
 0  2      0 7979092 7873736  49052    0    0     0 329966 1325 2654  0  1 75 24
 0  2      0 7979092 7873736  49052    0    0     0 334950 1338 2685  0  1 75 24
 0  2      0 7979092 7873736  49052    0    0     0 334694 1338 2682  0  1 75 24
 0  3      0 7977128 7873736  49076    0    0     0 489216 1978 3973  0  1 75 24
 0  3      0 7977128 7873736  49076    0    0     0 500275 2015 3990  0  2 74 24
 0  3      0 7977128 7873736  49076    0    0     0 506778 2041 4044  0  2 75 23
 0  3      0 7977128 7873736  49076    0    0     0 502989 2020 4010  0  2 75 24
 0  3      0 7977128 7873736  49140    0    0     0 495826 1985 3959  0  2 74 24
 0  3      0 7977128 7873736  49140    0    0     0 506061 2035 4029  0  2 75 24
 0  4      0 7975600 7873736  49192    0    0     0 620597 2506 4992  0  2 73 25
 0  4      0 7975600 7873736  49192    0    0     0 646861 2605 5144  0  2 73 25
 1  3      0 7975600 7873736  49192    0    0     0 650189 2617 5166  0  2 73 25
 0  4      0 7975600 7873736  49192    0    0     0 647731 2607 5152  0  2 73 25
 0  4      0 7975600 7873736  49192    0    0     0 645581 2595 5133  0  2 72 26
 0  4      0 7975600 7873736  49192    0    0     0 649830 2613 5164  0  2 72 26
 0  5      0 7973756 7873736  49232    0    0     0 653862 2662 5282  0  2 71 27
 0  5      0 7973756 7873736  49260    0    0     0 660531 2659 5242  0  2 69 29
 0  5      0 7973756 7873736  49260    0    0     0 660480 2670 5254  0  2 68 29
 1  4      0 7973756 7873736  49260    0    0     0 660634 2668 5252  0  2 69 28
 0  5      0 7973756 7873736  49260    0    0     0 660429 2662 5247  0  2 69 29
 1  4      0 7973756 7873736  49260    0    0     0 660582 2659 5241  0  2 70 29
 0  5      0 7973756 7873736  49284    0    0     0 660430 2664 5265  0  3 69 28
 1  4      0 7973756 7873736  49340    0    0     0 660739 2671 5258  0  2 69 29
 0  5      0 7973764 7873736  49340    0    0     0 660429 2668 5250  0  2 69 29
 0  6      0 7972260 7873736  49344    0    0     0 660736 2685 5306  0  2 69 29
 0  6      0 7972252 7873736  49348    0    0     0 661197 2663 5247  0  2 69 29
 0  6      0 7972252 7873736  49348    0    0     0 661197 2669 5252  0  2 69 29
 0  6      0 7971880 7873736  49376    0    0     0 661146 2665 5269  0  2 68 30
 0  7      0 7970072 7873736  49384    0    0     0 662272 2678 5315  0  2 67 31
 0  7      0 7970056 7873736  49380    0    0     0 670054 2696 5329  0  2 46 51
 0  7      0 7970056 7873736  49400    0    0     0 670261 2686 5328  0  2 46 52
 0  7      0 7969932 7873736  49456    0    0     0 670107 2692 5334  0  2 45 53
 0  7      0 7969932 7873736  49456    0    0     0 670413 2690 5323  0  2 46 52

HDD 하나에서 160MB/s 를 조금 넘는 정도의 순차쓰기가 가능했고,
4개까지는 하나당 160MB/s 정도로 증가하다가 이후 5개와 6개째는 10MB/s 수준의 작은 증가폭만 나타난다.

P55 칩셋에서 CPU와 칩셋을 연결하는 DMI 인터페이스는 1GB/s 정도의 대역폭을 지원하는 모양이다.
( 참고1: Direct Media Interface, DMI는 1GB/s, DMI 2.0은 2GB/s. P55 칩셋은 1GB/s DMI를 채택)
( 참고2: http://en.wikipedia.org/wiki/List_of_device_bit_rates )
( 참고3: 사용중인 린필드 i5-750 프로세서의 Intel 정보를 보니 DMI가 2.5 GT/s라고 나온다. )

( 비교를 위해 아이비브리지 Xeon E3-1230V2를 찾아보니 DMI가 5GT/s로 동작함. )

대역폭은 1GB/s이고, 실 Throughput은 670MB/s 정도인걸까?

위의 검사가 진행되는 동안,
ASUS에서 끼워넣은 또 다른 SATA-III 콘트롤러인 88SE9123에 달린 다른 HDD(시게이트 ST1000DM003)에 대해
아래 명령으로 순차읽기 동작을 시켜보니 아래와 같은 결과가 나왔다.

$ sudo dd if=/dev/sdg of=/dev/null bs=10485760

$ vmstat 5
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 1  7      0 8833672 6908004 180204    0    0   172 132879  539   25  0  2 60 38
 0  7      0 8833796 6908004 180204    0    0     0 671437 2701 5341  0  2 48 49
 0  7      0 8833796 6908004 180204    0    0     0 671437 2701 5342  0  2 49 48
 0  7      0 8833796 6908004 180204    0    0     0 671590 2702 5348  0  2 49 49
 0  7      0 8833796 6908004 180232    0    0     0 671283 2713 5349  0  3 49 49
 0  7      0 8833796 6908004 180232    0    0     0 671437 2698 5340  0  2 49 49
 1  7      0 8812388 6918628 180124    0    0  2150 668979 2744 5242  0 11 35 55
 0  8      0 7751272 7951204 180024    0    0 206490 663398 4360 8567  0  6 46 48
 0  8      0 6702956 8970468 179892    0    0 203853 663296 4355 8544  0  7 46 48
 2  6      0 5641960 10002660 179800    0    0 206464 663245 4357 8564  0  6 46 48
 0  8      0 4581200 11034852 179984    0    0 206413 663142 4356 8558  0  6 45 48
 0  7      0 3823440 11782244 180312    0    0 149478 665494 3916 7709  0  6 46 48
 0  7      0 3823440 11782244 180344    0    0     0 671387 2704 5348  0  2 49 48

읽기(bi)가 발생하는 동안 쓰기(bo) 속도는 약간의 변화만 생기는 정도였다.

그리고, 88SE9123에 달린 또다른 HDD에 대해서도 동시에 읽기 동작을 시켜보니 아래와 같은 결과가 나왔다.

$ sudo dd if=/dev/sdg of=/dev/null bs=10485760 &
$ sudo dd if=/dev/sdh of=/dev/null bs=10485760

$ vmstat 5
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 2  7      0 3822648 11782244 180784    0    0     0 671488 2706 5349  0  2 50 48
 0  7      0 3822648 11782244 180784    0    0     0 671334 2702 5346  0  2 49 48
 0  7      0 3822648 11782244 180828    0    0     0 671371 2708 5356  0  2 49 48
 1  6      0 3822648 11782244 180828    0    0     0 671437 2704 5348  0  2 49 49
 1  7      0 3822648 11782244 180828    0    0     0 671488 2704 5346  0  2 49 48
 0  7      0 3822648 11782244 180828    0    0     0 671334 2692 5338  0  2 49 49
 0  7      0 3822648 11782244 180828    0    0     0 671334 2704 5354  0  2 49 49
 0  7      0 3811664 11782244 180828    0    0     0 669850 2887 5274  0 15 31 54
 1  7      0 2974420 12596708 180788    0    0 162893 664934 4060 7986  0  7 44 49
 0  9      0 1410596 14106948 180636    0    0 302074 659558 5124 10106  0  9 41 50
 0  9      0 178752 15405244  78540    0    0 387021 656230 5864 11418  0 11 36 53
 2  7      0 174016 15467000  23692    0    0 387430 656077 5817 11520  0 11 35 53
 0  9      0 166992 15473712  23792    0    0 386662 656179 5809 11557  0 11 37 52
 1  8      0 160944 15479644  24120    0    0 380242 656485 5762 11468  0 11 37 52
 0  9      0 151412 15490008  23444    0    0 382848 656333 5778 11478  0 11 37 52
 2  7      0 168964 15472360  23816    0    0 384179 656384 5772 11510  0 10 37 53
 2  7      0 156344 15484812  23672    0    0 392064 655923 5825 11638  0 11 34 54
 1  7      0 173576 15474100  28676    0    0 313175 659046 5220 10433  0  9 38 53
 0  7      0 188620 15469024  28772    0    0 194385 663706 4280 8486  0  6 46 47
 2  6      0 188620 15469024  28784    0    0     2 671386 2695 5340  0  2 50 49
 0  7      0 184964 15469024  33136    0    0   862 671232 2718 5421  0  2 49 49

읽기는 380~390MB/s 정도의 속도가 측정되고, 쓰기속도는 역시 조금 줄어드는 정도였다.
DMI는 양방향 동시에(Full-duplex) 각각 1GB/s 대역폭을 제공한다고 한다.

이번에는 읽기 작업만 차례로 해 보니 아래와 같이 800MB/s 정도의 throughput이 나왔다.
쓰기 작업은 (dd를 쓰든 badblocks를 쓰든) 아무리 많이 걸어도 670MB/s 이상은 나오지 않았지만
읽기는 조금 더 대역폭(1GB/s)에 가깝게 나왔다.

sudo dd if=/dev/sda of=/dev/null bs=10485760 &
sudo dd if=/dev/sdb of=/dev/null bs=10485760 &
sudo dd if=/dev/sdc of=/dev/null bs=10485760 &
sudo dd if=/dev/sdd of=/dev/null bs=10485760 &
sudo dd if=/dev/sde of=/dev/null bs=10485760 &
sudo dd if=/dev/sdf of=/dev/null bs=10485760 &
sudo dd if=/dev/sdi of=/dev/null bs=10485760 &

$ vmstat 5
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 1  0      0 9908716 6010416  46200    0    0     0     0   40  113  0  0 100  0
 0  0      0 9908716 6010416  46200    0    0     0     0   34   84  0  0 100  0
 0  1      0 9287820 6600624  51464    0    0 119116     0 1044 2170  0  3 82 16
 0  1      0 8463856 7403952  51484    0    0 160666     0 1345 2651  0  3 76 21
 2  2      0 6698936 9099312  51468    0    0 339098     0 2794 5566  0  7 71 21
 0  4      0 3649364 12055088  51224    0    0 591130     0 4900 9611  0 12 59 29
 1  4      0 158768 15457292  44920    0    0 689715     0 5689 11057  0 14 54 32
 2  2      0 160628 15455968  45276    0    0 683008     0 5674 11251  0 16 52 33
 0  4      0 160188 15456780  45244    0    0 686522    53 5697 11319  0 16 51 33
 2  4      0 154112 15445132  51188    0    0 759004     0 6368 12707  0 17 45 38
 2  4      0 165612 15434860  51180    0    0 789111     0 6555 12943  0 18 43 39
 2  3      0 165704 15440212  45092    0    0 787566     0 6557 12939  0 18 43 39
 2  5      0 164032 15441272  45256    0    0 786918     0 6545 12914  0 18 43 39
 2  4      0 151008 15438044  51488    0    0 798734     0 6723 13315  0 19 36 45
 2  5      0 161580 15426024  51972    0    0 805607     3 6698 13188  0 17 33 50
 0  6      0 168964 15424920  45256    0    0 805331    56 6734 13208  0 18 31 50
 0  7      0 158964 15418196  51184    0    0 805850     0 7048 13366  0 19 20 62
 0  7      0 153788 15423636  51072    0    0 806272     0 7079 13156  0 18 15 67
 0  7      0 160840 15421332  45256    0    0 806042     0 7168 13160  0 17 15 68

읽기와 쓰기 양쪽 모두 동시에 작업을 걸어보니 아래와 같이 나왔다.
우선 5개의 HDD에 쓰기작업을 걸어 660MB/s 정도의 속도가 나오는 상태에서
4개의 HDD에 대해 읽기 작업을 하나씩 실행해가며 변화를 본 것인데,
읽기 작업이 늘어감에 따라 쓰기 속도가 급격히 줄어드는 모습이 보인다.

sudo dd if=/dev/zero of=/dev/sda bs=10485760 &
sudo dd if=/dev/zero of=/dev/sdb bs=10485760 &
sudo dd if=/dev/zero of=/dev/sdc bs=10485760 &
sudo dd if=/dev/zero of=/dev/sdd bs=10485760 &
sudo dd if=/dev/zero of=/dev/sde bs=10485760 &

sudo dd if=/dev/sdg of=/dev/null bs=10485760 &
sudo dd if=/dev/sdh of=/dev/null bs=10485760 &
sudo dd if=/dev/sdi of=/dev/null bs=10485760 &
sudo dd if=/dev/sdf of=/dev/null bs=10485760 &

$ vmstat 5
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 1  9      0 171544 15401200  59996    0    0  1242 266346 1090 1576  0 19 59 21
 2  8      0 176116 15397488  59564    0    0     0 665192 1841 1942  0  7  9 85
 2  8      0 185052 15393852  53684    0    0     0 661914 1808 1859  0  6  7 86
 2  8      0 180504 15398860  53304    0    0     1 661917 1787 1799  0  7  8 85
 4  7      0 175916 15403884  53380    0    0     8 658168 1804 1862  0  7  6 87
 1  9      0 182236 15398060  53432    0    0     0 659155 1814 1893  0  6  6 87
 1 11      0 172812 15388600  59912    0    0 37262 665190 2158 3207  0  8  5 87
 2 10      0 169672 15390672  59604    0    0 165094 652085 3145 6971  0 14  4 81
 1 11      0 183356 15382428  54696    0    0 151229 658637 3078 6522  0 19  2 79
 0 11      0 184228 15383304  54548    0    0 206413 645530 3417 8158  0 12  4 84
 0 11      0 179576 15388172  53248    0    0 206490 658637 3435 8199  0 12  5 83
 1 12      0 167492 15381712  59740    0    0 334221 648808 4421 12298  0 16  3 81
 0 12      0 180308 15373624  55664    0    0 365006 645566 4614 13096  0 17  3 81
 0 12      0 180576 15376344  53512    0    0 371149 645530 4647 13301  0 17  3 81
 1 11      0 172184 15384228  53836    0    0 370795 648806 4665 13297  0 16  3 81
 1 12      0 169448 15370024  59836    0    0 471766 524291 5331 14936  0 17  2 82
 0 13      0 167072 15376152  55876    0    0 536064 471861 5807 16073  0 17  1 82
 0 13      0 179640 15365792  53560    0    0 537830 468582 5874 16070  0 17  0 82
 4 10      0 171964 15372376  53696    0    0 540341 468582 5867 16265  0 19  1 81
 2 12      0 171260 15373216  53436    0    0 540363 468582 5879 16252  0 18  1 81
 2 12      0 184740 15343616  59524    0    0 597599 380160 6129 15829  0 19  1 80
 0 14      0 171320 15361328  55848    0    0 618445 357171 6266 16230  0 19  0 81
 3 13      0 187488 15346500  53924    0    0 618343 353913 6260 16342  0 19  0 80
 2 14      0 174376 15359100  53624    0    0 615986 363706 6211 16134  0 19  1 81
 1 14      0 181676 15350280  53960    0    0 617702 360448 6212 16146  0 20  1 80
 0 14      0 172528 15361832  53736    0    0 616422 357171 6191 16144  0 19  1 81

DMI가 양방향으로 1GB/s 를 제공한다고는 하는데..

아마 내가 모르는 병목구간이 있는 것 같은데,

그냥 여기까지만 해보고 멈추기로 했다.

특이사항 하나:
ST3000DM001을 Intel P55 내장 SATA에 연결하면 badblocks의 쓰기속도가 160MB/s 넘게 나오지만
JMB363의 eSATA에 연결하면 137MB/s 밖에 안 나온다. 읽기속도는 별 차이가 없는데 쓰기속도는 차이가 났다.

procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 1  1      0 9315024 6483324 102420    0    0     0 137165  578 1195  0  1 75 24
 0  1      0 9315024 6483324 102420    0    0     0 136141  576 1173  0  1 75 24

[2] 약간의 추가 자료

P55 DMI>CPU bandwidth?
    https://forum.beyond3d.com/threads/p55-dmi-cpu-bandwidth.46989/
    게다가 PCIe 레인도 PCIe 2.0 (5GT/s==500MB/s)을 지원하기는 하는데
    동작은 PCIe 1.0 (2.5GT/s==250MB/s)으로 한다는 말이 나옴.

Red flag on current SATA 6 Gbit/s!
    http://www.behardware.com/news/10424/red-flag-on-current-sata-6-gbit-s.html
    P7P55D-E EVO 보드에는 6Gbps SATA-III 를 지원하는 88SE9123 칩이 달려있는데
    이 칩이 지원하는 SATA-III 2포트 * 6Gbps(600MB/s)의 속도와,
    그 속도에 못미치는 이 칩의 PCIe 2.0 x1 인터페이스의 속도 (500MB/s : 1차병목)
    그리고, 다시 또 그에도 못미치는 P55 칩셋의 PCIe 동작속도(250MB/s per lane : 2차병목)를 비교하며 분석한 글이다.

    결론은 88SE9123의 2차병목인 P55 칩셋의 PCIe 동작속도(250MBps) 때문에 생기는 어이없는 병목현상을
    PEX PLX8613 칩을 추가하여 해소했다는 것. 남은 것은 88SE9123의 자체 PCIe 인터페이스의 1차병목 뿐?
    ( [1]에서 실험해본 결과 390MB/s에 이르는 읽기가 가능했으므로 이 문서의 이론과 부합되는 셈이다.
ASUS의 노력이 빛나는 순간. )
    ( Gigabyte의 GA-P55A-UD3 보드는 CPU가 제공하는 PCIe 2.0 레인을 나눠쓰는 선택을 제공하는 식으로
      이 문제를 우회할 수 있는 길을 열어둔 모양이다. 참고: http://chanik.egloos.com/3968257 )

메인보드 내의 각 장치 구성을 간략히 살펴보면 아래와 같다.

$ lspci -t -v
-+-[0000:3f]-+-00.0  Intel Corporation Core Processor QuickPath Architecture Generic Non-Core Registers
 |           +-00.1  Intel Corporation Core Processor QuickPath Architecture System Address Decoder
 |           +-02.0  Intel Corporation Core Processor QPI Link 0
 |           +-02.1  Intel Corporation Core Processor QPI Physical 0
 |           +-03.0  Intel Corporation Core Processor Integrated Memory Controller
 |           +-03.1  Intel Corporation Core Processor Integrated Memory Controller Target Address Decoder
 |           +-03.4  Intel Corporation Core Processor Integrated Memory Controller Test Registers
 |           +-04.0  Intel Corporation Core Processor Integrated Memory Controller Channel 0 Control Registers
 |           +-04.1  Intel Corporation Core Processor Integrated Memory Controller Channel 0 Address Registers
 |           +-04.2  Intel Corporation Core Processor Integrated Memory Controller Channel 0 Rank Registers
 |           +-04.3  Intel Corporation Core Processor Integrated Memory Controller Channel 0 Thermal Control Registers
 |           +-05.0  Intel Corporation Core Processor Integrated Memory Controller Channel 1 Control Registers
 |           +-05.1  Intel Corporation Core Processor Integrated Memory Controller Channel 1 Address Registers
 |           +-05.2  Intel Corporation Core Processor Integrated Memory Controller Channel 1 Rank Registers
 |           \-05.3  Intel Corporation Core Processor Integrated Memory Controller Channel 1 Thermal Control Registers
 \-[0000:00]-+-00.0  Intel Corporation Core Processor DMI
             +-03.0-[01]----00.0  NVIDIA Corporation G96 [GeForce 9500 GT]
             +-08.0  Intel Corporation Core Processor System Management Registers
             +-08.1  Intel Corporation Core Processor Semaphore and Scratchpad Registers
             +-08.2  Intel Corporation Core Processor System Control and Status Registers
             +-08.3  Intel Corporation Core Processor Miscellaneous Registers
             +-10.0  Intel Corporation Core Processor QPI Link
             +-10.1  Intel Corporation Core Processor QPI Routing and Protocol Registers
             +-1a.0  Intel Corporation 5 Series/3400 Series Chipset USB2 Enhanced Host Controller
             +-1b.0  Intel Corporation 5 Series/3400 Series Chipset High Definition Audio
             +-1c.0-[06-0b]----00.0-[07-0b]--+-01.0-[08]----00.0  NEC Corporation uPD720200 USB 3.0 Host Controller
             |                               +-05.0-[09]----00.0  Marvell Technology Group Ltd. 88SE9123 PCIe SATA 6.0 Gb/s controller
             |                               +-07.0-[0a]--
             |                               \-09.0-[0b]--
             +-1c.4-[05]----00.0  Realtek Semiconductor Co., Ltd. RTL8111/8168B PCI Express Gigabit Ethernet controller
             +-1c.5-[04]----00.0  Realtek Semiconductor Co., Ltd. RTL8111/8168B PCI Express Gigabit Ethernet controller
             +-1c.6-[03]--+-00.0  JMicron Technology Corp. JMB363 SATA/IDE Controller
             |            \-00.1  JMicron Technology Corp. JMB363 SATA/IDE Controller
             +-1c.7-[02]--
             +-1d.0  Intel Corporation 5 Series/3400 Series Chipset USB2 Enhanced Host Controller
             +-1e.0-[0c]----03.0  VIA Technologies, Inc. VT6306/7/8 [Fire II(M)] IEEE 1394 OHCI Controller
             +-1f.0  Intel Corporation 5 Series Chipset LPC Interface Controller
             +-1f.2  Intel Corporation 5 Series/3400 Series Chipset 6 port SATA AHCI Controller
             \-1f.3  Intel Corporation 5 Series/3400 Series Chipset SMBus Controller

$ lspci | grep PLX
06:00.0 PCI bridge: PLX Technology, Inc. PEX 8608 8-lane, 8-Port PCI Express Gen 2 (5.0 GT/s) Switch (rev ba)
07:01.0 PCI bridge: PLX Technology, Inc. PEX 8608 8-lane, 8-Port PCI Express Gen 2 (5.0 GT/s) Switch (rev ba)
07:05.0 PCI bridge: PLX Technology, Inc. PEX 8608 8-lane, 8-Port PCI Express Gen 2 (5.0 GT/s) Switch (rev ba)
07:07.0 PCI bridge: PLX Technology, Inc. PEX 8608 8-lane, 8-Port PCI Express Gen 2 (5.0 GT/s) Switch (rev ba)
07:09.0 PCI bridge: PLX Technology, Inc. PEX 8608 8-lane, 8-Port PCI Express Gen 2 (5.0 GT/s) Switch (rev ba)

연두색으로 표시한 부품이 위 글에 나오는 PLX PEX8608인 것 같다.
아래와 같이 lspci -v 명령으로 대략 확인 가능하다. 8-lane, 8-Port PCIe 2.0 스위치라고 나오는데,
이 칩에 88SE9123 칩이 NEC의 USB 3.0 콘트롤러 칩과 함께 매달려 있다.
(4개의 lane은 P55 칩셋쪽으로, 나머지 4개의 lane은 콘트롤러 칩쪽으로 할당해두되
그 중 2개는 비워두고 2개는 88SE9123과 NEC 칩을 위해 쓴 걸까? 그냥 추측임)

==> 내용추가: PLX PEX8608의 남는 2개 레인은 보드상의 PCIe 2.0 x1 슬롯 두 개에 하나씩 쓴 것 같음.

[사우스브리지] <-- (2.5GT/s x4) --> [PLX PEX8608] <-- (5GT/s x1) --> [88SE9123]
                                                  <-- (5GT/s x1) --> [uPD720200]
                                                  <-- (5GT/s x1) --> [빈 슬롯]
                                                  <-- (5GT/s x1) --> [빈 슬롯]

==> 보드에 제공되는 PCIe 슬롯은 아래와 같이 구성된 것 같음.
         - 5GT/s x16 * 2 : CPU가 지원. 한 슬롯만 쓰면 x16, 두 슬롯을 다 쓰면 각각 x8
         - 5GT/s x1 * 2 : PLX PEX8608의 남는 2개 레인
         - 2.5GT/s x1 * 1 : P55 칩셋에서 제공되는 PCIe 2.0 2.5GT/s 레인 8개 중 남는 것 1개
                      (PLX PEX8608용 4레인, 두 개의 리얼텍 온보드 NIC용 2개, JMB363용으로 1개 쓰고 남은 것)

참고: USB 3.0 콘트롤러인 NEC칩 (== Renesas uPD720200)도 SATA 콘트롤러인 88SE9123과 똑같은 식으로
PCIe 2.0 x1 을 지원하며 PLX PEX8608에 매달려 있다. 실험해보지는 않았으나 88SE9123의 경우처럼
메인보드 칩셋의 PCIe 2.0 슬롯이 5GT/s가 아닌 2.5GT/s 속도로 동작하는 한계를 넘어서
USB 3.0의 속도인 5Gbps에 근접하는 속도가 나오지 않을까 싶다.