# Here Strings
$ cat <<<asdf
asdf

# Process substitution
$ cat < <(echo asdf)
asdf
$ cat <(echo asdf)
asdf

$ echo asdf | cat
asdf

하드 디스크 6개 짜리 RAID-Z2 볼륨에서 네 번째로 디스크 문제가 생겼다.
2013년 4월에 Seagate Barracuda ST3000DM001 모델 6개로 구성했는데
만 2년이 지난 (보증기간이 딱 지난) 2015년 6월부터 하나씩 문제가 생기더니 최근 1년 사이에 4개째다.

처음 두 개는 같은 모델 여분의 디스크로 교체하다가 뭔가 아니다 싶어서
이후부터는 다른 모델로 교체했다 (HGST HDN724030ALE640).

오늘 생긴 문제는 디스크가 죽는 수준은 아니고
배드섹터 전단계의 섹터가 8개 나왔다는 SMART 경고가 메일로 날아온 것이었다.

접속해서 살펴본 SMART 정보는 아래와 같았다.



경험상 이 모델은 믿을 수 없으므로, 문제의 소지가 발견된 순간 바로 교체했다.

(이 모델의 유독 높은 오류발생률은 이미 유명하다.
 CSI: Backblaze – Dissecting 3TB Drive Failure
    https://www.backblaze.com/blog/3tb-hard-drive-failure/ )



헌 디스크 분리하고, 새 디스크 다는 과정에서 생긴 dmesg 로그는 아래와 같았다.
훌륭하게 된 건지는 모르겠고, 리눅스 가동중인 상태에서도 교체는 그럭저럭 가능했다.

그나마 4칸짜리 하드디스크랙(앤디코 하드랙 EasySTOR 340SS)을 설치해뒀기에 가능한 일이었다.
전에 PC 케이스의 내장 HDD 자리에 달려있던 디스크가 죽었을때는 어쩔 수 없이 전원 끄고 작업했다.

업무상 잡용도로 혼자 쓰는 우분투 서버를 운영한다.
루트파일시스템으로 btrfs 파일시스템을 쓰고 잡 백업 용도로 zfs raid-z2 볼륨을 구성해 쓴다.

처음엔 Ubuntu 12.04를 설치해서 한두해 쓰다가 몇 달 전에 14.04로 업그레이드했고,
이번에 다시 16.04로 업그레이드했다.

14.04 LTS -> 16.04 LTS 업그레이드하며 겪은 일을 생각나는대로 간단히 적어둔다.

업그레이드는 $ sudo do-release-upgrade -d 식으로 했다.
아직 14.04 -> 16.04 업그레이드가 정식으로 오픈되지 않은 상태이므로 -d 옵션을 줘야 했다.
운영중인 시스템에 이렇게 실험적인 업그레이드를 시도한 것은 btrfs snapshot 기능을 믿었기 때문이다.

btrfs snapshot을 이용한 안전한 do-release-upgrade 실험
    http://chanik.egloos.com/4099097

업그레이드는 위 글에 나온 식으로 @_16.04, @home_16.04 snapshot을 만들고
그 스냅샷으로 부팅한 상태에서 진행했다. 하다가 꼬이면 그냥 스냅샷을 날려버리고 원복할 생각이었다.

12.04 LTS -> 14.04 LTS 때와 달라진 점은 Ubuntu 16.04 LTS가 zfs를 커널 자체에서 지원하게 된 것이다.
14.04에서 http://zfsonlinux.org/ 리포로부터 설치해서 쓰던 zfs 모듈이 16.04에서는 커널 자체모듈로 대체되고,
zfsutils-linux 패키지도 http://zfsonlinux.org/ 리포의 것이 아닌, 우분투 자체 리포의 것을 써야 했다.

업그레이드 전에는 http://zfsonlinux.org/ 리포를 꺼야 했고,
업그레이드 뒤에는 자동으로 zfs 볼륨이 올라오지 않는 현상 때문에 아래와 같이
zfsutils-linux 패키지를 자체 리포의 것으로 교체해야 했다.

ZFS Pools not mounted 16.04
    http://askubuntu.com/questions/768179/zfs-pools-not-mounted-16-04



그리고, remove 할 때 zfs-auto-snapshot 패키지도 함께 사라져서 아래와 같이 다시 설치했다.



그냥 설치했다가 "/bin/sh: 1: zfs-auto-snapshot: not found" 오류를 겪고 나서,
make install 전에 etc/zfs-auto-snapshot.cron.frequent 스크립트를 아래와 같이 수정해야 했다.



12.04 LTS -> 14.04 LTS 때와 달라진 점 또 한 가지는,
16.04 LTS에서는 python 2를 없애버려도 된다는 것이다.
아래와 같이 했다.

Ubuntu 16.04 LTS 파이썬2 제거
    http://chanik.egloos.com/4112679


끝으로, PostgreSQL 버전이 9.3 -> 9.5로 바뀌었으므로 데이터를 새 버전으로 이전해야 했다.
지난 번 12.04 LTS -> 14.04 LTS 업그레이드때도 해야 했던 작업이었고 아래 글을 참조했다.

Upgrading PostgreSQL 9.1 to 9.3 in Ubuntu
    http://nixmash.com/postgresql/upgrading-postgresql-9-1-to-9-3-in-ubuntu/

위 글의 명령대로 하면 너무 느리기도 하고 중간에 오류도 생겨서, 아래와 같이 좀 수정된 명령을 썼다.
( 그리고, 내가 관리하는 DB는 테이블이 너무 많고 데이터도 많아서 변환중에 오류를 뿜었다.
 /etc/postgresql/9.3/main/postgresql.conf 을 임시로 수정해서
 max_locks_per_transaction = 640 정도로 임시설정하고 다시 변환해야 했다)


ㅇ "-m upgrade" means using pg_upgrade instead of pg_dump & pg_restore,
ㅇ "-k" means using hard links instead of file copying (so it can be used only if old DB and new DB is in the same partition). Manual page states that "-k" is merely passed to the pg_upgrade comand.

14.04 -> 16.04 로 do-release-upgrade -d 방식으로 업그레이드하면
python2와 python3가 공존하는 형태로 설치된다.

python2를 없애고 python3만 남겨 쓰기 위해 아래와 같이 했다.


https://wiki.ubuntu.com/XenialXerus/ReleaseNotes



http://askubuntu.com/questions/761106/how-to-remove-python-2-in-16-04


이 상태에서 python을 실행하면 조용히 python3가 실행되는 것이 아니고 무슨 헛소리가 나온다.
아래와 같이 해 줘야 비로소 python 명령으로 자연스럽게 python3을 실행할 수 있다.

https://linuxconfig.org/how-to-change-from-default-to-alternative-python-version-on-debian-linux

# update-alternatives --install /usr/bin/python python /usr/bin/python3.5 1

500GB 하드디스크 두 개에 Btrfs RAID1 볼륨으로 루트파일시스템이 설치되어 있는 상태인데
이 부트파티션을 다른 테스트PC로 간단히 복제해 쓰고 싶어서 했던 작업 기록.
작업 며칠 뒤에 편집하고 재구성한 것이라서 기록이 좀 미비하다.
설치되어 있던 배포판은 CentOS-7.

볼륨 구성은 아래와 같다.


sda1은 원래는 /boot 용도였지만 지금은 쓰지 않는 파티션.
sda2는 sdb1과 함께 Btrfs RAID1 볼륨. CentOS-7 설치된 상태.
sda3은 SWAP 파티션.



#
# 원본 Btrfs 파티션 마운트
#



#
# 각 서브볼륨에 대해 snapshot 을 작성하고, snapshot 들을 읽기전용으로 변경
# 읽기전용이 아니면 send 시도할때 오류가 생긴다.
#



#
# - 새 하드디스크 /dev/sdc 연결하고 파티션테이블 레이아웃 복제 (새 디스크도 500GB 짜리)
# - /dev/sdc3에 SWAP 파티션 생성
# - /dev/sdc2에 Btrfs 파일시스템 생성 (원본은 RAID1볼륨이지만 새 볼륨은 단일디스크 볼륨)
#



#
# 새로 만든 Btrfs 파티션을 마운트하고 마운트 디렉토리로 이동
#



#
# 원본 Btrfs 서브볼륨들에 대해 만들어둔 읽기전용 스냅샷을 하나씩 send 하고
# 새로 만든 Btrfs 파티션에서 receive.
#



#
# 이제 새 디스크의 새 Btrfs 파티션에 서브볼륨들이 복제된 상태다.
# 원본은 RAID1 볼륨이었으나 새 볼륨은 단일디스크 볼륨이며, 내용물은 동일한 상태가 된다.
# 각 서브볼륨 이름을 변경하고, 읽기전용 속성도 풀어준다.
#



#
# 새 볼륨의 boot/grub2/grub.cfg 파일 적당히 편집하고
# chroot해서 grub2-install 등도 해 준다.
# 이제 새 디스크에 부트파티션의 Btrfs 볼륨이 복제되었고 grub2도 설치되었으므로
# 새 PC로 가져가서 부팅용으로 쓰면 된다.
#
# 해보니 일단 부팅은 잘 되는데,
# 일부 패키지들의 실행파일 setuid 비트가 제대로 옮겨지지 않아서 자잘한 문제가 생겼다.
# 이를테면, hostnamectl로 기기명을 변경해도 재부팅하면 다시 원래대로 되돌아가버린다든지..
#
# 아래 명령으로 전체 패키지를 재설치시켜서 해결했다. 물론 시간이 좀 걸린다.
#

Asus P5QL-EM 보드에서 CentOS7을 잠시 돌려보면서 눈에 띈 점을 적어둔다.

P5QL-EM 보드에는 사우스브리지 ICH10에서 제공되는 SATA 3Gbps 포트 6개 말고도
Marvell 88SE6121콘트롤러를통해제공되는eSATA 3Gbps 포트 1개 및 PATA 포트 한 개가 더 있다.

이 콘트롤러에는 두 가지 드라이버 중 하나를 골라 쓸 수 있다.
하나는 pata_marvell, 또하나는 ahci.

pata_marvell은 SATA 및 PATA 포트 모두를 쓰게 해 주지만 eSATA hot plug 기능이 안 된다.
ahci를 쓰게 되면 eSATA hot plug가 가능해지지만(직접 확인하지는 않음) PATA 포트를 지원하지 않는다.

기본상태로는 88SE6121 드라이버로 pata_marvell 모듈이 쓰이게 된다.
ahci 모듈을 쓰려면 ahci.marvell_enable=1 커널 옵션을 주어야 하며,
/etc/default/grub 파일에 아래와 같이 추가하면 된다.



ahci 드라이버를 쓰면 아래와 같은 메시지가 나온다.



[참고] Linux에서의 88SE6121 SATA 포트 특징.
          (pata_marvell, ahci 뭘 쓰든 마찬가지로 나온다)

  - SATA 3.0Gbps
  - NCQ 미지원
  - PMP 미지원

[참고2] Linux IDE (PATA) driver problem workaround for Marvell 88SE6111, 88SE6121, 88SE6145
    https://en.wikipedia.org/wiki/List_of_Marvell_Technology_Group_chipsets#Linux_IDE_.28PATA.29_driver_problem_workaround_for_Marvell_88SE6111.2C_88SE6121.2C_88SE6145

IPMSB 보드를 쓴 PC가 몇 대 있느데,
그 가운데 한 놈에 바이오스 업데이트를 하다가 실수로 엉뚱한 버전을 입혀서
PC가 화면도 안 나오는 상태로 죽어버렸다.
이미지 크기가 안 맞는다는 둥 하는 경고 메시지가 나왔는데 그걸 무시한 것이 화근이었다.

세계적으로 많이 쓰이는 OEM 보드인 것 같은데,
인터넷을 뒤져도 별다른 해결방법이 나오지 않았고
국내수입사 홈페이지 FAQ를 보니 아래와 같은 안내가 나왔다.


보드를 분해해서 고객센터로 가려다,
문득 옛날에 쓰던 플래시칩 교체방법이 생각나서 간단히 해결할 수 있었다.

이 방법은 동일모델의 보드가 하나 더 있고 플래시칩에 소켓형식으로 분리가 가능할 때만 쓸 수 있는 방법이다.
보드를 살펴보니 플래시칩처럼 생긴 칩이 보였다.



대충 알아볼 수 있는 "winbond 250328" 로 검색해보니 다행히도 플래시칩이 맞았다.
아래와 같이 했다.




그냥 디스켓이나 CD/DVD 갈아끼우는 기분으로 하면 된다.
다만, 동작중인 보드 표면 가까이에서 하는 작업이므로 혹시라도 플래시칩의 핀이나
(제거를 위해 사용할 수 있는) 드라이버 등의 금속 공구가 보드 패턴이나 각종 칩의 다리를 건드려
합선시키는 일이 생기지 않도록 긴장감은 유지해야 한다.


이런 동작이 가능한 이유는,
플래시칩에 전원이 공급되는 것은 아래의 두 경우 뿐이기 때문일 것이다.

  ㅇ 부팅초기에 칩에서 바이오스를 읽어들일 때 ==> 읽기 동작만 일어날 것이다
  ㅇ 바이오스 업데이트할 때 ==> 읽기와 쓰기가 모두 일어나는 경우가 많다

일단 POST 단계를 지나고 OS 부트로더로 제어가 넘어가고 나면
더이상 플래시칩에 전원이 제공되지 않으므로
동작중인 보드에서 플래시칩을 교체하는 일이 가능해지는 것이다.

( Windows 동작중에 바이오스 플래싱을 지원하는 프로그램이 제공되는 경우도 많은데,
  이 경우엔 플래싱이 일어나는 동안에만 칩에 전원이 제공되는 것이라 보면 될 것이다 )

사실 오래전부터 흔히 알려져 있는 방법인데,
요즘은 플래시칩이 소켓 형태로 분리되지 않고 납땜되어 있는 경우가 많아서
모든 보드에 적용하기는 어렵다.

pgAdmin 사용중 DB 접속할 때마다 자꾸만 팝업 안내창이 뜨길래
PostgreSQL adminpack extention을 설치했다.


주의: 모든 db에 대해 CREATE EXTENSION adminpack; 실행해야 한다고 함.
     그렇게 해줘야 pgAdmin III 에서 DB접속시 경고가 사라진다.


Ubuntu 14.04, Postgresql-9.3 에서도 아래와 같이 비슷하게 하면 됨.




그런데, CentOS5의 postgresql84 에서는 아래와 같이 좀 달랐음.

- Setting Up pgAdmin Server Instrumentation
    http://www.gistutor.com/postgresqlpostgis/6-advanced-postgresqlpostgis-tutorials/32-setting-up-pgadmin-server-instrumentation.html

- An almost idiot's guide to Install and Upgrade to PostgreSQL 8.4 with Yum
    http://www.postgresonline.com/journal/archives/144-An-almost-idiots-guide-to-Install-and-Upgrade-to-PostgreSQL-8.4-with-Yum.html

[1] 특징 간단 정리

ㅇ X48 칩셋 + ICH9R
ㅇ 노스브리지와 사우스브리지는 DMI로 연결되어 있다 (1GB/s full duplex)
ㅇ X48
    * PCIe 2.0 x16 포트 두 개 지원
ㅇ ICH9R
    * VT-d 지원
    * PCIe 1.1 포트 6개 지원
       - Ports 1-4 can be statically configured as 4x1, or 1x4
          ( 보드상의 x1 슬롯과 x16 슬롯 (동작은 x1 or x4)에 쓰이는 듯 )
       - Ports 5 and 6 can only be usedas two x1 ports
          ( JMB363과 Marvel 88E8056 NIC가 하나씩 쓰고 있는 듯 )

ㅇ SATA 3Gbps * 6 : ICH9R
ㅇ eSATA 3Gbps * 2 : JMB363


[2] AzureWave AW-NA830 - ASUS P5E3 Premium WiFi-AP 보드의 WiFi 어댑터 (USB)

AzureWave AW-NA830
    https://wikidevi.com/wiki/AzureWave_AW-NA830
    (참고: https://wikidevi.com/wiki/AzureWave_Wireless_Adapters )

802-11bgn 지원.
두 개의 RP-SMA 커넥터를 쓴다.
Ralink의 RT2770 / RT2720 두 개의 칩을 쓴다(?)



비표준 커넥터를 통해 메인보드에 USB 연결되어 있다.
( http://www.techspot.com/articles-info/89/images/Image_16.jpg )
( http://www.phoronix.com/image-viewer.php?id=asus_p5e3_premium&image=asus_p5e3p_wifi_lrg )

루트파일시스템으로 Btrfs를 사용하는 경우, 스냅샷 기능을 이용하면
시스템 안정성에 다소 위험이 있는 시도를 마음편하게 할 수 있다.

잘 동작하는 상태의 스냅샷을 떠 두고 실험하거나
실험용 스냅샷을 떠서 그 스냅샷으로 임시부팅하여 실험하는 방식 등을 쓰면 된다.

나는 Ubuntu 12.04에서 14.04로 업그레이드를 해 보고 싶은 상황이었는데,
업그레이드중 시스템이 이도 저도 아닌 상태로 꼬이는 일이 염려되어
12.04 버전의 스냅샷과 14.04 업그레이드용 스냅샷 등을 만들고
각 스냅샷으로 부팅할 수 있게 해 둔 상태로 업그레이드를 하기로 했다.

기록이 산만하고 불완전하다.

------

원래 서브볼륨 @가 루트파티션, 서브볼륨 @home이 /home 파티션으로 설정되어 있었는데,
업그레이드 전/후 등 용도별로 사용할 여러 개의 스냅샷들을 만들었다.



이제 새로 만든 스냅샷들로 부팅할 수 있게 grub 설정 및 설치한다.
아래와 같이 하면 오류가 생겼음. 알아둘것.



아래와 같이 하면 잘 되었다.
먼저 /dev/sdg 로 부팅할 경우 14.04로 부팅되도록 설정.



그리고, /dev/sdh 로 부팅할 경우 12.04로 부팅되도록 함.



여기까지 해 두면, 재부팅시 @_14.04로 부팅하게 된다.
여기서 sudo do-release-upgrade 해보다가 실패하면 /dev/sdh로 부팅하여 @_12.04를 띄울 수도 있고,
스냅샷을 이용해 업그레이드 시도 전 시점으로 되돌아가는 등 다양한 작업이 가능하다.

일단 @_14.04로 부팅한 상태에서 아래와 같이 기존의 @, @home의 이름을 바꿔두었다.
나중에 업그레이드가 성공하면 나면 @_orig, @_12.04, @_12.04_20151104_083500 등은 없애도 될 것이다.
(sudo btrfs subvolume delete a/@_orig 식으로 하면 됨)