Oracle 11G R2 RAC Kurulumu (scan-ip) (Real Apllication cluster)

Oracle 11G R2 RAC Kurulumu

Kurulumda kullanılacak yazılımlar

Oracle

http://www.oracle.com/technetwork/database/enterprise-edition/downloads/112010-linx8664soft-100572.html

linux.x64_11gR2_database

linux.x64_11gR2_grid

 

işletim sistemi linux (distros)

https://edelivery.oracle.com/EPD/Search/handle_go

işletim sisteminizle oracle sürümünüzün oracle tarafınfan sertifikalı olmazı lazım.
https://metalink.oracle.com -> certifications tabından arayarak bulabilirsiniz (siteye girmek için metalink hesabınız olması lazım, şirketiniz aracılığı ile edinebilirsiniz.). Sertifikalı işletim sistemi kullanmanız olmazsa olmaz bir şarttır. Hem devamlılık sorunları yaşayabilir hem de Oracle’dan destek alamazsınız.Üretim ortamında bu tür bir riski almak istemezseniz. Zamanında Türkiye bankalarından biri bu hataya düşmüştü, ciddi sorunlarla karşılamışlar.

 

SAN (open filer)

http://www.openfiler.com/community/download/

 

 

NAS

NIC-1 -> custom-vmnet1 (hostonly)

NIC-2 -> bridge

 

RAC1

NIC-1 -> custom-vmnet1 (hostonly)

NIC-2 -> bridge

 

RAC2

NIC-1 -> custom-vmnet1 (hostonly)

NIC-2 -> bridge

 

NAS

 

Oracle Kurulumdan sonra

 

RAC2 (Oracle kurulumundan önce)

 

Oracle kurulumundan sonra

 

OpenFiler Kurulumu (SAN)

http://www.openfiler.com/community/download/

 

Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu

 

 

 

 

 

Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu

 

 

 

Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu

 

Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu

 

Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu

 

Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu

 

Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu

 

Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu

 

Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu

 

Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu

 

https://10.0.0.10:446 accessible using the following log-on credentials: user : openfiler password : password

 

 

 

Diskleri RAC1 ve RAC2 sunucularının erişebilmesi için gerekli ayarları yapalım. (3 x 100GB ve 1 x 50GB )

 

Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu

 

Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu

 

Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu

 

Oracle 11G R2 RAC Kurulumu
Oracle 11G R2 RAC Kurulumu

RAC1 Kurulumu

Enterprise-R5-U6-Server-x86_64-dvd.iso dosyasından boot ederek kuruluma başlıyoruz.

 

RAC1 Kurulumu

RAC1 Kurulumu

 

RAC1 Kurulumu

 

RAC1 Kurulumu

 

RAC1 Kurulumu RAC1 Kurulumu

 

 

 

RAC1 KurulumuRAC1 Kurulumu

 

 

 

RAC1 KurulumuRAC1 Kurulumu

Yüklenecek paketler (sound, ofis, video vb. araçları yüklemiyoruz.)

 

Desktop Environments Gnome Desktop Environment
Applications Editors
Graphical Internet
Text-based Internet
Development Development Libraries
Development Tools
Legacy Software Development
Servers Server Configuration Tools
Base System Administration Tools
Base
Java
Legacy Software Support
System Tools
X Window System

 

RAC1 Kurulumu

 

RAC1 Kurulumu

 

RAC1 Kurulumu

 

RAC1 Kurulumu

 

RAC1 Kurulumu

 

Önce, kurulumu sağlıklı bir biçimde tamamayıp tüm servislerin çalıştığını gördükten sonra gerekli güvenlik önlemlerini almak daha mantıklı. Nekadar çok servis/yazılım/hizmet çalışırsa sorunun nedeninini bulmak o kadar zorlaşacaktır. (Örneğin firewall clientların Vt ye erişmesini engelleyebilir, biz de sorunu oracle servislerini ararsak zaman kaybederiz.)

RAC1 Kurulumu

 

RAC1 Kurulumu

 

RAC1 Kurulumu

 

RAC1 Kurulumu

 

RAC1 Kurulumu

(Biz kurulumda 60 GB disk alanı ayardık lakin üretim ortamında en azından 150-200GB ayırmakta fayda var 50-60GB lik dump dosyaları oluşturulabiliyor.)

Kurulumu tamamladık restart ettikten sonra root kullanıcısı ile sistemi açıp, RAC kurulumu için adım adım hazırlıyoruz.

Adım-1
vmware worstation da RAC1 sanal makinesine sağ click yapılıp install vmware tools seçilir. VM tool cd si otomatik olarak mount edilir. CD nin içine girilip (/media dizinin içinde)

 

 

 

tüm soruları enter ile geçerek VMware tool yüklenir.
Adım-2
Terminal de vmware-toolbox yazılıp entera basılarak açılan pencerede ntp deki kutucuk doldurulur.
/setup klasörü açılıp grid ve database in setup dosyaları kopyalanır

Adım-3
Gerekli RPM’leri yüklüyoruz

 

 

ASM için gerekli rpm paketlerini yüklüyoruz. ilk iki dosya cd nin içerisinde var 3. yü ise linkinden (http://download.oracle.com/otn_software/asmlib/oracleasmlib-2.0.4-1.el5.x86_64.rpm) indirebilirsiniz.

 

 

/grid/rpm klasöründen

 

 

 

Adım-4
Kullanıcı işlemleri

 

 

 

 

Adım-5
Ağ (Network) Ayarları
/etc/hosts içeriği

/etc/resolve.conf içeriği

 

 

Adım-6
Sistem ayarları
/etc/sysctl.conf dosyasına aşağıdaki satırlar eklenir aynı satır varsa güncellenir.

 

 

 

 

 

/etc/security/limits.conf

 

 

 

/etc/pam.d/login

 

 

 

Oracle Cluster Time Synchronization Service (ctssd) kullanılacağı için linux un ntp servisini iptal ediyoruz.

 

Adım-7
oracle kullanıcısının profiline aşağıdaki satırlar eklenir. (/home/oracle/.bash_profile)

 

Not : Veritabanını “/oracle”, gridi de “/oragrid” e kurursak oracle kullanıcısının ve root kullanıcısının “.bash_profile” dosyasına aşağıdaki satırlar eklenir.

oracle kullanıcısı için

 

 

 

root kullanıcısı için (grid in sahipliği root olduğundan dolayı)

Adım-8

iscsi yüklenip yüklenmediği kontrol edilir.

 

openfiler sistemde iscsi da LUN eklemek ve volume ları maplemek gerekiyor. Sonrasında gene “iscsi target” sekmesinde ki “Network ACL” den “ic_ag” a izin veriliyor.

İşletim sistemine disklerin tanıtılması eklenmesi

 

 

 

işletim sisteminin kapatılıp açılması sırasında aşağıdaki ibarenin görülmesi gerekir.

 

Rac_ISCSI_Acilis

 

işletim sistemi restart edince otomatik olarak diskleri görür (henüz formatlanmamış durumda)
Adım-9 (Bu adımı Grid kurulduktan sonra asmca grafik arayüzlü tool u ile de yapabilirsiniz.)
Disklerin ayarlanması (sırası ile n”, “p”, “1”, “w”)

Aynı işlemler sdc ve sdd diskleri için de yapılır.

 

Adım-10

Paylaşık disklerin ASM ortamında ayarlanması ve kernel modülünün yüklenmesi

Kernel modülünü yüklüyoruz

 

ASM diskleri oluşturmak için ISCSI ile oluşturduğumuz disklerin yolunu veriyoruz.

 

Diskleri tarıyoruz

 

#oracleasm scandisks

Reloading disk partitions: done

Cleaning any stale ASM disks…

Scanning system for ASM disks…

 

 

listeliyoruz

 

 

 

RAC1’in kurulumunu tamamladık RAC2’ye geçebiliriz.

RAC2 kurulumunda işimiz daha kolay, aslında RAC1’i klonlayıp bir iki ayarı değiştiriceğiz.

Adım-1
RAC1 sunucusunun shutdown -h now komutu ile kapatıyoruz.
İçindekileri RAC2 klasörüne kopyalıyoruz.

Adım-2
rac2 klasöründeki, rac1.vmx dosyasını text editor ile açıp
displayName = “RAC1” parametresini displayName = “RAC2” olarak değiştiriyoruz.

Adım-3
VMware yönetim panelinden ethernet kartlarının bağlantısını kesiyoruz.
sistemi açıp, hostname, ipleri ve profile bilgilerini değiştiriyoruz.

 

RAC1 Kurulumu
RAC1 Kurulumu

 

RAC1 Kurulumu

 

RAC Kurulumu
RAC Kurulumu

 

VMware de network kartının connected kutucuğunu doldurup sunucuyu restart edip. Diskleri görüp görmediğini ve tcp ip yapılandırmasının doğru olup olmadığını kontrol ediyoruz.

 

Adım-4
/home/oracle.bash_profile dosyasını

 

DNS kayıtlarını resimlerde görebilirsiniz. SCAN ip ler kurulumdan önce ping e cevap vermemeliler, kurulum sırasında oracle kendi ayarlayacak.

 

Oracle 11G R2 RAC Kurulumu

 

Oracle 11G R2 RAC Kurulumu

 

Oracle 11G R2 RAC Kurulumu

oracle kullanıcısı ile /setup/grid/runInstaller scripti çalıştırılarak kurulum başlatılır.
Grid Kurulumu

 

Grid Kurulumu

 

Grid Kurulumu

 

Grid Kurulumu

 

Grid Kurulumu

 

Grid Kurulumu Grid Kurulumu

 

Grid Kurulumu

 

Grid Kurulumu

 

Grid Kurulumu

 

Grid Kurulumu

 

Grid Kurulumu

 

Grid Kurulumu

 

Grid Kurulumu

 

Grid Kurulumu

 

Grid Kurulumu Grid Kurulumu

 

Grid Kurulumu

Grid Kurulumu

oracle kullanıcısı ile /setup/database/runInstaller scripti çalıştırılarak kurulum başlatılır.

 

 

 

 

 

 

 

 

 

 

 

 

 

*******************************************************
cd /u01/app/11.2.0/grid/bin dizininde aşağıdaki uygulamalar ile RAC ın sağlıklı kurulup kurulmadığı test edilebilir.

srvctl config scan

srvctl config scan_listener

srvctl config database -d instance_ismi

srvctl status database -d instance_ismi

crsctl check crs

crsctl stat res -t

crsctl stat res -t init

crs_stat -t

srvctl status asm

srvctl config asm -n node_name

crsctl status serverpool

crsctl status resource

crsctl check cluster -all

crsctl query css votedisk

cluvfy comp clocksync -n all -verbose

cluvfy comp clocksync

 

 

Loglar

 

 

tail -1000f /u01/11.2.0/grid/log/$HOSTNAME/ohasd/ohasd.log

tail -1000f /u01/11.2.0/grid/log/$HOSTNAME/alert$HOSTNAME.log

tail -1000f /u01/11.2.0/grid/log/$HOSTNAME/agent/ohasd/oraagent_grid/oraagent_grid.log

tail -1000f /u01/11.2.0/grid/log/$HOSTNAME/crsd/crsd.log

tail -1000f /u01/11.2.0/grid/log/$HOSTNAME/agent/ohasd/orarootagent_root/orarootagent_root.log

tail -1000f /u01/11.2.0/grid/log/$HOSTNAME/cssd/ocssd.log

tail -2000f /u01/11.2.0/grid/log/$HOSTNAME/gpnpd/gpnpd.log

 

 

 

 

 

 

 

 

 

Connecting

 

Bağlanalım

işletim sistemi : win7 x64
oracle client : 11.2.0.1.0

tnsnames.ora

 

 

 

alınan hata

 

Çözüm – 1
“C:\Windows\System32\drivers\etc” dizinindeki hosts dosyasına

 

 

 

public ethernet kartının tcp/ip özelliklerinden advanced ->DNS-> Append these DNS suffixes (in order)
alan adınız yazılır (sysdba.org).

 

*******************************************************

RAM ayarları

 

 

alter system set memory_target=20G scope=spfile sid=’*’;

alter system set sga_max_size=0 scope=spfile sid=’*’;

alter system set sga_target=0 scope=spfile sid=’*’;

alter system set pga_aggregate_target=0 scope=spfile sid=’*’;

 

 

*******************************************************

voting diskler OCR_VOTE asm disk grubunda bunlari OCR_VOT disk grubuna tasiyacagiz

## STATE File Universal Id File Name Disk group

— —– —————– ——— ———

1. ONLINE 116eee3911a94fd4bfdc32072f5178c5 (/dev/ASM/OCR_VOTE01) [OCR_VOTE]

2. ONLINE 2e7b89d8e3bf4ffcbf079de552f7e828 (/dev/ASM/OCR_VOTE02) [OCR_VOTE]

3. ONLINE 8e0516586f604f04bf73f2ee9be47925 (/dev/ASM/OCR_VOTE03) [OCR_VOTE]

Located 3 voting disk(s).

 

 

 

 

 

 

 

 

grid aler log daki bilgilerden faydali bisiyler cikmadi asm nin logunu inceledigimizde

 

trc deki hata

 

 

 

OCR_VOT un versiyonunu kontrol edelim

 

10.1.0.0.0 da kalmis bunu diger disk gruplari ile ayni yapalim.

grid kullanicisi ile

 

ALTER DISKGROUP OCR_VOT SET ATTRIBUTE ‘compatible.asm’ = ‘11.2’;

 

 

Kontrol edelim;

select inst_id, name, state, type, free_mb, substr(compatibility,1,10) compatibility from gv$asm_diskgroup where name=’OCR_VOT’ order by name,inst_id;

INST_ID NAME STATE TYPE FREE_MB COMPATIBIL

———- —————————— ———– —— ———- ———-

1 OCR_VOT MOUNTED NORMAL 2784 11.2.0.0.0

2 OCR_VOT MOUNTED NORMAL 2784 11.2.0.0.0

 

 

Tekrar deneyelim

 

Successful addition of voting disk 32b87db627a24f8bbfd2ce9df33a2c85.

Successful addition of voting disk 45f34d59c03b4f4dbfb924a06451f105.

Successful addition of voting disk 97d43d268c334f83bf8e757c0d869606.

Successful deletion of voting disk 116eee3911a94fd4bfdc32072f5178c5.

Successful deletion of voting disk 2e7b89d8e3bf4ffcbf079de552f7e828.

Successful deletion of voting disk 8e0516586f604f04bf73f2ee9be47925.

Successfully replaced voting disk group with +OCR_VOT.

CRS-4266: Voting file(s) successfully replaced

 

 

Kontrol edelim;

 

 

 

 

 

 

 

 

********************************

<tab=Services>

srvctl add service

-d my_db_name

-s my_service_name

-r my_active_instance

-a my_passive_instance

-P BASIC

-e SELECT

-y AUTOMATIC

-z 180

-w 5

 

 

 

 

Oracle_home i sahibi kullanici ile “oracle”
node_1 de calisacak sorun olursa node_2 de calisacak (instance ismi fugu , node_1=fugu1 , node_2=fugu2 )

 

 

rvctl start service -d fugu -s fugu_service

 

 

Bilgi almak icin;

 

srvctl config service -d fugu -s fugu_service

 

 

Client tnsnames.ora nin guncellemesi lazim

 

(DESCRIPTION =

(ADDRESS = (PROTOCOL = TCP)(HOST = raca-scan.sysdba.org)(PORT = 1521))

(CONNECT_DATA =

(SERVER = DEDICATED)

(SERVICE_NAME = fugu_service)

)

)

 

 

 

 

 

 

NAME TYPE VALUE

———————————— ———– ——————————

db_file_name_convert string

db_name string fugu

db_unique_name string fugu

global_names boolean FALSE

instance_name string fugu1

lock_name_space string

log_file_name_convert string

processor_group_name string

service_names string fugu_service

 

 

fugu servisini listener da gormek lazim

 

 

 

************************

ora.dba02.vip FAILED OVER

 

 

1-OS Watcher Black Box User Guide (Doc ID 301137.1)

2-RAC and Oracle Clusterware Best Practices and Starter Kit (Platform Independent) (Doc ID 810394.1)

3-RACcheck – RAC Configuration Audit Tool [ID 1268927.1]

4-Top 11 Things to do NOW to Stabilize your RAC Cluster Environment [ID 1344678.1] To BottomTo Bottom

5-RAC and Oracle Clusterware Best Practices and Starter Kit (Solaris) (Doc ID 811280.1)

6-Grid Infrastructure Redundant Interconnect and ora.cluster_interconnect.haip (Doc ID 1210883.1)

7-The Basics of IPv4 Subnet and Oracle Clusterware (Doc ID 1386709.1)

8-Frequently Node Reboots, There Is Nothing In The Logs (Doc ID 437420.1)

9-CRS Diagnostic Data Gathering: A Summary of Common tools and their Usage (Doc ID 783456.1)

 

***********************************************************************************