การติดตั้ง miniconda3
ขั้นตอนการติดตั้ง
1. ทำการ download ตัว installer ของ miniconda3 version ล่าสุด และทำการติดตั้งโดยระบุคำสั่งดังนี้
wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh
2. ดำเนินการตามขั้นตอนที่ปรากฏบนหน้าจอ โดยระบุ yes
และ กด Enter เพื่อยอมรับข้อตกลงการใช้งาน (license ของ miniconda)
3. ระบุ path ที่ต้องการติดตั้ง และกด Enter (สามารถเว้นว่างไว้และกด Enter โดยโปรแกรมจะถูกติดตั้งที่ $HOME/miniconda3)
หากต้องการใช้งานร่วมกันภายในโครงการ สามารถระบุ path ไปที่ project home ได้
4. ระบุ yes
และ กด Enter เพื่อให้ conda ทำการ setup ~/.bashrc โดยอัตโนมัติเพื่อ set ค่า environment ต่างๆ
5. ระบุคำสั่ง conda config --set auto_activate_base false
เพื่อตั้งค่าเริ่มต้นให้เข้า shell ปกติ (ถ้าข้ามขั้นตอนนี้ conda จะ auto activate ตัว base environment ทุกครั้งที่ login)
ตรวจสอบการติดตั้ง
1. ใช้คำสั่ง source ~/.bashrc
เพื่อตั้งค่า environment (สามารถ log-out จากนั้น log-in เข้ามาใหม่แทนขั้นตอนนี้ได้)
2. ทดลองเรียกคำสั่ง conda activate base
3. ทดลองเรียกคำสั่ง python -V
การสร้าง local conda environment
conda create --name myenv ถ้าไม่ระบุ python version จะเป็นตัวล่าสุด ถ้าต้องการ version อื่นสามารถระบุ version ตามหลังได้
conda create -n myenv python=3.7
conda activate myenv #เป็นการเข้าใช้งานสภาพแวดล้อมใหม่
pip install tensorflow==2.4.3 #ติดตั้ง tensorflow version 2.4.3 ถ้าไม่ระบุจะเป็น version ล่าสุด
pip install numpy #ติดตั้ง numby package
pip list #ตรวจสอบ package ที่มี
python -V #ตรวจสอบ python version
conda deactivate #เป็นการออกจากสภาพแวดล้อม myenv
ตัวอย่าง sbatch submit.sh
1. กรณี multithread โดยไม่ใช้ MPI
#!/bin/bash #SBATCH -p gpu # specific partition (compute, memory, gpu) #SBATCH -N 1 -c 40 # specific number of nodes and task per node #SBATCH -t 1:00:00 # job time limit #SBATCH -J testtest # job name #SBATCH -A thaisc # Specify Project account which will be received after Register ** If you do not specify in this section, the job will not be able to run. module purge # purge all module source $HOME/miniconda3/bin/activate myenv module load cuDNN python model_main_tf2.py --model_dir=models/ --pipeline_config_path=models/pipeline.config
2. กรณี multithread โดยใช้ MPI
สังเกตจากการที่ต้องระบุคำสั่ง mpirun (หรือเทียบเคียง) เวลาใช้งาน application นั้นๆ
#!/bin/bash #SBATCH -p gpu # specific partition (compute, memory, gpu) #SBATCH -N 1 -n 40 # specific number of nodes and task per node #SBATCH -t 1:00:00 # job time limit #SBATCH -J testtest # job name #SBATCH -A projxxx # Specify Project account which will be received after Register ** If you do not specify in this section, the job will not be able to run. module purge # purge all module source $HOME/miniconda3/bin/activate myenv module load cuDNN srun python my_model.py