Inode

13 Jan 2023

在看 Hands-On System Programming with Go 的時候看到 inode 這個詞，所以看了一下相關的資料並整理成筆記。

資料來源

inode 是什麼？

檔案儲存在硬碟上，硬碟的最小儲存單位叫做扇區（Sector）。每個扇區儲存512位元組（相當於0.5KB）。

作業系統讀取硬碟的時候，不會一個個扇區地讀取，這樣效率太低，而是一次性連續讀取多個扇區，即一次性讀取一個”塊”（block）。這種由多個扇區組成的”塊”，是檔案存取的最小單位。”塊”的大小，最常見的是4KB，即連續八個 sector組成一個 block。

檔案資料都儲存在”塊”中，那麼很顯然，我們還必須找到一個地方儲存檔案的元資訊，比如檔案的建立者、檔案的建立日期、檔案的大小等等。這種儲存檔案元資訊的區域就叫做inode，中文譯名為”索引節點”。

inode 的內容？

檔案的位元組數
檔案擁有者的User ID
檔案的Group ID
檔案的讀、寫、執行許可權
檔案的時間戳，共有三個：ctime指inode上一次變動的時間，mtime指檔案內容上一次變動的時間，atime指檔案上一次開啟的時間。
連結數，即有多少檔名指向這個inode
檔案資料block的位置 沒有紀錄檔名！

用 stat 指令得到某檔案的 inode 資訊，在 mac 的話，加上 -x flag 獲得人類可讀的標題：

stat -x ad,txt

#  File: "ad.txt"
#  Size: 546          FileType: Regular File
#  Mode: (0644/-rw-r--r--)         Uid: (  501/  weilun)  Gid: (   20/   staff)
#Device: 1,7   Inode: 84952848    Links: 1
#Access: Thu Dec 29 16:26:04 2022
#Modify: Fri Dec 23 01:35:13 2022
#Change: Fri Dec 23 01:35:13 2022
# Birth: Thu Dec 15 16:35:29 2022

inode 的大小

inode也會消耗硬碟空間，所以硬碟格式化的時候，作業系統自動將硬碟分成兩個區域 :

資料區，存放檔案資料
inode區（inode table），存放inode所包含的資訊。

每個inode節點的大小，一般是128位元組或256位元組。inode節點的總數，在格式化時就給定，一般是每1KB或每2KB就設定一個inode。

用下面指令可以檢視每個硬碟分割槽的inode總數和已經使用的數量

df -i

由於每個檔案都必須有一個inode，因此有可能發生inode已經用光，但是硬碟還未存滿的情況。這時，就無法在硬碟上建立新檔案。

inode 號碼

每個inode都有一個號碼，作業系統用inode號碼來識別不同的檔案(而不是檔名)。

使用者通過檔名，開啟檔案。實際上經過了三步驟：

系統找到這個檔名對應的inode號碼
通過inode號碼，獲取inode資訊
找到檔案資料所在的block，讀出資料

用 ls -i 下面指令可以看到某檔案對應的 inode 號碼：

ls -i ad.txt 
# 84952848 ad.txt

目錄檔案

Unix/Linux系統中，目錄（directory）也是一種檔案。開啟目錄，實際上就是開啟目錄檔案。

目錄檔案的結構非常簡單，就是一系列目錄項（dirent）的列表。每個目錄項，由兩部分組成：

所包含檔案的檔名
該檔名對應的inode號碼

如果用 ls -l 資料夾 查看某資料夾的權限，會發現大家都有執行許可權（x，這是因為目錄檔案內只有檔案檔名和inode號碼，其他資訊都儲存在inode節點中，而讀取inode節點內的資訊會需要目錄檔案的執行許可權（x）。

硬連結

一般來說，檔名和 inode 是一對一的關係，但是在 Unix/Linux 系統也允許多個檔名指向同一個 inode 號碼。這意味著，可以用不同的檔名訪問同樣的內容；而對檔案內容進行修改，會影響到所有檔名；但是，刪除一個檔名，不影響另一個檔名的訪問。這種情況就被稱為”硬連結”（hard link）。

下面用 ln 原始檔目標檔案 命令對 test.txt 建立了硬連結，新建立的檔案叫做 hardlink.txt

ln test.txt hardlink.txt     

ls -li    
# total 16
# 86719851 -rw-r--r--  2 weilun  staff  15  1 13 13:52 hardlink.txt
# 86719851 -rw-r--r--  2 weilun  staff  15  1 13 13:52 test.txt

可以發現兩者的 inode 號碼相同！用戶名前面的那個 2 代表指向該inode的檔名總數，又稱作連結數，若是這個數字歸零，系統就會回收這個 inode 號碼。

如果對 hardlink.txt 內容作修改，使用 cat 指令將 test.txt 內容印出來，會發現內容也改變了！
刪除 test.txt，會發現 hardlink.txt 還好好的

目錄檔案的”連結數”。建立目錄時，預設會生成兩個目錄項：”.”和”..”。
前者的inode號碼就是當前目錄的inode號碼，等同於當前目錄的”硬連結”；後者的inode號碼就是當前目錄的父目錄的inode號碼，等同於父目錄的”硬連結”。
所以，任何一個目錄的”硬連結”總數，總是等於2加上它的子目錄總數（含隱藏目錄）。

軟連結

另一種情況，檔案A和檔案B的inode號碼雖然不一樣，但是檔案A的內容是檔案B的路徑。讀取檔案A時，系統會自動將訪問者導向檔案B。

因此，無論開啟哪一個檔案，最終讀取的都是檔案B。這時，檔案A就稱為檔案B的”軟連結”（soft link）或者”符號連結（symbolic link）。

可以用 ln -s 源文檔案或目錄目標檔案或目錄 命令建立軟連結

檔案A依賴於檔案B存在，如果刪除檔案B，開起檔案A會報錯
檔案A指向檔案B的檔名，而不是檔案B的inode號碼，檔案B的inode”連結數”不會因此發生變化。

ln -s test.txt softlink.txt   

ls -li 
# total 8
# 86720722 lrwxr-xr-x  1 weilun  staff   8  1 13 14:04 softlink.txt -> test.txt
# 86719851 -rw-r--r--  1 weilun  staff  24  1 13 14:00 test.txt

inode 的特殊用途

有時，檔名包含特殊字元，無法正常刪除。這時，直接刪除inode節點，就能起到刪除檔案的作用。
移動檔案或重新命名檔案，只是改變檔名，不影響inode號碼。
開啟一個檔案以後，系統就以inode號碼來識別這個檔案，不再考慮檔名。因此，通常來說，系統無法從inode號碼得知檔名。

第3點使得軟體更新變得簡單，可以在不關閉軟體的情況下進行更新，不需要重啟。因為系統通過inode號碼，識別執行中的檔案，不通過檔名。

更新的時候，新版檔案以同樣的檔名，生成一個新的inode，不會影響到執行中的檔案。等到下一次執行這個軟體的時候，檔名就自動指向新版檔案，舊版檔案的inode則被回收。

Vim - 跳到某行的開始/最後

12 Jan 2023

^ 跳到句子開始，保持 command mode
I 跳到句子開始，切換到 insert mode
$ 跳到句子最後，保持 command mode
A 跳到句子最後，切換到 insert mode
跳到某個想搜尋的字 :
```
  / [type the word you want to find]
```
enter 後按 n可以跳到下一個字 (用 :noh 可以取消 highlight)

Read, Write, Execute

11 Jan 2023

Owner, Group, Other 對檔案/資料夾的 write, read, execute 三個動作分別具有不同的權限。

權限通常有兩種表示方法，第一種方式是用三個 octal number 作為權限的表示，第一個數字是 read 權限，第二個數字是 write 權限，第三個數字是 execute 權限；第二種方法是直接用 rwx 來表示。以下舉例：

0 or —: No permissions
1 or –x: Execute permission (execute a file or navigate to a directory)
2 or -w-: Write permission (write a file or add new files in a directory)
3 or -wx: Write and execute
4 or r–: Read permission (read a file or list the contents of a directory)
5 or r-x: Read and execute
6 or rw-: Read and write
7 or rwx: Read, write, and execute

Owner, Group, Other 對一個檔案的權限，就用三個 octal number 或三組 rwx 表示：

777: Everyone can read, write, and execute.
700: Owner can read, write, and execute.
664: Owner and group can read and write.
640: Owner can read and write and group can read.
755: Owner can read, write, and execute, while group and others can read and execute.

可以用 ls -l 或 ll 來瀏覽目前目錄底下檔案／資料夾的權限設置。

會發現下面除了三組 rwx，有些檔案前面還有一個 d，這種 1333 的形式分別代表：檔案屬性/ owner 擁有者權限 / group 同群組使用者權限 / other 其他人權限。而 d 代表該檔案是個目錄。

有些檔案除了 1333，後面還有一個 @，這代表該檔案是 extended attributes。

Variadic Functions

30 Dec 2022

Variadic Functions，可變參數函數，讓函數參數數量可是未定義，可能是一個或多個，也可能是零個。 fmt.Println 就是 Go 常見的 Variadic Functions。

以加總函數 sum 為例，可以有下面兩種寫法：

package main

import "fmt"

// Variadic Functions
func sum(nums ...int) {
	fmt.Println("nums: ", nums)
	total := 0

	for _, n := range nums {
		total += n
	}
	fmt.Println("sum: ", total)
}

// 傳入陣列
func sum2(nums []int) {
	fmt.Println("nums: ", nums)
	total := 0

	for _, n := range nums {
		total += n
	}
	fmt.Println("sum: ", total)
}

func main() {
	arr := []int{1, 3, 5, 7, 9}
	sum(arr...)
	sum2(arr)
}

玩一玩 Protocol Buffer

28 Dec 2022

建立資料夾、進入資料夾、初始化

mkdir hello

cd hello

go mod init example

建立放 proto 檔案的資料夾、建立 .proto

mkdir person

cd person 

touch person.proto

在person.proto 貼上以下程式碼

syntax = "proto3"; // 3 代表版本

option go_package = "example/person";
package person;

message Person {
    string name = 1; // 有型別，和JSON不同，所以編譯器才能自動產生很多不同語言的版本
}

執行：

protoc *.proto --go_out=plugins=grpc:. --go_opt=paths=source_relative

回到根目錄並建立 main.go

cd ..

touch main.go

在main.go 貼上以下程式碼

package main

import (
	"fmt"
	"io/ioutil"
	"log"

	pb "example/person"

	proto "github.com/golang/protobuf/proto"
)

func main() {
  person := &pb.Person{Name: "XXX"}
	fmt.Printf("Person's name is %s\n", person.GetName())

	//把 person object 寫到檔案 person.bin(人類不可讀)
	out, err := proto.Marshal(person)
	if err != nil {
		log.Fatalf("Serialization error: %s", err.Error())
	}
	if err := ioutil.WriteFile("person.bin", out, 0644); err != nil {
		log.Fatalf("Write File Error: %s ", err.Error())
	}
	fmt.Println("Write Success")

	//讀檔然後印出來
	in, err := ioutil.ReadFile("person.bin")
	if err != nil {
		log.Fatalf("Read File Error: %s ", err.Error())
	}
	person2 := &pb.Person{}
	err2 := proto.Unmarshal(in, person2)
	if err2 != nil {
		log.Fatalf("DeSerialization error: %s", err.Error())
	}

	fmt.Println("Read Success")
	fmt.Printf("Person2's name is %s\n", person2.GetName())
}

下載需要的 package

go get -u github.com/golang/protobuf/proto

執行程式

go run main.go

參考資料

Protocol Buffers and Go: Getting started

Older Newer

Wei's