NLP Course documentation
章末小測試
章末小測試
1. 語言建模 Pipeline 的順序是什麼？
2. Transformer模型的輸出有多少個維度，每個維度分別是什麼？
3.下列哪一個是Subword標記(Tokenization)的例子（從分詞的顆粒度來劃分）？
4.什麼是模型的 Head 層？
5.什麼是AutoModel？
6.當將不同長度的序列批處理在一起時，需要進行哪些處理？
7.將 SoftMax激活函數應用於序列分類(Sequence Classification)模型的 logits 輸出有什麼意義？
8.大多數標記器(Tokenizer)的API以什麼方法為核心？
9.這個代碼示例中的 result 變量包含什麼？
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
result = tokenizer.tokenize("Hello!")10.下面的代碼有什麼錯誤嗎？
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
model = AutoModel.from_pretrained("gpt2")
encoded = tokenizer("Hey!", return_tensors="pt")
result = model(**encoded)