TAIDE-LX-7B 測試

了解臺灣文化的大語言模型 TAIDE-LX-7B 今天開源囉，本篇文章是快速測試TAIDE-LX-7B的使用，以及對臺灣的了解。

taide/TAIDE-LX-7B-Chat · Hugging Face

要使用TAIDE-LX-7B前, 記得在huggingface上先獲得授權

在Colab上使用記得先登入

from huggingface_hub import notebook_login

notebook_login()

會產生下列界面

點擊 your Hugging Face tokens page

User Access Tokens 界面

如果已經有READ的token，可以直接複製token內容，否則點擊 New token，產生token後再複製token內容

產製Read token

將token填入文字框內，點擊 Login 即可

輸入token

如果成功登入會看到以下訊息

完成上述步驟後，可執行下列程式碼即可

from transformers import pipeline
import torch

pipe = pipeline("text-generation", 
                model="taide/TAIDE-LX-7B-Chat", 
                torch_dtype=torch.bfloat16, 
                device_map="auto", 
                return_full_text=False)

messages = [
   {"role": "user", "content": "我想知道，王世堅是誰？"},
]

prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
res = pipe(prompt, max_new_tokens=200, do_sample=True, top_k=50, top_p=0.9)[0]["generated_text"]
print(res)

可得到以下回覆

第一次回覆

王世堅，原籍浙江省湖州市吳興區，是中國現代著名教育家、哲學家、社會學家，也是新儒家的代表人物之一。他曾就讀於湖南大學、武漢大學，1956年獲美國哥倫比亞大學哲學博士學位。王世堅在教學、研究和政治活動中都取得了顯著成就，主要貢獻在於將西方哲學、尤其是馬克思主義思想與中國傳統文化相融合，創立了新儒家哲學體系。

王世堅曾擔任教於香港中文大學（1982-1994年），後來擔任過北京大學哲學系教授（1994-2001年）和臺灣中央研究院中國文本實驗室研究員（2002年至今）。他的主要著作有《新儒家哲學論集》、《儒家與現代文化》、《中國哲學史》、《儒家與西方

答案好像還是不符合預期Ｑ

Get CWChang’s stories in your inbox

Join Medium for free to get updates from this writer.

Remember me for faster sign in

再一次好像也是有問題，不過至少知道是政治人物了…

 王世堅是臺灣政治人物，出生於1952年。臺灣大學歷史學系畢業後，赴美深造，獲康乃爾大學城市及區域計畫研究所碩士學位。他在政壇上有著豐富的經驗，曾擔任立法委員、臺北市議員、中央研究院研究員等職。目前，他是民主進步黨的成員，並在立法院中屬於社會福利及衛生環境委員會。王世堅在臺灣政治領域上主要關注人權、環保、勞工權益等議題，對於推動社會進步具有貢獻。

雖然推出來的模型還是有幻覺問題，但是回覆中文的能力明顯比較好一點了，比起其他常見的 7B 模型，相對不容易用英文回應，但是現在的7B模型似乎還是有其侷限性，還是常常會有幻覺現象。