TinyStoriesAdv_92M
keywords: grade school level, large language model, small language model, tiny language model, super tiny language model, 小学生知识水平,大语言模型,小语言模型,迷你语言模型, llm, slm.
超迷你的玩具模型,只能讲中文,可以回答一些小学生的常识问题。幻觉严重。但是很有趣。 受到TinyStories、Phi2等论文的启发,使用了自己制作的全合成的数据库 https://huggingface.co./datasets/fzmnm/TinyStoriesAdv-zh
采用了类似Qwen的架构。
dim=640;n_layers=20;n_heads=10;n_kv_heads=2;max_seq_len=1024;embedding_weight_tying=True;
tokens_per_iteration=524288
dropout=0.1
warmup_iters=1000;stable_iters=9000
A100上7.5小时即可训练完毕。 这个是预训练版本,没有进行偏好微调。
用法:
from transformers import pipeline
generator = pipeline('text-generation', model='fzmnm/TinyStoriesAdv_92M')
story_prompt = "问:什么是鹦鹉?"
generated_story = generator(story_prompt, max_length=256, truncation=True)
print(generated_story[0]['generated_text'])
试玩:
temperature=0
cherry_picking=True
问:什么是鹦鹉?
答:鹦鹉是一种非常聪明的鸟类,它们的语言和声音非常特别。它们会用各种声音交流,比如模仿鸟叫声、使用手势和用力拍打。
问:什么是大象?
答:大象是一种非常大的动物,生活在北美洲的森林和草原。
问:谁是李白?
答:李白是唐代的一位诗人,他的诗歌以豪放、浪漫和浪漫著称。
问:什么是黑洞?
答:黑洞是一种看不见的物体,它们像是宇宙中的“大吸尘器”,不过它们的引力强大,所以它们看不见。
问:肚子疼怎么办
答:如果肚子疼,可以告诉爸爸妈妈或者医生,他们会帮忙处理的。
问:晚上睡不着怎么办?
答:晚上睡不着,小朋友们可以试试看看晚上是否能做一些有趣的事情,比如看书、画画或者玩游戏。
从前有个胖鹦鹉,胖得飞不动。
有一天,他看到一只大鸟,想和它打招呼。鸟儿说:“你好,胖胖!我可以和你打招呼吗?”胖胖的鹦鹉回答:“好的,我很乐意!”于是,它们成了朋友,一起玩耍。他们跑啊跳啊,玩得很开心。但是,一只大鸟看到了胖胖的鹦鹉,想要抓住它。鸟儿说:“不,胖胖!你不能和我们玩。”胖胖的鹦鹉很伤心,但它知道鸟儿必须听从。所以,胖胖的鹦鹉和鸟儿成为了朋友。他们一起玩,成为了最好的朋友。
从前有个小姑娘从来不洗脸。孔子说:“你要去学校,不能在草坪上玩。”小姑娘答应了,孔子带她去了草坪。小姑娘坐在石头上,孔子看着她。孔子问:“你为什么难过?”小姑娘叹了口气:“我生病了,我父亲不能让我照顾你。”孔子听了,心里很难过。第二天,小姑娘来到了草坪上,孔子请她摘花。她摘了花,小姑娘笑着说:“我会帮你。”小姑娘走进教堂,孔子问:“你怎么唱这个歌?”小姑娘低声说:“因为我妈妈病了。”孔子听了,心里很难过,他想知道她的心意。于是,他对小姑娘说:“你妈妈病了,我来看看。”小姑娘点点头,跟孔子来到一个大花园。她看到孔子,有很多花,美丽极了。她伸出手想要,孔子却说:“你不可以摘花,但你必须答应我。”小姑娘惊讶地说:“我答应你!”孔子笑着说:“你不需要别的,我知道怎么做。”小姑娘高兴地答应了。孔子又对小姑娘说:“你可以摘我的花,但只摘我自己。”小姑娘答应了。她摘下最美丽的玫瑰花,放在自己的口袋里带回家。孔子看着她走,心里感到很温暖。第二天,小姑娘又来了,孔子又说:“你要好好侍奉母亲,我要把你送到天上。”小姑娘害怕怕,但孔子坚定地说:“我不会的,我会照顾你的。”小姑娘害怕孔子,但还是答应了。她拿出美丽的玫瑰花,递给孔子。孔子接过花,感激地说:“你是我的骄傲。”第三天,小姑娘来拜见孔子。她穿着一身漂亮的衣服,头发有些乱,孔子却不喜欢她。“你怎么这么漂亮,难道不怕你吗?”孔子问。小姑娘心里很难过,泪水夺眶而出。孔子听见她的哭声,心里很不舒服,但他还是不敢过。“为什么要伤心?”孔子问。“我想要更美的心,像天一样纯洁的人。”小姑娘说。
- Downloads last month
- 19