思考をさせる方法について
#1
by
grapevine-AI
- opened
こんにちは
デモページで使い心地の良さに驚き、さっそくローカル環境での再現を試みました。しかし、llama.cppでの実行では、デモページのような整った思考をしてくれる様子はありません。
リポジトリのファイルを調べたところ、どうやら思考を促すような特殊なシステムプロンプトが必要なようですが、それをtokenizer.apply_chat_template()で取り出すことはできず、詳細まではわかりませんでした。
そこで、正しく思考をさせる手順について教えていただけますでしょうか。また、デモページでは思考と回答が自動的に分離されるようになっていましたが、それは一体どのような方法で実現しているのでしょうか。
ご回答いただければと思います。
デモでは
# 思考過程
# 最終回答
のようなフォーマットに従うようにシステムプロンプトに記述し、# 最終回答以降の部分をチャットの返答として表示しています。
また思考過程をマークダウンで記述する確率を上げるために、apply_chat_templateして作成したプロンプトの末尾（assistantのターンの冒頭）に# 思考過程\n ##を追記して、その続きからモデルに生成させています。