[Bug] output not consistent with different max_prefill_token_num for long context input on pytorch engine

[RunningLeon]

Checklist

• 1. I have searched related issues but cannot get the expected help.
• 2. The bug has not been fixed in the latest version.
• 3. Please note that if the bug-related issue you submitted lacks corresponding environment info and a minimal reproducible demo, it will be challenging for us to reproduce and resolve the issue, reducing the likelihood of receiving feedback.

Describe the bug

The outputs are not consistent with different max_prefill_token_num for long context input on pytorch engine.
It seems the model does not stop correctly for max_prefill_token_num <= 512

Reproduction

run script

# encoding=utf-8
from lmdeploy import pipeline, PytorchEngineConfig, GenerationConfig


prompts = "参考资料:\n# 毛泽东\n\n[máo zé dōng]\n\n伟大的无产阶级革命家\n\n毛泽东\n笔名子任。湖南湘潭人。中国人民的领袖，伟大的马克思主义者，伟大的无产阶级革命家\n、战略家、理论家，中国共产党、中国人民解放军和中华人民共和国的主要缔造者和领导人，马克思主义中国化的伟大开拓者，近代以来中国伟大的爱国者和民族英雄，中国共产党第一代中央领导集体的核心，领导中国人民彻底改变自己命运和国家面貌的一代伟人\n\n。\n1949至1976年，毛泽东担任中华人民共和国最高领导人。他对马克思列宁主义的发展、军事理论的贡献以及对共产党的理论贡献被称为毛泽东思想。  因毛泽东担任过的主要职务几乎全部称为主席，所以也被人们尊称为“毛主席”。\n毛泽东被视为现代世界历史中最重要的人物之一，《时代》杂志也将他评为20世纪最具影响100人之一。\n\n\n## 人物生平 毛泽东，1893年12月26日生于湖南韶山 一个农民家庭。 辛亥革命爆发后在起义的新军中当了半年兵。 1914-1918年，在湖南第一师范学校求学。 毕业前夕和蔡和森等组织革命团体新民学会。 五四运动前后接触和接受马克思主义，1920年11月，在湖南创建共产主义组织。 1921年7月，出席在上海召开的中国共产党第一次全国代表大会 ，后任中共湘区委员会书记，领导长沙、安源等地工人运动。 1923年6月，出席中国共产党第三次全国代表大会 ，被选为中央执行委员，参加中央领导工作。 1924年1月国共合作后，在国民党第一、第二次全国代表大会上都当选为候补中央执行委员，曾在广州任国民党中央宣传部代理部长，主编《政治周报》，主办第六届农民运动讲习所。 1926年11月，任中共中央农民运动委员会书记。\n抗日战争开始后，以他为首的中共中央坚持统一战线中的独立自主原则，努力发动群众，开展敌后游击战争，建立了许多大块的抗日根据地。 1938年10月，在中共扩大的六届六中全会上提出“马克思主义中国化”的指导原则。 在抗日战争时期，他发表《论持久战》、《〈共产党人〉发刊词》、《新民主主义论》等重要著作。 1942年2月，领导全党开展整风运动，纠正主观主义和宗派主义，使全党进一步掌握了马克思列宁主义的普遍真理和中国革命的具体实践相结合的基本方向，为夺取抗日战争和全国革命的胜利奠定了思想基础。 1943年3月，被选为中共中央政治局主席。 5月，领导根据地军民开展生产运动，度过了严重的经济困难。 1945年4-6月主持召开中国共产党第七次全国代表大会，作《论联合政府》的报告。 大会制定了放手发动群众，壮大人民力量，在中国共产党的领导下，打败日本侵略者，解放全国人民，建立一个新民主主义的中国的政治路线 。 毛泽东思想在这次大会上被确定为中共的指导思想。\n## 历史贡献\n\n一、毛泽东带领中国人民经过了长期的革命斗争，终于赢得民族独立和人民解放，创建了新中国。\n二、毛泽东带领中国人民走上了社会主义建设的道路\n。\n\n三、开创了人民当家作主的新时代，开始了实现社会主义民主的艰辛而曲折的探索。\n\n四、奠定了中国共产党的执政地位，对保持马克思主义政党的先进性和执政地位作了不懈的探索。\n\n五、奠定了新中国在国际上的大国地位，为开创独立自主的和平外交作了不懈的努力。\n\n## 人物评价\n\n毛泽东在他的晚年虽然犯了严重的错误，但是就他的一生来看，他对中国革命的不可争论的功绩远大于他的过失，他的功绩是第一位的，错误是第二位的，他仍然受到中国人民的崇敬。中国共产党在他逝世5年以后，对他的全部革命活动和革命思想以中央委员会决议的形式作出了全面的评价。毛泽东思想作为马克思主义在中国的发展，仍然是中国共产党的指导思想。\n\n## 大事年表\n\n### 1893-1910年\n\n1893年\n12月26日，诞生在湖南省湘潭县韶山冲一个农民家庭。\n1902年-1909年\n在家乡韶山六所私塾读书，接受中国传统的启蒙教育。\n1910年\n秋季，考入湖南湘乡县立东山高等小学堂读书。此期间受康有为、梁启超改良主义思想的影响。\n\n\n9月9日，湘赣边界秋收起义爆发。 在去江西铜鼓萧家祠第三团团部途经浏阳张家坊时，被团防局的清乡队抓住，押送途中机智脱险。 9月，秋收起义受挫后，率起义部队向罗霄山脉中段进军。 10月，到达江西宁冈县茅坪，开始创建井冈山革命根据地。 11月，遭到中共临时中央政治局错误指责，被撤销政治局候补委员职务。 1928年 4月，率部在江西宁冈县砻市同朱德、陈毅率领的南昌起义军余部和湘南起义农军会师。 5月，担任两支部队合编成的工农革命军 7月，在中国共产党第六次全国代表大会上被选为中央委员。 10月，为中共湘赣边界第二次代表大会起草决议案，提出“工农武装割据”的思想。 11月25日，代表中共红四军前委给中央写报告，总结井冈山工农武装割据的经验。 12月，主持制定井冈山《土地法》。 1929年\n1月，同朱德、陈毅率红四军主力向赣南、闽西进军，至1930年春赣南、闽西两块革命根据地初步形成。 4月，主持制定兴国《土地法》。 6月，出席在龙岩召开的中共红四军第七次代表大会，关于红军的任务、政治工作和军事工作等问题的正确意见未被接受，原由中共中央指定他担任的前委书记职务被改选他人担任。 会后，离开红四军主要领导岗位，到闽西休养并指导地方工作。 7月，指导召开中共闽西第一次代表大会。 9月，中共中央给红四军前委发出指示信，肯定了毛泽东关于红军的行动策略和建设一支坚强的人民革命军队的正确主张。 12月，在福建上杭县古田村主持召开中共红四军第九次代表大会，在会上作政治报告，并起草大会决议案（即古田会议决议）。 大会重新选举毛泽东担任前委书记。 1930年 1月，写《星星之火，可以燎原》一文，阐述关于农村包围城市、武装夺取政权的中国革命道路的理论。 5月，在江西寻乌作调查；同时撰写《反对本本主义》一文，提出“没有调查，没有发言权”。 8月，任红一方面军总政治委员和中共总前敌委员会书记。 9月，在中共六届三中全会上被选为政治局候补委员。 12月30日至次年1月3日，同朱德等指挥红一方面军粉碎国民党军第一次“围剿”。\n6月，同朱德指挥红一、红五军团从闽西回师赣南。 10月，在江西宁都召开的中共苏区中央局会议上，受到“左”倾错误领导的打击。 会后，被撤销红一方面军总政治委员职务，前往福建长汀养病。 1933年 1月下旬，中共临时中央政治局迁到中央革命根据地。 2月上旬，中共临时中央全面推行 “进攻路线”，清除毛泽东积极防御路线在中央根据地的影响，开展了所谓反“罗明路线”的斗争。 5月30日，同项英等发布中华苏维埃共和国临时中央政府《为国民党出卖平津宣言》。 6月1日，同项英等发布中华苏维埃共和国临时中央政府《关于查田运动的训令》。 8月，在瑞金召开的中央苏区南部十七县经济建设大会上作《粉碎五次“围剿”与苏维埃经济建设任务》的报告。 10月，写《怎样分析农村阶级》一文，成为划分农村阶级成分的标准。 11月，先后在兴国县长冈乡和上杭县才溪乡调查，写出《长冈乡调查》和《才溪乡调查》。\n12月15日至28日，主持召开中央工作会议，讨论制定《农村社会主义教育运动中目前提出的一些问题》 1965年 5月22日至29日，重上井冈山。 7月27日，会见从海外归来的原国民党政府代总统李宗仁和夫人。 11月初，批准发表《评新编历史剧〈海瑞罢官〉》一文，揭开“文化大革命”的序幕。 1966年 3月12日，致信刘少奇，提出“备战备荒为人民”。 3月底，错误地指责由彭真主持制定的文化革命五人小组《关于当前学术讨论的汇报提纲》。 5月7日，作出“五·七指示”，提出人民解放军“应该是一个大学校”，各行各业要以本业为主，“兼学别样”，“教育要革命”等。 5月16日，中共中央政治局扩大会议通过毛泽东主持制定的《中国共产党中央委员会通知》，对当时党和国家政治形势作了严重错误的估计。 8月1日至12日，主持召开中共八届十一中全会，通过《关于无产阶级文化大革命的决定》。\n### 早年岁月（1893-1922） 主条目：毛泽东早年生涯 韶山冲毛泽东同志故居，摄于2010年 1913年春的毛泽东 1893年12月26日，毛泽东生于湖南省湘潭县韶山冲（七都七甲韶山冲南岸上屋场 :1），字咏芝（后改润之） :9。 从6岁起，毛泽东就要拔草、放牛、拾粪、砍柴，识字后要帮忙记账 :10。 1936年毛泽东同埃德加·斯诺称父亲毛顺生晚年家庭经济相当于“富农”的地位； 1939年12月28日，毛泽民在苏联莫斯科应共产国际要求，代为兄长毛泽东写履历表：毛顺生“三十岁以前，专为耕种：三十岁后，耕种兼农村贩卖商业。 按中国苏维埃阶级分析，最后三年是富农。 ” :14 1911年春，毛泽东到长沙，考入湘乡驻省中学读书，首次看到中国同盟会《民立报》，知道孙中山和中国同盟会纲领、黄兴在广州领导反清武装起义和黄花岗七十二烈士事迹，开始拥护孙等革命党人\n#### 《湘江评论》及驱逐张敬尧\n毛泽东在长沙，1919年\n毛泽东经过无政府主义走上科学社会主义\n:59。毛泽东早期即开始革命活动，接受并传播马克思列宁主义\n:3813。\n1919年，毛泽东在长沙修业小学任历史教员\n:53。湖南学联创办《湘江评论》杂志，毛泽东为主编；毛泽东在《湘江评论》“创刊宣言”称：“各种改革，一言蔽之，‘由强权得自由’而已。各种对抗强权的根本主义，为‘平民主义’”\n:54-55。8月中旬，湖南督军张敬尧查禁《湘江评论》\n:57-58。\n\n1921年7月23日至8月初中国共产党第一次全国代表大会，参加会议之代表12人（毛泽东、何叔衡、董必武、陈潭秋、王尽美、邓恩铭、李达、李汉俊、张国焘、刘仁静、陈公博、周佛海），张国焘主持会议，毛泽东、周佛海记录，陈独秀、张国焘、李达组成中央局，陈独秀为中央局书记 :85。 会后，毛泽东任中国共产党湘区（包括江西安源）委员会书记，中国劳动组合书记部湖南分部主任和湖南省工团联合会总干事 :3813。### 壮年时期（1922-1949）\n\n8月28日，赵恒惕电令湘潭县团防局急速逮捕毛泽东 :116。 9月，国民政府主席汪精卫因政府事繁，不能兼理中国国民党中央宣传部长职事，于10月5日推荐毛泽东代理宣传部长 :103。 1926年3月19日，毛泽东任中国国民党中央农民部主办之农民运动讲习所所长 :118。 毛泽东主持广州农民运动讲习所（第六届），为党培养大批农民运动骨干 :3813。 根据整理党务案，5月25日毛泽东离开代理中国国民党中央宣传部长位置 :110。 11月，到上海任中共中央农民运动委员会书记 :3813。 1927年到武汉任全国农民协会总干事，主持中央农民运动讲习所 :3813。 1月4日起，毛泽东考察湘潭县、湘乡县、衡山县、醴陵县、长沙县，32天行700公里 :126。 提出依靠农民同盟军进行革命斗争之主张，揭露和批判陈独秀之右倾投降主义 :3813。 2月，毛泽东写成《湖南农民运动考察报告》，2万多字 :127-128。\n毛泽东提议中国国民党中央农民部，农讲所改称中央农民运动讲习所； 3月7日开课，学员来自17个省739人； 每个学员发一支汉阳造七九式步枪，规定每天训练两小时，每周野外军事演习一次 :130-131。 3月10日至3月17日，中共中央候补执行委员毛泽东出席武汉召开之中国国民党二届三中全会 :131。 3月30日，全国农民协会临时执行委员会正式组成，毛泽东任常务委员兼组织部长； 4月2日，中国国民党中央常务委员会决定，由毛泽东等5人组成土地委员会； 4月4日，毛泽东等3人为中央农民运动讲习所常务委员 :130。 4月18日，蒋介石在南京另组国民政府； 毛泽东等中国共产党人和中国国民党左派193人被列在“南京国民政府”第一号通缉令上 :133。 4月27日至5月9日，毛泽东参加中国共产党第五次全国代表大会，被选为中央候补执行委员 :133-134。 6月24日，中共中央政治局常委会议决定成立新湖南省委，书记毛泽东 :136。\n#### 第一次国共内战 主条目：第一次国共内战、秋收起义、1927年中国、1928年中国、1929年中国和1930年中国 1927年8月7日，毛泽东出席在汉口秘密举行之中央紧急会议，即八七会议，毛泽东当选为中共中央临时政治局候补委员 :140。 毛泽东着重强调︰“以后要非常注意军事，须知政权是由枪杆子中取得的”，是对中国革命有着极其重要意义的论断 :141。 8月9日，毛泽东出席中共中央临时政治局第一次会议，会议决定毛泽东以中央特派员身份回湖南传达八七会议精神，改组湖南省委，领导秋收起义 :142。 创建工农革命军第一师，在井冈山创立第一个农村革命根据地 :3813。 毛泽东改变部署，下令各路部队退到浏阳文家市集中，中国工农革命军第一师由5,000人减到1,500余人，9月15日晚中共湖南省委决定停止原来准备在第二天发动之长沙暴动 :151。 9月19日晚，毛泽东在文家市主持前敌委员会会议，总指挥卢德铭等支持下通过毛泽东之主张，“议决退往湘南”\n:151-152。 湖南省政府代主席周斓获悉起义军“系全国著名共产党首领毛泽东在主持”后，“立即加派第八军一团车炳谦营长于二十四日全部赴浏阳协剿，一面通令各军，如获毛逆者，赏洋五千元” :153。 9月25日，卢德铭为掩护后卫撤退而犠牲，毛泽东怒斥苏先俊指挥错误：“还我卢德铭！ ” :1539月28日，瞿秋白在中共中央政治局常委会议上称：“我党有独立意见的要算泽东。 ” :1469月29日晚，毛泽东在永新县三湾村“泰和祥”杂货铺召开中共前敌委员会扩大会议，决定三湾改编 :155。 10月3日，工农革命军到达宁冈县古城，召开两天的前委扩大会议； 毛泽东指出现在我们人少了，但是很精干，大有希望； 会议认为在井冈山落脚是理想场所； 要从政治和军事团结和改造袁文才、王佐两支地方武装 :161。\n1928年2月4日，毛泽东率领工农革命军第一团从遂川赶回井冈山，打破国军对井冈山第一次“进剿” 4月5日，朱德率部由湖南安仁县出发，经茶陵湖口圩，到达酃县沔渡。 4月24日前后，毛泽东率第一团返回宁冈砻市，同先两天到达砻市之朱德、陈毅部队会合 :171。 后与朱德、陈毅率领之一部分部队井冈山会师，组成工农革命军（不久改称红军）第四军，毛泽东任党代表，朱德任军长 :3813。 4月下旬，毛泽东主持召开第四军军委会议； 月底，朱德和王尔琢按计划率领工农革命军第四军主力，打破国军第二次“进剿” :171-172。 5月20日，经中共江西省委同意，毛泽东在宁冈茅坪主持湘赣边界党的第一次代表大会，毛泽东任中共湘赣边界特委书记 :174。 6月4日，中共中央回信，确定毛泽东任红军第四军前敌委员会书记，11月才送到 :172。\n井冈山根据地割据区域面积达7,200多平方公里，共50多万人，毛泽东在《井冈山的斗争》称：“是为边界全盛时期。 ” :1747月中旬，湘赣两省国军向井冈山发动第一次“会剿”，红四军分两路反击，“八月失败” :180-181。 9月至10月，打破湘赣两省国军对井冈山根据地第二次“会剿” :182。 11月6日，中共湘赣边界特委扩大会议在茨坪召开，中共中央红四军前敌委员会成立，书记毛泽东，统辖边界和红四军军委 :183。 从1928年开始，先后写《中国红色政权为什么能够存在？ 》、《星星之火，可以燎原》等著作，提出建立农村根据地，以农村包围城市，最后夺取城市之战略思想 :3813。 1929年1月14日，毛泽东、朱德率红四军主力3,600人进军赣南 :187-188。 3月，毛泽东、朱德在长汀整编红四军，成立第一、第二、第三纵队；\n根据中共六大决议，原红四军工农运动委员会改为政治部，毛泽东兼任政治部主任，各纵队党代表兼政治部主任，各支队、大队只设党代表不设政治部 :195-196。 4月13日，毛泽东《红军前委给湘赣边界特委的信》：“在接近总暴动之前群众政权的形式有由公开割据改变为秘密割据的必要”，“强敌来了就用盘旋式的打圈子政策对付他” :199。 7月上旬，毛泽东以红四军前委特派员身份到闽西指导地方工作 :200。 经李立三、周恩来、陈毅3人多次讨论，陈毅执笔起草，9月28日中共中央政治局通过“九月来信”，肯定毛泽东提出“工农武装割据”和红军建设之基本原则，要求红四军维护朱德、毛泽东领导，毛泽东“应仍为前委书记” :203。 12月28日、12月29日，中共红四军第九次代表大会在上杭古田会议，是红军发展史上十分重要会议，毛泽东作政治报告，朱德作军事报告，陈毅传达中共中央指示 :206。\n1930年1月5日，毛泽东在古田就时局和红军行动问题覆红四军一纵队司令员林彪信（即《星星之火，可以燎原》，原题目为《时局估量和红军行动问题》），指明中国革命之发展前途 :3512。 1月上旬，毛泽东决定率红四军回师赣南 :209。 2月6日至9日，毛泽东主持“二七会议”，任红四、红五、红六军和赣西、赣南、闽西、东江地区之共同前委书记 :210。 5月下旬，在上海秘密召开“全国苏维埃区域代表大会”，毛泽东、朱德被选为大会名誉主席 :262。 6月，红四军前委和闽西特委联席会议根据中共中央指示，决定将红四军、红六军、红十二军（由红四军第三纵队和赣南地方武装合编而成）整编为红军第一路军，不久改称红军第一军团，毛泽东任政治委员，并任红军第一路军总前敌委员会书记 :223-224。 中共六届三中全会纠正李立三“左”倾冒险主义错误，毛泽东任中央政治局候补委员\n:226。 8月23日，毛泽东、朱德率红一军团会合红三军团，两军团前委联席会议决定两军团合编为中国红军第一方面军，共3万多人，朱德任总司令，毛泽东任总政治委员； 中共红一方面军总前敌委员会成立，书记毛泽东； 中国工农革命委员会成立，主席毛泽东 10月2日，毛泽东和朱德命令红一军团，“决于四日拂晓总攻吉安城”，成立江西省苏维埃政府，主席曾山 :231。 10月25日，毛泽东、朱德率领红一方面军总部后彻30里，移至新余县罗坊，召开中共红一方面军总前委和江西省行委联席会议 :233。 12月30日，毛泽东、朱德预先设伏，于龙冈全歼第十八师，活捉师长张辉瓒\n#### 中华苏维埃共和国 1931年，毛泽东在中央苏区 主条目：中华苏维埃共和国、第一次反围剿、第二次反围剿、1931年中国、1932年中国、1933年中国和1934年中国 1931年1月3日，红军在东韶附近进攻谭道源部第五十师，打破第一次“围剿” :240-241。 1月15日，中共苏区中央局在江西瑞金成立，任命周恩来为书记，未到职前由项英代理，同时成立革命军事委员会，项英兼军委主席，毛泽东、朱德为副主席（毛泽东兼任政治部主任 :242），红一方面军总前委撤销 :3764。 中国工农革命委员会同时撤销 :242。 毛泽东、朱德、曾山为中共苏区中央局委员 :242。 5月31日，红军突袭建宁县，打败刘和鼎三个团，打破第二次“围剿” :250。 1931年6月1日，苏区中央局发表《为第一次全国苏维埃代表大会宣言》，宣布8月1日开会成立中华苏维埃临时政府，因第三次“围剿”改期为11月7日 :263。\n红十二军牵着“进剿”军往东北走，到8月底红一方面军已西去； 9月初毛泽东、朱德率红一方面军3万多人到兴国、万安、泰和县间的均村、茶园冈山区隐蔽集结 :256。 9月4日，何应钦按照蒋介石决定，令左、右翼两集团军退却； 9月7日，毛泽东、朱德指挥红军一部在泰和县老营盘歼灭第九师1个旅 :256-258。 红一方面军主力在兴国县高兴圩攻击蔡廷锴2个师，对峙两天双方死伤都近3千人； 9月15日，红一方面军主力转移到东固以南的方石岭，截住韩德勤师和蒋鼎文师一部将其全歼，韩德勤被俘后化成伙夫离开； 其他进击军撤出根据地，打破第三次“围剿” :258。 毛泽东在瑞金叶坪会合中央苏区中央局，1931年10月11日任中共苏区中央局代理书记 :258。\n在毛泽东、朱德指挥下，红一方面军将赣南和闽西两块革命根据地连成一片，以瑞金为中心，形成15座县城、28个县境、5万多平方公里、人口250多万的中央革命根据地（中央苏区） :258-260。 11月初，中共中央代表团在瑞金主持召开中央苏区党组织第一次代表大会（通常称为赣南会议），苏区中央局代理书记毛泽东出席会议 :264； 会议根据临时中央指示，设立中央革命军事委员会，取消红一方面军总司令和总政委、总前委书记的名义 :265。 中共临时中央经过讨论后致电苏区中央局：“人民委员会主席一人，决定毛泽东； 副主席二人，张国焘与江西苏维埃政府主席”，后经苏区中央局同临时中央商议，“江西苏维埃主席”改成项英 :266。 11月7日，中华苏维埃第一次全国代表大会在江西瑞金县叶坪村举行，晚上毛泽东和代表们一起参加提灯庆祝晚会 :266。 11月11日，大会主席团决定由任弼时、王稼祥、毛泽东等组成宪法起草委员会；\n大会选出毛泽东、周恩来、朱德、项英、张国焘等63人组成中央执行委员会，宣告中华苏维埃共和国成立； 大会在11月20日闭幕，由毛泽东致闭幕词 :267。 11月25日，以中央执行委员会名义任命朱德、周恩来、毛泽东等15人为中央革命军事委员会（简称中革军委）委员 :268。 11月27日，中华苏维埃共和国中央政府执行委员会在瑞金召开第一次会议，选举毛泽东为中央执行委员会主席，项英、张国焘为副主席 :3997。 1932年1月中旬，毛泽东在瑞金叶坪主持召开中共苏区中央局主要成员会议，会后不久毛泽东向苏区中央局请病假休养，中央局同意 :273。 1月下旬，毛泽东带着警卫班到瑞金城郊的东华山古庙休养 :274。 3月上旬，中革军委急电请毛泽东暂停休养，赶赴前线参加决策； 毛泽东赶到赣县江口前线指挥部，朱德告诉毛泽东：按照你的意见，已把预备队红五军团拉上来，在红四军支援下，使红三军团脱出险境 :274。\n6月，蒋介石第四次“围剿”，毛泽东率东路撤离漳州、龙岩地区，回师赣南； 红军恢复红一方面军总部，辖红一、红三、红五军团，朱德兼任总司令、王稼祥兼任总政治部主任，毛泽东仍以临时中央政府主席身份随红一方面军总部行动、没有恢复总政治委员职务 :284。 8月上旬，毛泽东在兴国出席中共苏区中央局会议，主张中央局在后方“不要干涉前方的军事行动”； 会议决定在前方组成最高军事会议，由周恩来任主席，毛泽东、朱德、王稼祥为成员，负责决定前方行动方针和作战计划 :286-287。 8月8日，中华苏维埃共和国中央革命军事委员会通令宣布：奉中央政府命令，特任毛泽东为红军第一方面军总政治委员 :4210。 周恩来、毛泽东、朱德、王稼祥率领红一方面军佯向西行动，主力秘密北上，一周急行到乐安附近； 8月17日攻克乐安，8月20日攻克宜黄，8月23日占领南丰；\n乐安、宜黄战役，歼灭国军第二十七师，俘5千多人 :287。 10月上旬，宁都会议召开，中共苏区中央局在江西宁都开会体会议，会议根据临时中央之决议和指示，指责毛泽东“诱敌深入”方针、反对打赣州等是“纯粹防御路线”、“右倾主要危险”，要求红军在敌合围开始之前，粉碎敌人进攻，夺取中心城市，实现江西首先胜利，会后毛泽东被撤销红一方面军总政治委员职务 :4245-4246。 10月21日《苏区中央局宁都会议经过简报》称，会议最后通过周恩来提议毛泽东“仍留前方助理”，同时批准毛泽东“暂时请病假，必要时到前方” :290。 根据临时中央来电，决定毛泽东回后方主持临时中央政府工作，周恩来代理红一方面军总政治委员，10月26日临时中央正式任命周恩来兼任红一方面军总政治委员 :290。 10月中旬，毛泽东抵达长汀福音医院养病，在院长傅连安排下住进老古井医院休养所，探视妻子贺子珍 :291。\n在毛泽东、朱德、周恩来等领导下，红军从1930年11月到1933年3月，连续粉碎国军四次大规模军事“围剿” :3813。 宁都会议解除毛泽东在红军中领导职务，最终使第五次反“围剿”失败和丧失中央革命根据地 :291。 临时中央总负责人博古等从上海进入中央苏区，到长汀时，有提议看望毛泽东，博古称﹕毛泽东有什么可看的 :292。 1933年1月，中共临时中央由上海迁往江西中央革命根据地 :4316。 2月中旬，毛泽东接到命令，回瑞金主持临时中央政府工作 :296被补选为党中央政治局委员 :3813。 1934年1月中旬，中共中央在瑞金召开六届五中全会，毛泽东没有参加，在会上被选为中共中央政治局委员 :311。 1月22日起，召开第二次全国苏维埃代表大会，选出第二届中央执行委员第一次会议上，毛泽东继续当选为中央执行委员会主席，通过中共中央提议改由张闻天代替毛泽东担任人民委员会主席 :311。\n贺怡想不通，有时到贺子珍家诉苦，说到泪下，毛泽东静听着伤感地说：“他们整你们，是因为我。 你们是受了我的牵累呀！ ” :3124月下旬，经过周恩来同意，毛泽东携带几个随员离开瑞金，前往中央苏区南部会昌县视察并指导工作 :313-314。 毛泽东先会见粤赣省委书记刘晓、省军区司令员兼政委何长工稳定南线 :314。 毛泽东在会昌工作两个多月，成绩显著 :317。 10月初，何长工和潘汉年根据周恩来部署，同陈济棠部谈判3天，达成“就地停战”、“必要时可以互相借路”等五项协议，为以后中央红军开始长征时顺利突破第一、二道封锁线开辟道路 :317。 但第五次反围剿战争中根据地的北大门广昌和南大门筠门岭相继失守 :313-314。 6月下旬，毛泽东在会昌接到中共中央通知，回瑞金出席中央政治局扩大会议 :317。\n9月至11月，毛泽东在中共六届六中全会上作《统一战线中的独立自主问题》等讲话，批判王明右倾投降主义； 毛泽东批判速胜论和悲观论两种错误思想 :3813。 1939年1月17日，毛泽东在陕甘宁边区第一届参议会开幕会上讲话：抗战一定要有民权主义与民生主义； 孙中山先生的三民主义——民族、民权、民生是互相配合的； 没有民权主义、民生主义就不能实现民族主义，抗战就不会胜利； 边区的进步主要表现在民主，而这民主又是苏维埃在现阶段的发展物，现在各阶级、工农商学兵各界都可参加参议会 :103。 3月2日，毛泽东为聂荣臻写的《抗日模范根据地晋察冀边区》一书作序言：“晋察冀边区是华北抗战的堡垒，那里实行了坚持抗战的民族主义，那里实行了民主自由的民权主义，那里也开始实行了改良民生的民生主义，总之一句话，那里实行了互相联结不可分离的三民主义。\n## 思想 主条目：毛泽东思想 在王稼祥提出毛泽东思想后，毛泽东等称毛泽东思想是马列主义在20世纪中国社会主义革命和建设中广范实践于政治学、军事学、经济学的思想理论体系。 正式名称为“毛泽东思想”，但中国国外被广泛称为毛主义（英语：Maoism）。 毛泽东思想是中国共产党的指导思想之一，中国共产党认为毛泽东思想是其取得新民主主义革命、抗日战争、国共内战胜利并建立中华人民共和国、建设社会主义的指导思想。 改革开放后，中国共产党中央委员会通过《关于建国以来党的若干历史问题的决议》，定义毛泽东思想为中国共产党第一代中央领导集体智慧的结晶，而不只是毛泽东个人的思想。 认为毛泽东思想在六个方面组成部分的立场、观点和方法，以独创的理论丰富和发展马克思列宁主义； 有三个基本方面：实事求是，群众路线，独立自主。 认为新民主主义、人民民主专政等理论经历史实践检验，已证明行之有效。 毛泽东思想有政治、经济、军事、外交、文艺、哲学等多方面内容，于20世纪广泛影响世界，如“枪杆子里面出政权”、“星星之火，可以燎原”、“没有调查，就没有发言权”、“农村包围城市”、“兵民是胜利之本”、“文艺为无产阶级革命服务”、“新民主主义”、“批评和自我批评”、“群众路线”、“统一战线”、“团结一切可以团结的人”、“人民战争”、“人民是创造世界历史的动力”、“调动一切积极因素”、“无产阶级专政下继续革命”、“三个世界”等。\n## 所用姓名及称谓\n参见：主席\n塑像：\n北京天安门广场毛主席纪念堂北厅的毛泽东汉白玉坐像；\n1993年，毛泽东一百周年诞辰，毛泽东同志开国大典铜像在韶山建成；\n长沙橘子洲头的巨型毛泽东青年艺术雕塑；\n铜鼓化险专题馆主席铜像广场的青年毛泽东铜像；\n福建上杭古田会议会址巨型毛泽东汉白玉雕像；\n延安五大书记铜像：任弼时、周恩来、毛泽东、刘少奇、朱德。\n在重庆医科大学大学城校区的毛主席不锈钢塑像，全国最高高20.6米，连底座在内37.4米。请根据以上参考资料，回答问题：毛泽东在井冈山和闽西创办了哪些革命根据地？"

if __name__ == '__main__':
    model_path = '/mnt/140/InternLM/internlm2-chat-7b'
    backend_config = backend_config=PytorchEngineConfig(tp=1, 
                                                        session_len=10000,
                                                        max_prefill_token_num=512, 
                                                        eager_mode=True,
                                                        )
    gen_config = GenerationConfig(max_new_tokens=512, top_k=1)
    model = pipeline(model_path=model_path, backend_config=backend_config)
    outputs = model(prompts, gen_config=gen_config)
    print(outputs)

results

max_prefill_token_num=1024

Response(text='毛泽东在井冈山和闽西创建了革命根据地。在井冈山，他领导了秋收起义，并成功在宁冈县茅坪建立井冈山革命根据地。在闽西，他率部在闽西、赣南、湘南、粤北等地区建立了一系列的革命根据地，其中以闽西革命根据地最为重要。这些根据地的建立，为中国共产党在革命斗争中提供了重要的战略基地和根据地，为后来红军的发展和壮大打下了坚实基础。', generate_token_len=110, input_token_len=7849, session_id=0, finish_reason='stop', token_ids=[...], logprobs=None, index=0)

max_prefill_token_num=512

Response(text='毛泽东在井冈山和闽西创建了革命根据地。\n在井冈山，毛泽东于1927年10月到达江西宁冈县茅坪，开始创建井冈山革命根据地。\n在闽西，毛泽东于1929年1月14日，毛泽东、朱德率红四军主力3,600人进军赣南，3月，毛泽东、朱德在长汀整编红四军，成立第一、第二、第三纵队；4月13日，毛泽东《红军前委给湘赣边界特委的信》：“在接近总暴动之前群众政权的形式有由公开割据改变为秘密割据的必要”，“强敌来了就用盘旋式的打圈子政策对付他” :199。 7月上旬，毛泽东以红四军前委特派员身份到闽西指导地方工作 :200。 经李立三、周恩来、陈毅3人多次讨论，陈毅执笔起草，9月28日中共中央政治局通过“九月来信”，肯定毛泽东提出“工农武装割据”和红军建设之基本原则，要求红四军维护朱德、毛泽东领导，毛泽东“应仍为前委书记” :203。 12月28日、12月29日，中共红四军第九次代表大会在上杭古田会议，是红军发展史上十分重要会议，毛泽东作政治报告，朱德作军事报告，陈毅传达中共中央指示 :206。\n1930年1月5日，毛泽东在古田就时局和红军行动问题覆红四军一纵队司令员林彪信（即《星星之火，可以燎原》，原题目为《时局估量和红军行动问题》），指明中国革命之发展前途 :3512。 1月上旬，毛泽东决定率红四军回师赣南 :209。 2月6日至9日，毛泽东主持“二七会议”，任红四、红五、红六军和赣西、赣南、闽西、东江地区之共同前委书记 :210。 5月下旬，在上海秘密召开“全国苏维埃区域代表大会”，毛泽东、朱德被选为大会名誉主席 :262。 6月，红四军前委和闽西特委联席会议根据中共中央指示，决定将红四军、红六军、红十二军（由红四军', generate_token_len=512, input_token_len=7849, session_id=0, finish_reason='length', token_ids=[...], logprobs=None, index=0)

Environment

sys.platform: linux
Python: 3.10.14 (main, May  6 2024, 19:42:50) [GCC 11.2.0]
CUDA available: True
MUSA available: False
numpy_random_seed: 2147483648
GPU 0,1: NVIDIA A100-SXM4-80GB
CUDA_HOME: /usr/local/cuda
NVCC: Cuda compilation tools, release 11.8, V11.8.89
GCC: gcc (GCC) 9.3.1 20200408 (Red Hat 9.3.1-2)
PyTorch: 2.1.0+cu118
PyTorch compiling details: PyTorch built with:
  - GCC 9.3
  - C++ Version: 201703
  - Intel(R) oneAPI Math Kernel Library Version 2022.2-Product Build 20220804 for Intel(R) 64 architecture applications
  - Intel(R) MKL-DNN v3.1.1 (Git Hash 64f6bcbcbab628e96f33a62c3e975f8535a7bde4)
  - OpenMP 201511 (a.k.a. OpenMP 4.5)
  - LAPACK is enabled (usually provided by MKL)
  - NNPACK is enabled
  - CPU capability usage: AVX2
  - CUDA Runtime 11.8
  - NVCC architecture flags: -gencode;arch=compute_50,code=sm_50;-gencode;arch=compute_60,code=sm_60;-gencode;arch=compute_70,code=sm_70;-gencode;arch=compute_75,code=sm_75;-gencode;arch=compute_80,code=sm_80;-gencode;arch=compute_86,code=sm_86;-gencode;arch=compute_37,code=sm_37;-gencode;arch=compute_90,code=sm_90
  - CuDNN 8.7
  - Magma 2.6.1
  - Build settings: BLAS_INFO=mkl, BUILD_TYPE=Release, CUDA_VERSION=11.8, CUDNN_VERSION=8.7.0, CXX_COMPILER=/opt/rh/devtoolset-9/root/usr/bin/c++, CXX_FLAGS= -D_GLIBCXX_USE_CXX11_ABI=0 -fabi-version=11 -fvisibility-inlines-hidden -DUSE_PTHREADPOOL -DNDEBUG -DUSE_KINETO -DLIBKINETO_NOROCTRACER -DUSE_FBGEMM -DUSE_QNNPACK -DUSE_PYTORCH_QNNPACK -DUSE_XNNPACK -DSYMBOLICATE_MOBILE_DEBUG_HANDLE -O2 -fPIC -Wall -Wextra -Werror=return-type -Werror=non-virtual-dtor -Werror=bool-operation -Wnarrowing -Wno-missing-field-initializers -Wno-type-limits -Wno-array-bounds -Wno-unknown-pragmas -Wno-unused-parameter -Wno-unused-function -Wno-unused-result -Wno-strict-overflow -Wno-strict-aliasing -Wno-stringop-overflow -Wno-psabi -Wno-error=pedantic -Wno-error=old-style-cast -Wno-invalid-partial-specialization -Wno-unused-private-field -Wno-aligned-allocation-unavailable -Wno-missing-braces -fdiagnostics-color=always -faligned-new -Wno-unused-but-set-variable -Wno-maybe-uninitialized -fno-math-errno -fno-trapping-math -Werror=format -Werror=cast-function-type -Wno-stringop-overflow, LAPACK_INFO=mkl, PERF_WITH_AVX=1, PERF_WITH_AVX2=1, PERF_WITH_AVX512=1, TORCH_DISABLE_GPU_ASSERTS=ON, TORCH_VERSION=2.1.0, USE_CUDA=ON, USE_CUDNN=ON, USE_EXCEPTION_PTR=1, USE_GFLAGS=OFF, USE_GLOG=OFF, USE_MKL=ON, USE_MKLDNN=ON, USE_MPI=OFF, USE_NCCL=1, USE_NNPACK=ON, USE_OPENMP=ON, USE_ROCM=OFF, 

TorchVision: 0.16.0+cu118
LMDeploy: 0.6.0a0+edcdd8e
transformers: 4.44.1
gradio: 4.41.0
fastapi: 0.111.0
pydantic: 2.8.2
triton: 2.2.0
NVIDIA Topology: 
        GPU0    GPU1    GPU2    GPU3    GPU4    GPU5    GPU6    GPU7    mlx5_0  mlx5_1  CPU Affinity    NUMA Affinity
GPU0     X      NV12    NV12    NV12    NV12    NV12    NV12    NV12    SYS     SYS     48-63   3
GPU1    NV12     X      NV12    NV12    NV12    NV12    NV12    NV12    SYS     SYS     48-63   3
GPU2    NV12    NV12     X      NV12    NV12    NV12    NV12    NV12    PXB     PXB     16-31   1
GPU3    NV12    NV12    NV12     X      NV12    NV12    NV12    NV12    PXB     PXB     16-31   1
GPU4    NV12    NV12    NV12    NV12     X      NV12    NV12    NV12    SYS     SYS     96-111  6
GPU5    NV12    NV12    NV12    NV12    NV12     X      NV12    NV12    SYS     SYS     96-111  6
GPU6    NV12    NV12    NV12    NV12    NV12    NV12     X      NV12    SYS     SYS     64-79   4
GPU7    NV12    NV12    NV12    NV12    NV12    NV12    NV12     X      SYS     SYS     64-79   4
mlx5_0  SYS     SYS     PXB     PXB     SYS     SYS     SYS     SYS      X      PXB
mlx5_1  SYS     SYS     PXB     PXB     SYS     SYS     SYS     SYS     PXB      X 

Legend:

  X    = Self
  SYS  = Connection traversing PCIe as well as the SMP interconnect between NUMA nodes (e.g., QPI/UPI)
  NODE = Connection traversing PCIe as well as the interconnect between PCIe Host Bridges within a NUMA node
  PHB  = Connection traversing PCIe as well as a PCIe Host Bridge (typically the CPU)
  PXB  = Connection traversing multiple PCIe bridges (without traversing the PCIe Host Bridge)
  PIX  = Connection traversing at most a single PCIe bridge
  NV#  = Connection traversing a bonded set of # NVLinks

Error traceback

No response