<p class="ql-block">學(xué)生：李俊源</p><p class="ql-block">指導(dǎo)老師：金雪琴</p><p class="ql-block">摘要</p><p class="ql-block">本項(xiàng)目在 6DOF（六自由度，即三維位置 + 三維姿態(tài)）物理仿真環(huán)境中，實(shí)現(xiàn)火箭從高空到著陸點(diǎn)的安全回收。經(jīng)過(guò)十六輪迭代實(shí)驗(yàn)，最終方案在 20 次測(cè)試中取得 100% 成功率，觸地速度控制在 0.8m/s，平均水平偏差 7.3 米。項(xiàng)目經(jīng)歷了三個(gè)核心階段：早期試圖用強(qiáng)化學(xué)習(xí)讓 AI 自主學(xué)會(huì)飛行（v1-v9），累計(jì)訓(xùn)練二十萬(wàn)步但從未實(shí)現(xiàn)成功著陸；中期轉(zhuǎn)向經(jīng)典 PID 控制方法（v10-v13），反復(fù)調(diào)試后發(fā)現(xiàn)火箭推力控制和姿態(tài)控制存在物理上的耦合矛盾；后期引入死點(diǎn)控制和虛擬柵格舵（v14-v16），徹底解決了推力矢量控制（TVC）帶來(lái)的油門與姿態(tài)控制的物理耦合矛盾，將油門和姿態(tài)徹底解耦，最終實(shí)現(xiàn)穩(wěn)定可靠著陸。本項(xiàng)目核心方案、迭代決策與問(wèn)題診斷均為獨(dú)立探索完成，借助 deepseek V4 專家版輔助代碼實(shí)現(xiàn)和技術(shù)支持。無(wú)任何直接開(kāi)源項(xiàng)目移植，全程先完成代碼開(kāi)發(fā)與全流程測(cè)試，再進(jìn)行報(bào)告總結(jié)。整個(gè)過(guò)程積累了關(guān)于控制架構(gòu)設(shè)計(jì)、問(wèn)題診斷和迭代優(yōu)化的完整工程經(jīng)驗(yàn)，研究表明，對(duì)物理本質(zhì)的尊重與合理的控制架構(gòu)設(shè)計(jì)，遠(yuǎn)比復(fù)雜算法的堆砌更能解決強(qiáng)耦合的控制難題。關(guān)鍵詞： 火箭回收，六自由度仿真，死點(diǎn)控制，虛擬柵格舵，推力矢量控制 (TVC)第一章 緒論第一節(jié) 研究背景與意義可重復(fù)使用火箭是近年來(lái)航天領(lǐng)域最重要的技術(shù)突破之一。SpaceX 公司的獵鷹 9 號(hào)火箭已成功實(shí)現(xiàn)數(shù)百次一級(jí)助推器回收，大幅降低了航天發(fā)射成本。國(guó)內(nèi)藍(lán)箭航天朱雀二號(hào)、星際榮耀雙曲線二號(hào)、中國(guó)航天科技集團(tuán)長(zhǎng)征八號(hào)可回收驗(yàn)證箭均已完成多次垂直起降飛行試驗(yàn)，可重復(fù)使用火箭已成為我國(guó)航天領(lǐng)域的核心發(fā)展方向之一。火箭回收的核心技術(shù)難題在于：從數(shù)百米高空以高速下降的火箭，必須在觸地前幾秒內(nèi)將速度降到安全范圍內(nèi)，同時(shí)保持姿態(tài)豎直、水平偏差控制在著陸平臺(tái)范圍內(nèi)。這一問(wèn)題涉及三個(gè)互相耦合的子任務(wù)：減速（豎直方向）、定位（水平方向）、姿態(tài)穩(wěn)定（保持豎直）。在實(shí)際工程中，SpaceX 使用了模型預(yù)測(cè)控制和凸優(yōu)化算法來(lái)求解最優(yōu)著陸軌跡，依賴高精度數(shù)學(xué)模型和強(qiáng)大的機(jī)載計(jì)算能力。本項(xiàng)目在仿真環(huán)境中探索這一問(wèn)題，并通過(guò)全流程自主迭代實(shí)驗(yàn)，對(duì)比不同控制方法的優(yōu)劣。在學(xué)術(shù)領(lǐng)域，火箭回收仿真已成為驗(yàn)證控制算法的重要平臺(tái)。清華大學(xué)車輛與運(yùn)載學(xué)院的 Jiang 等人提出了 "隨機(jī)退火跳躍啟動(dòng)" 方法，用傳統(tǒng)控制器引導(dǎo)強(qiáng)化學(xué)習(xí)訓(xùn)練，將著陸成功率從僅 8% 提升到 97%。代爾夫特理工大學(xué)與德國(guó) DLR 的研究團(tuán)隊(duì)在六自由度火箭回收仿真中，對(duì)比了多種強(qiáng)化學(xué)習(xí)算法在大氣層內(nèi)著陸問(wèn)題上的表現(xiàn)。這些已公開(kāi)的前沿成果僅為本項(xiàng)目提供了行業(yè)方向上的參考，項(xiàng)目所有的方案設(shè)計(jì)、迭代測(cè)試、問(wèn)題解決均為本人獨(dú)立完成，未參考、借鑒任何同類開(kāi)源項(xiàng)目，GitHub 平臺(tái)也無(wú)同類可直接復(fù)用的項(xiàng)目?jī)?nèi)容。第二節(jié) 研究目的與方法本項(xiàng)目的目標(biāo)是：基于 Python+PyBullet 搭建六自由度火箭動(dòng)力學(xué)仿真環(huán)境，實(shí)現(xiàn)火箭從 150-300 米高度到地面著陸點(diǎn)的安全回收。成功標(biāo)準(zhǔn)為：觸地垂直速度≤8.5m/s，水平落點(diǎn)偏差≤31.5m，該指標(biāo)參考了 SpaceX 獵鷹 9 號(hào)陸上回收工程要求與 Gymnasium Rocket Lander 標(biāo)準(zhǔn)測(cè)試規(guī)范。研究方法為全自主迭代式實(shí)驗(yàn)：從端到端強(qiáng)化學(xué)習(xí)方案，到經(jīng)典 PID 控制方案，最終找到適配本問(wèn)題物理特性的控制架構(gòu)。整個(gè)過(guò)程中，本人全程主導(dǎo)方案決策、問(wèn)題診斷與迭代方向，deepseek V4 專家版作為輔助工具實(shí)現(xiàn)代碼邏輯，和專業(yè)技術(shù)支持。核心成功無(wú)任何外部方案移植與借鑒。每輪實(shí)驗(yàn)完整記錄成功率、觸地速度、水平偏差等核心指標(biāo)，復(fù)盤失敗原因、定位問(wèn)題本質(zhì)后再優(yōu)化方案，常常前一天的方案訓(xùn)練到深夜仍全量墜毀，第二天就推翻整個(gè)控制邏輯重新設(shè)計(jì)測(cè)試，最終完成了十六輪完整迭代，先跑完所有代碼與測(cè)試驗(yàn)證，再完成了本報(bào)告的總結(jié)梳理。第二章 火箭回收仿真項(xiàng)目概述第一節(jié) 項(xiàng)目簡(jiǎn)介本項(xiàng)目自主構(gòu)建了一個(gè)六自由度火箭物理仿真環(huán)境，采用北東地（NED）坐標(biāo)系為慣性坐標(biāo)系，箭體坐標(biāo)系原點(diǎn)位于箭體質(zhì)心，x 軸沿箭體軸向向上，y、z 軸為橫向正交軸，符合右手定則；所有位置、速度、姿態(tài)、力矩參數(shù)均在對(duì)應(yīng)坐標(biāo)系下定義。箭體基礎(chǔ)參數(shù)與環(huán)境物理建模如下：?箭體基礎(chǔ)參數(shù)：箭體長(zhǎng)度 30m，直徑 3.35m，火箭干重 22 噸，初始燃油 30 噸，總質(zhì)量 52 噸，推重比約 1.66。?推力模型：海平面推力 845kN，真空推力 1200kN，推力隨高度在大氣層內(nèi)線性變化。最小油門限制 30%，即發(fā)動(dòng)機(jī)無(wú)法完全關(guān)閉，最低維持 30% 推力。油門指令與推力的映射公式為：推力百分比 = 30% + (油門指令 + 1)/2 × 70%，其中油門指令取值范圍為 [-1,1]，對(duì)應(yīng) 30%-100% 推力區(qū)間。?質(zhì)量變化：飛行過(guò)程中燃料持續(xù)消耗，導(dǎo)致總質(zhì)量、質(zhì)心位置和轉(zhuǎn)動(dòng)慣量實(shí)時(shí)變化，這些變化會(huì)直接影響推力加速度和姿態(tài)響應(yīng)速度。?氣動(dòng)阻力：采用 1976 標(biāo)準(zhǔn)大氣模型，根據(jù)當(dāng)前高度計(jì)算空氣密度。阻力系數(shù) 0.25，與火箭速度的平方成正比。在低速著陸階段，氣動(dòng)阻力影響較小，但在初始高速階段會(huì)產(chǎn)生明顯的減速效果。?地面碰撞：使用彈簧 - 阻尼模型模擬著陸腿緩沖。當(dāng)火箭觸地時(shí)，地面提供一個(gè)與穿透深度成正比的彈力，以及與下沉速度成正比的阻尼力。同時(shí)模擬水平摩擦，防止著陸后側(cè)滑。?姿態(tài)動(dòng)力學(xué)：完整的剛體轉(zhuǎn)動(dòng)方程，包含推力矢量控制（TVC，通過(guò)偏轉(zhuǎn)發(fā)動(dòng)機(jī)噴口改變推力方向，最大偏角 ±0.26rad，約 ±15°）和虛擬柵格舵。TVC 系統(tǒng)有一階響應(yīng)延遲（系數(shù) 0.5），模擬真實(shí)液壓作動(dòng)器的響應(yīng)滯后；虛擬柵格舵最大力矩 1×10?牛?米，用于獨(dú)立姿態(tài)控制。仿真步長(zhǎng)為 0.01 秒，對(duì)應(yīng)于真實(shí)火箭約 100Hz 的控制頻率。每次飛行最長(zhǎng) 8000 步（80 秒），確保在最保守的下降速度下也能完成著陸。第二節(jié) 項(xiàng)目目標(biāo)與預(yù)期成果核心目標(biāo)： 在多種隨機(jī)初始條件下（高度 150-300m，垂直速度 - 15 到 - 30m/s，水平位置偏差 ±5m，水平速度 ±2m/s，初始姿態(tài)偏差 ±0.03rad（約 ±1.7°）），實(shí)現(xiàn)穩(wěn)定可靠的自動(dòng)著陸。預(yù)期成果包括：1.找到一種能夠在當(dāng)前物理模型下穩(wěn)定工作的火箭回收控制方法2.通過(guò)自主對(duì)比實(shí)驗(yàn)，理清不同控制方法（強(qiáng)化學(xué)習(xí)、PID、死點(diǎn)控制）在此問(wèn)題上的優(yōu)劣與適用邊界3.總結(jié)出關(guān)于復(fù)雜控制系統(tǒng)架構(gòu)設(shè)計(jì)、工程問(wèn)題診斷的通用經(jīng)驗(yàn)與個(gè)人實(shí)踐心得</p> <p class="ql-block">第三章 技術(shù)迭代與實(shí)現(xiàn)過(guò)程本項(xiàng)目的核心工作，是通過(guò)十六輪全自主迭代試錯(cuò)，一步步定位問(wèn)題本質(zhì)，最終找到正確的控制架構(gòu)。整個(gè)過(guò)程可以分為三個(gè)核心階段，每一輪迭代的方案推翻、問(wèn)題定位、優(yōu)化方向，均由本人獨(dú)立決策完成。第一節(jié) 第一階段：強(qiáng)化學(xué)習(xí)探索（v1-v9）基本思路： 最初的思路是讓 AI 直接從傳感器數(shù)據(jù)學(xué)會(huì)控制火箭，用一個(gè)神經(jīng)網(wǎng)絡(luò)（MLP，多層感知機(jī)）接收位置、速度、姿態(tài)等信息，輸出油門和噴口偏轉(zhuǎn)指令。具體使用 SAC（軟演員 - 評(píng)論家算法），這是一種在連續(xù)控制任務(wù)上表現(xiàn)優(yōu)異的離策略深度強(qiáng)化學(xué)習(xí)算法，為此我們反復(fù)優(yōu)化設(shè)計(jì)了獎(jiǎng)勵(lì)函數(shù)、訓(xùn)練邏輯。網(wǎng)絡(luò)輸入 14-16 維觀測(cè)數(shù)據(jù)：火箭的三維位置、三維速度、四元數(shù)姿態(tài)、三維角速度、剩余燃料比例。網(wǎng)絡(luò)輸出 5 個(gè)控制指令：主發(fā)動(dòng)機(jī)油門（-1 到 1，映射到 30%-100% 推力）、TVC 俯仰偏角、TVC 偏航偏角、側(cè)推 X 方向、側(cè)推 Y 方向。策略網(wǎng)絡(luò)與價(jià)值網(wǎng)絡(luò)均采用 3 層全連接 MLP，隱藏層維度 256-128-64，激活函數(shù)為 ReLU，總參數(shù)量約 53 萬(wàn)。為了讓 AI 學(xué)會(huì)正確的飛行策略，我做了多輪優(yōu)化嘗試，包括：1.獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)： 構(gòu)造 "勢(shì)能函數(shù)"，計(jì)算火箭當(dāng)前狀態(tài)與完美著陸狀態(tài)（位置在原點(diǎn)、速度為零、姿態(tài)豎直）之間的加權(quán)距離。各項(xiàng)權(quán)重包括高度勢(shì)能、速度勢(shì)能、姿態(tài)勢(shì)能、角速度勢(shì)能、位置勢(shì)能，距離越小獎(jiǎng)勵(lì)越高，參考了同領(lǐng)域研究中勢(shì)能引導(dǎo)的通用思路。2.課程學(xué)習(xí)： 讓 AI 從極簡(jiǎn)條件開(kāi)始（高度僅 20-50m，下降速度接近零，水平偏差極?。?，慢慢過(guò)渡到復(fù)雜場(chǎng)景，設(shè)置了 15 個(gè)難度級(jí)別，當(dāng) AI 在當(dāng)前級(jí)別成功率超過(guò) 70% 時(shí)自動(dòng)升級(jí)。3.歷史觀測(cè)拼接： v8 版本將連續(xù) 16 幀畫(huà)面拼接起來(lái)，試圖讓網(wǎng)絡(luò) "記住" 飛行中的變化趨勢(shì)。4.參考軌跡引導(dǎo)： v9 版本在觀測(cè)中加入了 14 維參考軌跡信息（目標(biāo)位置、目標(biāo)速度、目標(biāo)姿態(tài)、當(dāng)前誤差），試圖讓 AI 學(xué)會(huì)跟蹤預(yù)規(guī)劃的軌跡。5.專家數(shù)據(jù)預(yù)填充： 在訓(xùn)練開(kāi)始前，用人工設(shè)計(jì)的基礎(chǔ)規(guī)則控制器收集 30 個(gè)回合的經(jīng)驗(yàn)數(shù)據(jù)，填充到經(jīng)驗(yàn)池中，給 AI 一個(gè)基礎(chǔ)的 "學(xué)習(xí)榜樣"。結(jié)果： 所有強(qiáng)化學(xué)習(xí)版本全部失敗。v8 訓(xùn)練了二十萬(wàn)步，核心指標(biāo)穩(wěn)定，但每次飛行都在 4.6 秒左右墜毀，從未成功。AI 學(xué)到的是 "保持中等油門混得更久"，因?yàn)楠?jiǎng)勵(lì)函數(shù)里 "越低越好" 的傾向給了它錯(cuò)誤引導(dǎo) —— 快速下降反而得分更高。而且 SAC 的訓(xùn)練方式是把飛行數(shù)據(jù)打散后隨機(jī)抽取學(xué)習(xí)，完全破壞了 "先猛剎車、再輕柔微調(diào)" 的先后順序，AI 永遠(yuǎn)學(xué)不會(huì)正確的飛行邏輯。第二節(jié) 第二階段：傳統(tǒng) PID 控制（v10-v13）基本思路： 放棄讓 AI 自己學(xué)，改用經(jīng)典的 PID 控制邏輯。先用規(guī)則代碼生成一條參考軌跡，告訴火箭每一瞬間該在什么位置、什么速度，然后讓 PID（一種經(jīng)典的自動(dòng)差控制器，根據(jù)當(dāng)前值和目標(biāo)值的差距來(lái)調(diào)整輸出）去跟蹤這條軌跡。軌跡生成器的設(shè)計(jì)： 根據(jù)初始高度和下降速度，自動(dòng)分三個(gè)階段規(guī)劃軌跡。階段一是高空剎車段，用最大減速能力將垂直速度從 - 20m/s 左右降到 - 5m/s。階段二是中段修正段，以 - 5m/s 勻速下降，同時(shí)逐漸修正水平位置偏差。階段三是末端懸停段，從 - 5m/s 進(jìn)一步減速到 - 1m/s，在最后 10 米范圍內(nèi)精細(xì)調(diào)整。PID 控制器的設(shè)計(jì)： v10 使用單一 PID 同時(shí)輸出油門和 TVC 指令，根據(jù)當(dāng)前位置與參考位置的誤差計(jì)算控制量。v11-v13 嘗試分層設(shè)計(jì) —— 把油門控制和姿態(tài)控制拆成兩個(gè)獨(dú)立的 PID 模塊，各自有獨(dú)立的參數(shù)，試圖解決耦合問(wèn)題。結(jié)果： 所有 PID 版本全部失敗。理論上應(yīng)該減速，實(shí)際火箭滿油門卻越掉越快 —— 速度從 - 8m/s 飆到 - 68m/s。我排查了很久，做了純垂直測(cè)試才發(fā)現(xiàn)了一個(gè)物理上的死結(jié)：火箭只有一個(gè)主發(fā)動(dòng)機(jī)，它的噴口方向同時(shí)決定了減速力度和姿態(tài)穩(wěn)定。為了不讓火箭歪掉，噴口必須微微偏轉(zhuǎn)（TVC），但只要一偏轉(zhuǎn)，原本用于減速的推力就少了一部分。我們做的純垂直測(cè)試完全驗(yàn)證了發(fā)動(dòng)機(jī)推力本身完全夠用 —— 凈加速度 6.5m/s2，從 70m/s 減速到零只需要 380 米的下降距離。但只要加入姿態(tài)控制，推力就會(huì)持續(xù)受損，即便后來(lái)把油門和姿態(tài)拆成兩個(gè)獨(dú)立的 PID 模塊，只要 TVC 還在工作，這個(gè)矛盾就永遠(yuǎn)存在，不是調(diào)參能解決的。第三節(jié) 第三階段：死點(diǎn)控制的突破（v14-v16）真正的轉(zhuǎn)機(jī)來(lái)自一個(gè)很樸素的想法 —— 不追求速度控制得特別精確，只保證它別太快也別太慢，這就是死點(diǎn)控制的核心。這個(gè)思路也和 1969 年阿波羅登月艙的下降控制邏輯一脈相承，它在最后 30 米用的就是類似邏輯，不追求速度精準(zhǔn)到某個(gè)數(shù)值，只保證在安全范圍內(nèi)。這套邏輯本質(zhì)是 bang-bang 控制的改進(jìn)型，在大慣性二階系統(tǒng)中，通過(guò)死區(qū)避免了高頻切換導(dǎo)致的系統(tǒng)震蕩，理論上可保證系統(tǒng)狀態(tài)收斂至安全區(qū)間內(nèi)。死點(diǎn)控制的核心邏輯：設(shè)定一個(gè)目標(biāo)速度（-4m/s，即每秒下降 4 米）和一個(gè)容忍區(qū)間（±0.5m/s）。控制器每 0.01 秒檢查一次當(dāng)前垂直速度，做出三種決策：?如果下降速度超過(guò) 4.5m/s：滿油門全力剎車?如果下降速度在 3.5-4.5m/s 之間：保持當(dāng)前油門不動(dòng)（"死區(qū)" 內(nèi)不動(dòng)作）?如果下降速度慢于 3.5m/s：減小油門，讓火箭繼續(xù)下降這個(gè)簡(jiǎn)單邏輯直接避免了 PID 那種 "每時(shí)每刻都在糾偏、反而越糾越偏" 的問(wèn)題?；鸺?、慣性太大，PID 的頻繁修正往往被慣性淹沒(méi)，反而引發(fā)震蕩，死點(diǎn)控制不追求步步精準(zhǔn)，完全避免了過(guò)度糾正。同時(shí)，我給火箭加了一個(gè)虛擬柵格舵 —— 它產(chǎn)生獨(dú)立的力矩來(lái)保持姿態(tài)豎直，不需要偏轉(zhuǎn)主發(fā)動(dòng)機(jī)噴口，僅輸出姿態(tài)控制力矩，不產(chǎn)生軸向推力，完全不影響豎直方向動(dòng)力學(xué)特性。柵格舵根據(jù)當(dāng)前姿態(tài)角和角速度，用 PD 公式（比例 - 微分）計(jì)算修正力矩：當(dāng)火箭偏轉(zhuǎn)時(shí)，柵格舵產(chǎn)生一個(gè)與偏角成正比的恢復(fù)力矩（P 項(xiàng)，比例系數(shù) kp=8×10?）；當(dāng)火箭有角速度時(shí)，柵格舵產(chǎn)生一個(gè)與角速度成正比的阻尼力矩（D 項(xiàng)，微分系數(shù) kd=2×10?）。這樣油門只管減速，柵格舵只管姿態(tài)，互不干擾，徹底解決了之前的耦合死結(jié)。在這套架構(gòu)下，v14 版本的火箭第一次實(shí)現(xiàn)了穩(wěn)定著陸 ——10 次測(cè)試全部成功，觸地速度 - 4.5m/s。后來(lái)我又加了一段末端減速邏輯：當(dāng)高度低于 10 米時(shí)，自動(dòng)把目標(biāo)速度從 - 4m/s 降到 - 1m/s，同時(shí)收窄容忍區(qū)間到 ±0.2m/s，把基準(zhǔn)懸停油門從 - 0.3（對(duì)應(yīng)約 39.5% 推力）提升到 0.3（對(duì)應(yīng)約 60.5% 推力），讓著地更輕柔。最終的 v16 版本，20 次測(cè)試全部成功，觸地速度降到了 - 0.8m/s，平均水平偏差 7.3 米，姿態(tài)始終保持在 2° 以內(nèi)。第四章 項(xiàng)目實(shí)施過(guò)程中的問(wèn)題與解決措施第一節(jié) 核心問(wèn)題分析本項(xiàng)目前十三輪迭代全部失敗，遇到的根本性難題可以歸納為兩個(gè)核心層面，這兩個(gè)問(wèn)題都是我通過(guò)幾十次隔離測(cè)試、一點(diǎn)點(diǎn)排除變量，花了近兩周時(shí)間才精準(zhǔn)定位到的。問(wèn)題一：控制架構(gòu)層面的耦合矛盾。 這是最重要、也最隱蔽的問(wèn)題?；鸺挥幸粋€(gè)主發(fā)動(dòng)機(jī)，它的噴口方向（通過(guò)推力矢量控制 TVC）同時(shí)決定減速力度和姿態(tài)穩(wěn)定。這種耦合是物理本質(zhì)決定的：偏轉(zhuǎn)噴口來(lái)修正姿態(tài)，就會(huì)損失豎直方向的推力。在純垂直下降測(cè)試中，推力完全足夠；但在實(shí)際飛行中，姿態(tài)的微小偏差（初始約 ±1.7°）需要 TVC 持續(xù)修正，累計(jì)效果導(dǎo)致豎直推力大幅損失，最終形成 "姿態(tài)需要修正→TVC 偏轉(zhuǎn)→豎直推力減少→高度下降更快→更需要姿態(tài)修正" 的惡性循環(huán)。從控制理論本質(zhì)來(lái)看，TVC 架構(gòu)下的火箭回收系統(tǒng)是單輸入多輸出的欠驅(qū)動(dòng)系統(tǒng)，單一主發(fā)動(dòng)機(jī)同時(shí)承擔(dān)減速與姿態(tài)控制兩個(gè)耦合任務(wù)，存在理論上的控制約束，這也是前十三輪方案無(wú)論怎么調(diào)參都無(wú)法成功的核心原因。問(wèn)題二：學(xué)習(xí)算法層面的適配問(wèn)題。 強(qiáng)化學(xué)習(xí)中的 SAC 算法從經(jīng)驗(yàn)池隨機(jī)采樣訓(xùn)練，打散了飛行過(guò)程中的時(shí)序信息。而火箭著陸天然是一個(gè)多階段任務(wù) —— 高空應(yīng)當(dāng)全力剎車、中段應(yīng)當(dāng)穩(wěn)定下降、末端應(yīng)當(dāng)輕柔微調(diào)。這三個(gè)階段的先后順序至關(guān)重要，但隨機(jī)采樣訓(xùn)練無(wú)法學(xué)到這種時(shí)序因果，導(dǎo)致 AI 永遠(yuǎn)無(wú)法理解飛行的階段邏輯，只能學(xué)到 "茍活" 的次優(yōu)策略。第二節(jié) 相應(yīng)解決方法針對(duì)問(wèn)題一（耦合矛盾）： 引入虛擬柵格舵，提供完全不依賴主發(fā)動(dòng)機(jī)的獨(dú)立姿態(tài)控制力矩，通過(guò)增加獨(dú)立的姿態(tài)控制執(zhí)行器，將欠驅(qū)動(dòng)系統(tǒng)轉(zhuǎn)化為全驅(qū)動(dòng)系統(tǒng)，從根本上打破了耦合矛盾。柵格舵根據(jù)姿態(tài)角和角速度直接產(chǎn)生修正力矩，油門專注于豎直減速，兩者互不干擾。這個(gè)方案在工程上等價(jià)于真實(shí)火箭的柵格舵或反作用控制系統(tǒng)，但在本仿真中做了簡(jiǎn)化處理（理想力矩源而非真實(shí)氣動(dòng)面或噴口），完美適配仿真環(huán)境的控制需求。針對(duì)問(wèn)題二（算法適配）： 放棄端到端強(qiáng)化學(xué)習(xí)，改用基于簡(jiǎn)單規(guī)則的死點(diǎn)控制。死點(diǎn)控制的 "不精確跟蹤、只保證安全邊界" 的邏輯，恰好規(guī)避了火箭大慣性帶來(lái)的超調(diào)問(wèn)題。同時(shí)，保留末端減速的硬編碼邏輯，確保最后 10 米階段的安全性。后續(xù)也可以探索用強(qiáng)化學(xué)習(xí)來(lái)優(yōu)化死點(diǎn)控制的參數(shù)（目標(biāo)速度、容忍區(qū)間、基準(zhǔn)油門），而不是讓強(qiáng)化學(xué)習(xí)直接輸出控制指令，既保留算法的優(yōu)化能力，又不破壞架構(gòu)的穩(wěn)定性。第五章 項(xiàng)目效果評(píng)估第一節(jié) 控制性能評(píng)估在完全相同的隨機(jī)初始條件下（高度 150-300m 隨機(jī)，垂直速度 - 15 到 - 30m/s 隨機(jī)，水平位置偏差 ±5m 隨機(jī)，水平速度 ±2m/s 隨機(jī)，初始姿態(tài)偏差 ±1.7° 隨機(jī)），對(duì)三個(gè)階段的代表性方法各進(jìn)行 20 次測(cè)試，核心指標(biāo)對(duì)比如下：表 1 三種控制方案核心性能對(duì)比表</p> <p class="ql-block">v8（端到端強(qiáng)化學(xué)習(xí)）： 成功率 0%。每回合飛行約 460 步（4.6 秒）即墜毀，觸地速度遠(yuǎn)超安全標(biāo)準(zhǔn)。二十萬(wàn)步的訓(xùn)練未能讓 AI 學(xué)會(huì)比 "中等油門茍活" 更好的策略。勢(shì)能函數(shù)的錯(cuò)誤引導(dǎo)、訓(xùn)練數(shù)據(jù)的時(shí)序打散、單網(wǎng)絡(luò)多任務(wù)沖突，三者共同導(dǎo)致了失敗。v11（分層 PID 控制）： 成功率 0%。滿油門狀態(tài)下，火箭持續(xù)加速下墜，觸地速度超過(guò) - 60m/s。推力矢量控制在穩(wěn)定姿態(tài)時(shí)必然損失豎直推力，這個(gè)物理矛盾在分層架構(gòu)下依然存在，無(wú)法通過(guò)調(diào)參解決。v16（死點(diǎn)控制 + 柵格舵）： 成功率 100%。觸地垂直速度 0.8±0.1m/s（遠(yuǎn)優(yōu)于≤8.5m/s 的成功標(biāo)準(zhǔn)），水平偏差 7.3±3.3m（遠(yuǎn)優(yōu)于≤31.5m 的成功標(biāo)準(zhǔn)），平均飛行步數(shù) 5526，平均燃料消耗 30.4%。末端減速邏輯（高度 < 10m 時(shí)啟動(dòng)）有效將觸地速度從 - 4.5m/s 進(jìn)一步降到 - 0.8m/s，著陸姿態(tài)全程穩(wěn)定。三種方法的對(duì)比清晰地說(shuō)明：在這個(gè)問(wèn)題上，控制架構(gòu)的合理性遠(yuǎn)比算法的復(fù)雜度重要。53 萬(wàn)參數(shù)的神經(jīng)網(wǎng)絡(luò)（v8）和精心調(diào)試的 PID（v11）都失敗了，幾行簡(jiǎn)單判斷的死點(diǎn)控制（v16）卻成功了。第二節(jié) 項(xiàng)目效益評(píng)估技術(shù)層面： 第一，驗(yàn)證了 "簡(jiǎn)單規(guī)則 + 合理架構(gòu)" 在復(fù)雜控制任務(wù)中的有效性。死點(diǎn)控制從算法角度看極其簡(jiǎn)單，但因?yàn)樽鹬亓藛?wèn)題的物理本質(zhì)（油門與姿態(tài)必須解耦），所以能成功。第二，完整記錄了從失敗到成功的十六輪迭代過(guò)程，包括每一步的實(shí)驗(yàn)設(shè)計(jì)、預(yù)期與實(shí)際結(jié)果的對(duì)比、失敗原因分析，為同類問(wèn)題提供了可復(fù)用的診斷方法論。第三，對(duì)強(qiáng)化學(xué)習(xí)在強(qiáng)耦合物理系統(tǒng)中的局限性有了具體的、可量化的認(rèn)識(shí) —— 不是 "RL 不行"，而是 "端到端 RL 不適合需要時(shí)序因果和架構(gòu)解耦的任務(wù)"。實(shí)踐與學(xué)習(xí)層面： 第一，通過(guò)全流程自主迭代，掌握了控制系統(tǒng)設(shè)計(jì)的核心原則：先分析物理約束，再做架構(gòu)設(shè)計(jì)，最后選算法，而非反過(guò)來(lái)用復(fù)雜算法去適配錯(cuò)誤的架構(gòu)。第二，學(xué)會(huì)了通過(guò) "逐個(gè)變量隔離測(cè)試" 來(lái)定位工程問(wèn)題 —— 純垂直下降測(cè)試幫我排除了推力不足的假設(shè)，精準(zhǔn)定位到姿態(tài)控制的核心矛盾，這是最核心的工程實(shí)踐收獲。第三，整個(gè)項(xiàng)目沒(méi)有任何開(kāi)源方案借鑒，從代碼實(shí)現(xiàn)、方案設(shè)計(jì)到迭代測(cè)試，全是自己一天天試錯(cuò)、復(fù)盤、優(yōu)化出來(lái)的，把控制理論、剛體動(dòng)力學(xué)的知識(shí)，真正落地成了可運(yùn)行、可驗(yàn)證的仿真系統(tǒng)，而非照搬課本或現(xiàn)有方案。第六章 結(jié)論與展望第一節(jié) 研究成果總結(jié)經(jīng)過(guò)十六輪全自主迭代試錯(cuò)，本項(xiàng)目成功實(shí)現(xiàn)了六自由度火箭在仿真環(huán)境中的安全著陸，20 次隨機(jī)測(cè)試 100% 成功，各項(xiàng)指標(biāo)遠(yuǎn)優(yōu)于設(shè)定的成功標(biāo)準(zhǔn)。整個(gè)過(guò)程沉淀下來(lái)的核心經(jīng)驗(yàn)，可以歸納為三條。第一條：架構(gòu)優(yōu)先于算法。 在控制問(wèn)題中，設(shè)計(jì)合理的控制架構(gòu)（油門與姿態(tài)解耦）比選擇復(fù)雜的算法更重要。死點(diǎn)控制和虛擬柵格舵的組合，從算法角度看極其簡(jiǎn)單 —— 幾行條件判斷加上一個(gè) PD 姿態(tài)控制器 —— 但因?yàn)樽鹬亓藛?wèn)題的物理本質(zhì)，所以能成功。強(qiáng)化學(xué)習(xí)和 PID 的失敗不是因?yàn)檎{(diào)參不夠，而是因?yàn)樗鼈冊(cè)阱e(cuò)誤的架構(gòu)下試圖解決一個(gè)不可解的問(wèn)題。第二條：簡(jiǎn)單勝過(guò)復(fù)雜。 端到端強(qiáng)化學(xué)習(xí)（53 萬(wàn)參數(shù)神經(jīng)網(wǎng)絡(luò)）和精心調(diào)試的 PID 控制器都失敗了，幾行條件判斷的死點(diǎn)控制反而成功了。在不確定性面前，魯棒的簡(jiǎn)單策略往往優(yōu)于精密的脆弱策略。這不僅是火箭著陸的經(jīng)驗(yàn)，也是任何復(fù)雜控制系統(tǒng)設(shè)計(jì)都應(yīng)當(dāng)遵循的通則。1969 年阿波羅登月艙就已經(jīng)使用類似的死區(qū)控制邏輯成功著陸，五十多年后的今天，這個(gè)原則依然有效。第三條：故障診斷需要解耦變量。 純垂直下降測(cè)試幫助我定位了 "推力本身夠用，但姿態(tài)控制消耗了推力" 這一關(guān)鍵事實(shí)。如果沒(méi)有這個(gè)隔離測(cè)試，我可能會(huì)繼續(xù)在 PID 參數(shù)和 RL 調(diào)優(yōu)上浪費(fèi)大量時(shí)間。這種 "逐個(gè)變量隔離測(cè)試" 的方法是工程問(wèn)題診斷的核心技能 —— 先確定哪個(gè)子系統(tǒng)出了問(wèn)題，再針對(duì)性地解決。整個(gè)項(xiàng)目最珍貴的收獲，不是最終 100% 的著陸成功率，而是這十六輪迭代里，從一次次失敗中定位問(wèn)題、推翻方案、重新設(shè)計(jì)的完整心路歷程。沒(méi)有任何開(kāi)源方案可以借鑒，沒(méi)有現(xiàn)成的代碼可以復(fù)用，從第一行代碼到最終的仿真成功，全是自己一天天試出來(lái)、磨出來(lái)的，也真正理解了工程設(shè)計(jì)里 "先尊重物理本質(zhì)，再談算法優(yōu)化" 的核心邏輯。第二節(jié) 未來(lái)研究方向加入環(huán)境擾動(dòng)： 當(dāng)前仿真未包含隨機(jī)風(fēng)場(chǎng)和傳感器噪聲。真實(shí)火箭在下降過(guò)程中會(huì)受到不同高度的側(cè)風(fēng)影響，GPS 和慣導(dǎo)數(shù)據(jù)也存在測(cè)量誤差。加入這些因素可以測(cè)試控制器的魯棒性，進(jìn)一步驗(yàn)證方案在真實(shí)環(huán)境中的可行性。用強(qiáng)化學(xué)習(xí)優(yōu)化參數(shù)： 當(dāng)前死區(qū)參數(shù)（目標(biāo)速度 - 4m/s、容忍區(qū)間 ±0.5m/s、基準(zhǔn)油門 - 0.3）是手工調(diào)試的，在給定初始條件下表現(xiàn)良好，但缺乏自適應(yīng)性?？梢杂脧?qiáng)化學(xué)習(xí)來(lái)根據(jù)當(dāng)前狀態(tài)動(dòng)態(tài)輸出最優(yōu)參數(shù) —— 例如在高空用更保守的區(qū)間，在低空用更激進(jìn)的減速，初步測(cè)試驗(yàn)證了該思路的可行性。引入真實(shí)的姿態(tài)控制模型： 當(dāng)前虛擬柵格舵是理想化的力矩源，不消耗燃料、無(wú)延遲、力矩?zé)o上限。可以將柵格舵替換為更真實(shí)的 RCS（反作用控制系統(tǒng)）噴口模型 —— 在箭體上安裝若干個(gè)小推力噴口，通過(guò)噴氣組合產(chǎn)生力矩。這會(huì)引入燃料消耗約束和執(zhí)行器飽和限制，更接近真實(shí)工程場(chǎng)景。擴(kuò)大初始條件范圍： 當(dāng)前測(cè)試范圍為 150-300m 高度、-15 到 - 30m/s 初始速度，后續(xù)可以測(cè)試更高高度（500-1000m）、更快速度（-50 到 - 100m/s）、更大水平偏差（±30m），觀察控制方案的極限性能。融合先進(jìn)控制算法： 可將死點(diǎn)控制與模型預(yù)測(cè)控制（MPC）、滑模控制（SMC）結(jié)合，在復(fù)雜擾動(dòng)下進(jìn)一步提升軌跡跟蹤能力與系統(tǒng)魯棒性，拓展方案的工程適用場(chǎng)景。</p> <p class="ql-block">參考文獻(xiàn)強(qiáng)化學(xué)習(xí)與火箭回收[1] Jiang Y., Yang Y., Lan Z., Zhan G., Li S. E., Sun Q., Ma J., Yu T., & Zhang C. (2024). Rocket Landing Control with Random Annealing Jump Start Reinforcement Learning. 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 14026-14033.[2] Carradori J., Mooij E., Sagliano M., & van Kampen E. (2024). 6-DOF Atmospheric Rocket Landing Guidance using Meta-Reinforcement Learning. Master Thesis, Delft University of Technology & Deutsches Zentrum für Luft- und Raumfahrt (DLR).[3] Furfaro R, Gaudet B, Linares R. Propulsive landing of launchers' first stages with Deep Reinforcement Learning[J]. Acta Astronautica, 2025, 227: 40-56.[4] Ferrante, M., & Millán, P. (2018). A Deep Reinforcement Learning Approach to Rocket Landing Control. Proceedings of the 15th International Conference on Informatics in Control, Automation and Robotics.月球著陸與 6DOF 仿真[5] Dutta S., Lugo R., Williams R. A., Chen P. T., Green J. S., & Cianciolo A. D. (2022). Precision Landing Performance and Technology Assessments of a Human-Scale Lunar Lander Using a Generalized Simulation Framework. AIAA SciTech Forum 2022.[6] Draper Laboratory. (2020). Development of a Lunar Lander Simulator: Commemorating Apollo and Looking to the Future. AIAA SciTech Forum 2020.[7] Bennett, F. V. (1972). Apollo Experience Report - Mission Planning for Lunar Module Descent and Ascent. NASA Technical Note TN D-6846.控制理論基礎(chǔ)[8] ?str?m K. J., & H?gglund T. (1995). PID Controllers: Theory, Design, and Tuning. Instrument Society of America.[9] Blackmore L. (2016). Autonomous Precision Landing of Space Rockets. The Bridge, 46(4), 15-20.[10] Haarnoja T., Zhou A., Abbeel P., & Levine S. (2018). Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor. Proceedings of the 35th International Conference on Machine Learning (ICML).[11] Schulman J., Wolski F., Dhariwal P., Radford A., & Klimov O. (2017). Proximal Policy Optimization Algorithms. arXiv preprint arXiv:1707.06347.</p>
交口县|
福海县|
冷水江市|
宣威市|
浏阳市|
高唐县|
桐梓县|
静乐县|
河间市|
温州市|
普洱|
远安县|
铜鼓县|
高雄市|
新宁县|
刚察县|
多伦县|
厦门市|
留坝县|
桐庐县|
瑞安市|
临颍县|
盐亭县|
从化市|
普陀区|
诸暨市|
邯郸县|
金湖县|
海城市|
盘山县|
华宁县|
鄂州市|
东安县|
鄂温|
长兴县|
临朐县|
阿拉善左旗|
松滋市|
堆龙德庆县|
永济市|
黄平县|