1.算法仿真效果

matlab2022a仿真結果如下（完整代碼運行后無水印）：

仿真操作步驟可參考程序配套的操作視頻。

2.算法涉及理論知識概要

       二自由度（2DoF）機械臂運動控制是機器人領域的重要研究內容。基于Q-learning強化學習的 2DoF機械臂運動控制系統旨在讓機械臂通過與環境交互，自主學習最優的運動策略以完成特定任務，如到達目標位置。Q-learning 是一種無模型的強化學習算法，它通過不斷更新Q值（動作價值）來尋找最優策略。

      強化學習系統包含智能體（Agent）、環境（Environment）。智能體在環境中執行動作，環境會返回下一個狀態和即時獎勵。Q - learning 的目標是學習一個最優的動作價值函數，表示在狀態下執行動作的期望累積獎勵。

2.1 2DoF機械臂運動學模型

2.2 Q-learning強化學習算法原理

      強化學習是一種機器學習范式，主要涉及智能體（Agent）、環境（Environment）、狀態（State）、動作（Action）和獎勵（Reward）等概念。智能體在環境中進行交互，根據當前狀態選擇一個動作并執行，環境會根據智能體的動作反饋一個新的狀態和一個獎勵信號。智能體的目標是通過不斷地與環境交互，學習到一個最優策略，使得長期累積獎勵最大化。

       在訓練過程中，記錄每個回合的累積獎勵，得到學習曲線。隨著訓練回合數的增加，累積獎勵逐漸增加，說明智能體在不斷學習并改進控制策略。當訓練回合數足夠多時，累積獎勵趨于穩定，表明智能體已經學習到了較優的控制策略。

       在訓練結束后，使用學習到的最優策略對機械臂進行控制，記錄機械臂的關節角度軌跡。實驗結果表明，機械臂能夠快速、準確地跟蹤目標關節角度，并且在到達目標位置后能夠保持穩定。

      基于Q-learning強化學習的2DoF機械臂運動控制系統通過定義狀態空間、動作空間和獎勵函數，讓機械臂在與環境的交互中不斷學習最優的運動策略。Q-learning 算法通過更新Q值來平衡探索和利用，逐步找到使累積獎勵最大的策略，從而實現機械臂的高效運動控制。

3.MATLAB核心程序

stepa=2;
figure
plot(1:stepa:Miter, Rwdm(1:stepa:end),'-r>',...
    'LineWidth',1,...
    'MarkerSize',6,...
    'MarkerEdgeColor','k',...
    'MarkerFaceColor',[0.9,0.9,0.0]);
hold on
xlabel('Epoch');
ylabel('獎勵值');
 
figure
plot(1:stepa:Miter, Action_set(1,1:stepa:end),'-r>',...
    'LineWidth',1,...
    'MarkerSize',6,...
    'MarkerEdgeColor','k',...
    'MarkerFaceColor',[0.9,0.9,0.0]);
hold on
plot(1:stepa:Miter, Action_set(2,1:stepa:end),'-mo',...
    'LineWidth',1,...
    'MarkerSize',6,...
    'MarkerEdgeColor','k',...
    'MarkerFaceColor',[0.5,0.9,0.0]);
hold on
xlabel('Epoch');
ylabel('動作值');