Dynamic Programming and Reinforcement Learning (動態規劃和強化學習)

• Course objective: This course introduces dynamic decision-making under uncertainty, with an emphasis on dynamic programming and reinforcement learning. Drawing on applications in business and engineering, students will learn key theories and algorithms for solving multi-stage decision problems, both with and without explicit models of the environment. Assignments and a final project provide practical experience in problem formulation, algorithm evaluation, and Python-based implementation.

AI Alignment

Articles: 

• 李珊珊，「從中學就開始培養 AI 天才？」前美國奧數主教練羅博深：這讓我脊背發涼，知識分子，2026.6.23 (Prof. Po-Shen Loh) (new)

知識分子：您的意思是，在高中階段就對 AI 人才進行針對性的超前培養，太早了？
羅博深：不只是太早的問題，而是這種「純技術導向」的教育結構本身就存在致命缺陷。
如果一個孩子從高中起就進入純理科的軌道，每天只跟演算法、模型和程式碼打交道，從來沒有讀過小說，從來沒有在具體的文學語境裡理解人類複雜的現實，不懂道德約束與同理心，那麼當他掌握了最尖端的技術力量，他可能會在無意間對整個社會造成無法挽回的傷害。
一個人如果擁有龐大的科技力量，卻對它的邊界和人文影響完全不了解，他根本不應該去接觸這些核心技術。這就像核武器一樣。
所以，每當我看到一個因為過早分軌、在知識結構裡完全缺失人文的理工科學生，我都會擔憂：他真的不應該繼續做前沿科技研究了。我們已經走到了一個技術極有可能危及全人類的節點，如果一個人的教育結構是這樣一條腿長、一條腿短的狀態，他就不應該被允許繼續往這條路上走。

知識分子：您曾提到，面對來自 AI 的挑戰，孩子們需要更加「Thoughtful」，能具體解釋一下嗎？

羅博深：我習慣用英文原詞來定義它，翻譯成「深思熟慮」之類的，並不太準確。

Thoughtful 的人有兩個核心特質。第一，有共情能力，體貼周到，真心希望讓別人快樂——不只是父母和朋友，也包括陌生人，這才是真正的利他精神。第二，肯真正地去思考——他們喜歡「理解」事物，而不只是「會做」。有些學生考試能拿高分，但只是機械地照著方法做，並不理解背後的邏輯。我要找的是那種喜歡用自己的獨立思維想清楚一件事、不滿足於別人給定的標準答案的人。

對人和對問題都有洞察，只要具備這兩點，一個人在未來會成長得很好。

• Medha Bankhwal, Ankit Bisht, Michael Chui, Roger Roberts, and Ashley van Heteren, AI for social good: Improving lives and protecting the planet, McKinsey, 2024.
• Yoshua Bengio et al., Managing extreme AI risks amid rapid progress, Science, 20 May 2024, Vol 384, Issue 6698, pp. 842-845 (arXiv)
• Jiaming Ji et al., AI Alignment: A Comprehensive Survey, arXiv:2310.19852 (website)
• Jack Stilgoe, Technological risks are not the end of the world, Science, 18 Apr 2024, Vol 384, Issue 6693.

上課內容 (Teaching)

許志華，中原大學，電機資訊學院，工業與系統工程學系

• Please use the school's MS team account for online sessions. 
• Login Account: 學號@o365st.cycu.edu.tw, student_ID@o365st.cycu.edu.tw
• Please use browser-based login instead of the application program to avoid login problems.
• Please be considerate/polite, and show up only during the office hours of a course. The students in the lab need quiet time for their studies and research. 
• 講義上有的內容，請同學要先查看或聽影片。有問題或疑義，再詢問助教。
• Email: If you have further questions, please email the TA. (cc (副本) teacher: chhsu135 at Gmail) TA will handle your questions or concerns. TA will discuss with me if she/he cannot resolve the issues.
• 2026 秋 (Fall) 
• Dynamic Programming and Reinforcement Learning (動態規劃和強化學習)，博士班 (PhD)
• Form for you to fill in
• 助教：廖庭煜 (Angus)
• 作業研究 (上)，工業三乙
• 登記，課前預習和每週進度
• 助教：  (email:   at Gmail)，  ( ) (email:    at Gmail) 
• 辦公室時間：莊敬 302， (一) 15-17 pm， (二) 13-15 pm
• 學習數學的四個層次
• 中原隨筆 (My days at CYCU)
• 翻轉教室 (Flipped classroom)：工業系 許某教授，什麼是『大學生』

• 課程組員互評表 (Evaluation form for team members)
• Deadline: the day for the last class meeting time
• Default: If no one answers, everyone will get the same score for project participation.  If only 1 person fills in the form, we will use that as the group score for project participation.
• The best way to contact me (email):  chhsu135 AT gmail DOT com (主旨：修課名稱和班級，學號，姓名) (Subject: Class, student ID, Name)
• 辦公室 (My office)：(工業系館) 莊敬大樓 (Building no. 23 for ISE) 201-3，電話 (phone)  03 265 4427。辦公室時間，四 3 - 5:50 pm (歡迎使用 Microsoft team)。導生 (分組登記)。FB，Threads。

中原隨筆 (My days at CYCU)

在台南住了20幾年，因為種種因素，來到中原大學任教。懷念台南的好天氣、上下班不太塞車、和美食。秉持共好的精神，紀錄我在中原的所見所聞。

• 商業分析實驗室 (Business Analytics Laboratory)
• 指引 (Guides)，論文報告 (Group meeting)
• 新課：Dynamic Programming and Reinforcement Learning (動態規劃和強化學習)，Nonlinear Optimization (非線性最佳化)

Buena Vista Social Club

CBS Sunday Morning,  "Buena Vista Social Club" serenades Broadway (感人的故事，令人驚豔的舞台效果)