Dynamic Programming and Reinforcement Learning (動態規劃和強化學習)

• Course objective: This course introduces dynamic decision-making under uncertainty, with an emphasis on dynamic programming and reinforcement learning. Drawing on applications in business and engineering, students will learn key theories and algorithms for solving multi-stage decision problems, both with and without explicit models of the environment. Assignments and a final project provide practical experience in problem formulation, algorithm evaluation, and Python-based implementation.

Nice talks on AI, geopolitics, optimization, SCM, and more

Vivek Farias and Jason Acimovic, Channel Fulfillment Problem Optimization, INFORMS, 2019.

References for graduate students and my laboratory members

Knowledge to master for a better foundation (and future)

Tools and general: 

•  Adi Ignatius, “We Want to Make Ourselves Better”: The HBR Interview with Bob Sternfels, Harvard Business Review, January–February 2026.  (new)

下廚 (歐貝拉，Cooking)

對我而言，煮飯是離開螢幕、讓腦袋放空和眼睛休息的好方法、也可以半蹲切菜以活動筋骨。久坐也不好，起身煮飯時，至少是站着。當然，用料也比較健康。

整個過程也和做研究是一樣的，從開始的流程設計、火候的觀察與修正、觀察結果、再持續改善；菜色和配料也要持續變化，想辦法創新。煎魚的時候，為了避免想要一直翻面的缺點，就設定鬧鐘，避免人為疏失。

煮菜最花時間的，莫過於備菜和收尾，內人在家時，這些工作大多她包了，我只負責下鍋。最重要的是，夫人不斷地鼓勵與正向回饋，令人有成就感。有一次和上課的同學聊天，同學們說：「師母提供滿滿的情緒價值」，說得真貼切！

紅酒燉牛肋條 (Beef short ribs braised in red wine)

一些常聽的 Podcast 節目和培養英文聽力的方法

一些常聽的 Podcast 節目 (*)，適合坐車、(讓眼睛) 休息、睡前、或運動時聽 (Some frequently listened-to podcasts (*) suitable for listening while traveling, giving your eyes a rest, before bed, or during exercise.) 

• Acquired (You could look at its transcript using iPhone.)

研究 (Research)

Journal articles:

• P.-S. Chen, H.-Y. Liu, and C.-H. Hsu, Economic Order Quantity of Deteriorating Drugs with New and Redistributed Demands in a Closed-loop Supply Chain: From the Viewpoint of a Hospital Pharmacy, International Journal of Systems Science: Operations & Logistics, 2026, Vol. 13, No. 1. (SCIE) 
• P.-S. Chen, J. Lyu,  C.-W. Chen, I.-H. Yu, and C.-H. Hsu, The Social-economic Value of a Renewable Energy Power Generation and Energy Storage System: A Case Study, International Journal of Systems Science: Operations & Logistics, 2026, Vol. 13, No. 1. (SCIE)
• H.-A. Bui, C.-H. Hsu, H.-W.V. Young, Y.-Y. Chen, and Y.-A. Liou, Advanced Semi-Supervised Learning for Remote Sensing-Based Land Cover Classification in the Mekong River Delta, Vietnam, Remote Sensing, 2026, 18, 989. https://doi.org/10.3390/rs18070989. (SCIE)

(Plz read it first) Business Analytics Laboratory (商業分析實驗室)

(Important) Please read this webpage first if you want to join my lab and schdule an interview.

(26/7/10) Another paper published in IJSS (Closed-loop EOQ)

(26/7/8) 115 學年度教育部校務發展獎補助計畫通過 (Industrial AI Teaching Platform)

(26/7/1) 國科會115 年度計畫通過 (NSTC project awarded)

服務和計畫 (Service and Projects)

政府計畫 (Government Project)

• 國科會，高維度受限迴歸模型與稀疏特徵選取：快速座標下降演算法和應用 (High-Dimensional Constrained Regression Models and Sparse Feature Selection: Fast Coordinate Descent Algorithms and Applications)，主持人 (PI)，115 年度 (2026/8 - 2027/7)
• 國科會，公平最佳決策樹和其應用 (Fair and Optimal Decision Tree and Its Applications)，主持人 (PI)，114 年度 (2025/8 - 2026/7)

產學合作 (Industry-Academia Cooperation)

• 金屬工業研究發展中心 (Metal Industries Research & Development Centre)，最佳化決策於工站排程應用之研究 (Optimal Decision-making in Work Station Scheduling) (3)，主持人 (PI)，2024

改變世界的17個方程式

Ian Stewart, In Pursuit of the Unknown: 17 Equations That Changed the World, Basic Books, 2012.

李政崇譯，改變世界的17 個方程式 (第2版)，商周出版，2025

AI Alignment

Articles: 

• 李珊珊，「從中學就開始培養 AI 天才？」前美國奧數主教練羅博深：這讓我脊背發涼，知識分子，2026.6.23 (Prof. Po-Shen Loh) (new)

知識分子：您的意思是，在高中階段就對 AI 人才進行針對性的超前培養，太早了？
羅博深：不只是太早的問題，而是這種「純技術導向」的教育結構本身就存在致命缺陷。
如果一個孩子從高中起就進入純理科的軌道，每天只跟演算法、模型和程式碼打交道，從來沒有讀過小說，從來沒有在具體的文學語境裡理解人類複雜的現實，不懂道德約束與同理心，那麼當他掌握了最尖端的技術力量，他可能會在無意間對整個社會造成無法挽回的傷害。
一個人如果擁有龐大的科技力量，卻對它的邊界和人文影響完全不了解，他根本不應該去接觸這些核心技術。這就像核武器一樣。
所以，每當我看到一個因為過早分軌、在知識結構裡完全缺失人文的理工科學生，我都會擔憂：他真的不應該繼續做前沿科技研究了。我們已經走到了一個技術極有可能危及全人類的節點，如果一個人的教育結構是這樣一條腿長、一條腿短的狀態，他就不應該被允許繼續往這條路上走。

知識分子：您曾提到，面對來自 AI 的挑戰，孩子們需要更加「Thoughtful」，能具體解釋一下嗎？

羅博深：我習慣用英文原詞來定義它，翻譯成「深思熟慮」之類的，並不太準確。

Thoughtful 的人有兩個核心特質。第一，有共情能力，體貼周到，真心希望讓別人快樂——不只是父母和朋友，也包括陌生人，這才是真正的利他精神。第二，肯真正地去思考——他們喜歡「理解」事物，而不只是「會做」。有些學生考試能拿高分，但只是機械地照著方法做，並不理解背後的邏輯。我要找的是那種喜歡用自己的獨立思維想清楚一件事、不滿足於別人給定的標準答案的人。

對人和對問題都有洞察，只要具備這兩點，一個人在未來會成長得很好。

• Medha Bankhwal, Ankit Bisht, Michael Chui, Roger Roberts, and Ashley van Heteren, AI for social good: Improving lives and protecting the planet, McKinsey, 2024.
• Yoshua Bengio et al., Managing extreme AI risks amid rapid progress, Science, 20 May 2024, Vol 384, Issue 6698, pp. 842-845 (arXiv)
• Jiaming Ji et al., AI Alignment: A Comprehensive Survey, arXiv:2310.19852 (website)
• Jack Stilgoe, Technological risks are not the end of the world, Science, 18 Apr 2024, Vol 384, Issue 6693.

上課內容 (Teaching)

許志華，中原大學，電機資訊學院，工業與系統工程學系

• Please use the school's MS team account for online sessions. 
• Login Account: 學號@o365st.cycu.edu.tw, student_ID@o365st.cycu.edu.tw
• Please use browser-based login instead of the application program to avoid login problems.
• Please be considerate/polite, and show up only during the office hours of a course. The students in the lab need quiet time for their studies and research. 
• 講義上有的內容，請同學要先查看或聽影片。有問題或疑義，再詢問助教。
• Email: If you have further questions, please email the TA. (cc (副本) teacher: chhsu135 at Gmail) TA will handle your questions or concerns. TA will discuss with me if she/he cannot resolve the issues.
• 2026 秋 (Fall) 
• Dynamic Programming and Reinforcement Learning (動態規劃和強化學習)，博士班 (PhD)
• Form for you to fill in
• 助教：廖庭煜 (Angus)
• 作業研究 (上)，工業三乙
• 登記，課前預習和每週進度
• 助教：  (email:   at Gmail)，  ( ) (email:    at Gmail) 
• 辦公室時間：莊敬 302， (一) 15-17 pm， (二) 13-15 pm
• 學習數學的四個層次
• 中原隨筆 (My days at CYCU)
• 翻轉教室 (Flipped classroom)：工業系 許某教授，什麼是『大學生』

• 課程組員互評表 (Evaluation form for team members)
• Deadline: the day for the last class meeting time
• Default: If no one answers, everyone will get the same score for project participation.  If only 1 person fills in the form, we will use that as the group score for project participation.
• The best way to contact me (email):  chhsu135 AT gmail DOT com (主旨：修課名稱和班級，學號，姓名) (Subject: Class, student ID, Name)
• 辦公室 (My office)：(工業系館) 莊敬大樓 (Building no. 23 for ISE) 201-3，電話 (phone)  03 265 4427。辦公室時間，四 3 - 5:50 pm (歡迎使用 Microsoft team)。導生 (分組登記)。FB，Threads。

中原隨筆 (My days at CYCU)

在台南住了20幾年，因為種種因素，來到中原大學任教。懷念台南的好天氣、上下班不太塞車、和美食。秉持共好的精神，紀錄我在中原的所見所聞。

• 商業分析實驗室 (Business Analytics Laboratory)
• 指引 (Guides)，論文報告 (Group meeting)
• 新課：Dynamic Programming and Reinforcement Learning (動態規劃和強化學習)，Nonlinear Optimization (非線性最佳化)

Buena Vista Social Club

CBS Sunday Morning,  "Buena Vista Social Club" serenades Broadway (感人的故事，令人驚豔的舞台效果)

作業研究期末報告

優秀作品 (內容和投影片製作)

• 戴維萱、彭彥智、蔣咏錡、鍾定豊、黃郁潔，冷凍食品配送車輛路徑問題的最佳化模型(2026 春作業研究 (下)，學科競賽版本)
• 林昱綺、李昀諺、嚴振瑋、許耀倫、蕭瑋萱，結合蟻群演算法之物流配送路徑最佳化研究 (2026 春作業研究 (下)，學科競賽版本)
• 胡嘉豪、陳昱安、彭琬婷、呂仲皓，醫院護理人員排班最佳化之應用 (2026 春作業研究 (下)，學科競賽版本)

Use LLM to learn *** and its impact

Research and development

• Marina Favaro and Jack Clark, When AI builds itself, Anthropic (new)
• As of May 2026, more than 80% of the code we merge into Anthropic’s codebase was authored by Claude.
• In the second quarter of 2026, the typical engineer was merging 8× as much code per day as they were in 2024.
• On the most open-ended tasks, Claude’s success rate reached 76% in May 2026, up 50 percentage points in six months.
• In this world, the pace of progress in AI development becomes determined entirely by the availability of compute (or the speed of discovering various efficiencies in algorithmic training or inference) for AI systems. Humans play a substantially diminished role in their development, likely moving most of our effort towards oversight, validation, and verification of an expanding “virtual lab” run by AI systems. We expect that systems capable of automated AI research and development would have skills that would transfer to the rest of science, allowing them to begin to revolutionize other fields.
• Dimitris Bertsimas and Georgios Margaritis, Robust and Adaptive Optimization under a Large Language Model Lens, arXiv:2501.00568. 

高教的反向重分配現象

RedHerrings (白經濟網站作者)，【數字說話】教育能翻轉人生嗎——高教的反向重分配現象，報導者，2018.9.10

一份來自台灣大學經濟學系系主任林明仁與學生沈暉智的研究，揭露台灣高等教育反向重分配的事實：越有錢的人，子女進入台大的機率也越高，而台大花在每位學生的支出明顯也高於其他私立學校，造成有錢人子女得到政府的資源相對多。國立大學長期維持「低學費高補貼」是否真的公平？

工業系作業研究學科競賽

主題 (開放題目) (二選一)

• 結合生產計畫與管制和作業研究兩門課求最佳解，包括工廠 (或公司) 內的排程、派工、設施規劃、廠內運輸、廠外運輸、供應鏈網路設計等相關問題 
• 以桃園巿為研究對象的相關最佳化問題

助教：蔡豐安 (Frank) (email: ann3866631 at Gmail)

所有的文件格式，以修課班級為主。

YouTube 人氣獎

• 影片上傳期限：5/21 ~ 5/28 (6 pm)

Nonlinear Optimization (非線性最佳化)

• Course objective: Nonlinear optimization is widely used in engineering, business, data science, and machine learning. We will introduce fundamental algorithms through examples in this course, enabling students to read research articles, formulate their own problems, and solve them efficiently using the appropriate algorithms.

Summarized AI information from Stanford HAI and IEEE Spectrum

Want to understand the global AI landscape? These reports are fantastic for staying updated on state-of-the-art trends. I highly recommend them to all my students, especially for doing research and job interview prep.

Stanford HAI, The 2026 AI Index Report

Eliza Strickland, 12 Graphs That Explain the State of AI in 2025 Stanford’s AI Index tracks performance, investment, public opinion, and more, IEEE Spectrum, 07 Apr 2025

• Stanford HAI, The 2025 AI Index Report

Eliza Strickland, The Top 10 AI Stories of 2024, IEEE Spectrum, 31 Dec 2024.

捐款給大學

美國大學 (和其研究、人才培育、衍生公司) 持續進步的重要原因

Michael T. Nietzel, University Of Wisconsin Receives $100 Million For Its New AI College, Forbes, Apr 28, 2026 (一億美金)

(教書有感) 態度與方法

以前念博班的時候，指導教授雖然有提供獎學金，但採取的是自由開放方式。而且，他一次只思考一件事情，所以要爭取和老師見面的機會不多。到了寒暑假，教授回家鄉，進入釣魚和思考的時間， 也不可能連絡到他。學期中，有時候研究卡關了， 一點進度也沒有，也要硬著頭皮硬擠出些東西出來， 主動和老師約時間討論。見面的時候，也大多由我講，老師負責聽和給方向。和老師討論時，有時候，老師在黑板上，隨手畫了個方程式，或是在一張紙上寫了5個字，我也是小心翼翼地抄下來、或者把那張紙拿回家，好好思考。 我至今還保留那些真跡。 

(求職) 詐騙

內政部警政署，165打詐儀錶板 (大學生) (導師會議時，學校邀請刑事局警官來演講)

作業研究競賽題目

Please cite this webpage if you use the material/method in this blog. Thank you. (如果您使用本部落格中的資料/方法，請註明此來源網頁。謝謝。)

• Some papers/information for idea generation or implementation

資料科學相關研究所和職涯準備

基礎知識：工業系必修課程 

• 資料科學：領域知識 (智慧製造，量化投資，行銷等等)，數學，資訊科技 
• 如果不會寫 for loop 和 function：自學 Python (每一講有作業)
• 很棒的免費課程：CS50's Introduction to Programming with Python (Malan at Harvard), Mathematics for Machine Learning and Data Science (at Coursera)
• 發展和待遇：機器學習，AI 工程師，最佳化演算法，optimization，量化交易 (方法)，智慧製造演算法，作業研究 (台達電，薪水，奇點無限 )，資料科學家
• 謝謝庭煜

上：

• 核心：IE623G 機器學習，IC258D 資料結構 (查怡老師)，CS361L 資料庫系統 
• 庭煜跟我念 4 + 1，修資料結構，拿到全班第一名，系上還提供一萬元的獎金。大四也有修資料庫系統，和此文章中許多難的課程，加上努力，所以研究做得好。據我所知，只有他聽進去我的建議。
• 數學：MA305G 離散數學，MA202 高等微積分(一)，MA306G 數值分析
• 資訊科技：IE440G 系統模擬 (包含數學和領域知識)，IE250D 網路原理與應用，IE302G 製造聯網整合技術
• 領域知識
• 作業管理 (含智慧製造)：IE238G 電腦輔助設計與製造等等
• 量化交易：FA319 財務管理(一)，FA295E 金融市場，FA082G 投資學等等
• 行銷：BA245 行銷管理學，BA336 網路行銷，IU209G 消費者行為 (和 IT911D 二選一) 等等

下：

• 核心：IE326G 人工智慧導論，IE371G 實驗設計，EL602L 計算機演算法
• 數學：MA202 高等微積分(二)，MA203 微分方程(一)
• 資訊科技：MA405M 圖論演算法，IE582G 視覺系統
• 領域知識
• 作業管理 (含智慧製造)：IE431G 電腦整合製造，IE527G 物聯網與大數據於智慧製造應用 等等
• 量化交易：FA320 財務管理 (二)，FA011 金融科技，FA323 區塊鏈與加密貨幣，FA447 期貨與選擇權等等
• 行銷：IT911D 消費者行為等等

中原大學 x 台積電半導體智慧製造學程。

預備研究生 (4 + 1) 

• 獎學金和支援
• 節省一年時間。
• 學校：
• 歷年平均成績系排名在前 30% 者，發給獎學金貳萬元整。獎學金於學生就讀碩士班一年級依學期分 2 次發给。
• 全人榮譽獎，全人標竿獎。
• 系上：
• 歷年平均成績系排名在前 20% 者，發給獎學金十萬元整。
• 參與國外國際研討會與競賽之報名費、交通費、住宿費與生活費，至多兩萬元。
• 商業分析實驗室 (Business Analytics Laboratory)：論文。
• 人少，老師 (每週) 單獨討論。學生的光，老師看得見。
• 根據經驗，班排不是一個絕對的指標。重點在於想要 (投入時間) 改變自己。
• 可詢問庭煜，準時畢業且有良好的研究成果。建議從三下開始；庭煜從三下準備校外機器學習競賽、暑假實習和我做研究。
• Guides for students in Business Analytics Laboratory (實驗室學生指引)：修課。
• Nice quality to have: Enjoy learning and coding (or willing to), think independently, willing to share and help
• 表現優良，老師將提供研究助理費。

資訊

• 同學的問題：我們 (工業系) 從事軟體開發和資工系的差別？
• 我：如果想要從事軟體開發的 (高薪) 工作，量化學科的基礎 (例如機統、作業研究)、流程和系統的思維 (例如生產計劃與管制、品質管制、人因工程)、和商管的知識背景 (例如經濟學、會計)，是工業系的優勢。只要加上軟體系統開發需要的課程，例如資料結構、資料庫、(資管) 系統分析與設計 (開放式課程)、演算法、物件導向分析與設計、作業系統、離散數學等等，就可如虎添翼。工業系畢業學長姐，目前 (2023) 擔任純網銀的董事長和台北市資訊局副局長，就是最好的例證。
• 舉例說明工業系的優勢：線上購物定價的需求函數和最佳化，資訊系統的人機介面 (可以利用機統、實驗設計、機器學習做進階分析)，熱門售票活動中的 (軟體系統) 瓶頸等等。
• 曾子軒，旺宏吳敏求：AI 時代與其學程式，懂應用數學才是業界最想要人才，遠見，2023-11-10
• 一方面感念母校栽培，一方面從個人經驗中認知到統計學，甚至是人工智慧的重要，吳敏求因此效法黑石集團 (Blackstone Group) 創辦人蘇世民 (Stephen Schwarzman) 捐贈麻省理工學院蘇世民運算學院 (MIT Schwarzman College of Computing，簡稱 MIT 運算學院) 的作法，捐贈成大設置敏求智慧運算學院。
• 數學邏輯和程式語言的邏輯是相通的。
• Brian Christian and Tom Griffiths, Algorithms to Live By: The Computer Science of Human Decisions, William Collins, 2017. 甘錫安譯，決斷的演算：預測、分析與好決定的 11 堂邏輯課，行路，2017

我們的歲月靜好，是因為有人負重前行

賈永婕 (台北 101 董事長)，Threads，2026/2/8 

昨天我是真的看到這一篇文，看到所有的細節，我真的很震驚不敢相信這一切是發生在 1980 年。老實說我真的一直以為林宅案是當年 228 白色恐怖時期。大家覺得不可思議我怎麼可能現在才知道林宅案，不是現在才知道，而是才知道細節還有一切都發生在自己成長的年代，那個我以為法治安定的社會。

失控的焦慮世代

鍾玉玨譯，失控的焦慮世代：手機餵養的世代，如何面對心理疾病的瘟疫，網路與書出版 ，2024

The coming wave

Mustafa Suleyman and Michael Bhaskar, The Coming Wave: Technology, Power, and the Twenty-first Century's Greatest Dilemma, Crown, September 5, 2023

洪慧芳譯，控制邊緣：未來科技與全球秩序的抉擇，感電出版，2024

2025 Franz Edelman Award

2025 Edelman Competition (video, special issue in the INFORMS Journal on Applied Analytics)

Ryan Cooper, Lindsay Golich, Craig Griffin, Jono Hailstone, Jim Miller, Gary Sutton (2026) Project 4:05: Optimizing USA Cycling’s Women’s Team Pursuit Gold. INFORMS Journal on Applied Analytics 56(1):5-22. (2025 Franz Edelman Award Winner) (Keywords: Edelman Award team pursuit, operations research aerodynamics, optimization, mixed-integer programming, sports analytics, Olympic cycling)

怎麼讀經典？

葉浩，高中生怎麼讀經典？一個人文漫遊者的建議，報導者，2016/4/10 (大力推薦報導者，甚至每月固定捐款) (2016 全國高中生人文經典閱讀會考指定閱讀書目)

眾說紛紜，你可能已經暈頭轉向，但讓我們稍稍將自己從這些批判聲浪中抽離出來，我想先介紹經典的四種書寫策略：解釋 (explain)、詮釋 (interpret)、批判(critique)、提出處方 (prescribe)，熟悉這些概念之後，將來你閱讀任何「經典」會少去很多迷航的時間，面對任何言論也比較不會迷失，因為你將可以清楚地將他們定位。

What It Takes

Stephen A. Schwarzman, What It Takes: Lessons in the Pursuit of Excellence, Simon & Schuster, 2019.

蘇世民、趙燦譯，蘇世民：我的經驗與教訓，香港中和出版，2020

我們平常人希望能從這些傳記中，學到思考、與做事情 (決策) 的方法 (151 頁)，以提升自己的能力。164 頁設定兩個組織的目標 (excellence and integrity)，使用專注 (focus) 和尋求幫忙 (ask for help when needed) 達成 100% 的卓越目標；考慮長期的名聲 （reputation)，例如誠實、努力工作、尊重別人、言出必行。張忠謀自傳中描述，德儀的基本價值是 integrity (誠信正直) ；張創辦人於 1994 年寫下10條的經營理念，最重要的第一條：台積電堅持高度職業道德，例如說真話、不誇張、不作秀、用人的首要條件是品格與才能等。

347 頁建立公司文化 (Lifetime learning, excellence, relentless innovation in action)。

Desiderata (渴望)

Max Ehrmann, Desiderata (渴望), 1927  (讀書看到這一個英文單字，上網一查意外發現這篇文章。人生真是處處充滿驚喜)

Go placidly amid the noise and the haste, and remember what peace there may be in silence. As far as possible, without surrender, be on good terms with all persons.