Generative AI Restropect In 2023

2023-12-22

回顧生成式 AI (Generative AI) 2023 年的發展歷程與個人使用經驗。

說明

2023 年是生成式 AI 技術的突破年，這一年見證了從大型語言模型到圖像生成的各種創新，以及各式結合 生成式 AI 的創新應用。

ChatGPT：語言模型的新紀元

約莫從 2023 年初開始，從一開始就讓人十分驚豔的 ChatGPT 3.5，再逐步熟悉 生成式 AI 的「能」與「不能」後，在日常生活與工作當中的問題處理，都優先使用 ChatGPT 來詢問。確實有感與以往使用 Google 查詢到部落格文章、官方 Documents 或者是 Stackoverflow 等討論的問題處理方式的不同，統一的 ChatGPT 問答介面以及追問的功能，讓處理問題變得更便利。

由於早期介面還不夠完善，會搭配許多 Browser Plugins 的方式，利用現成的 Prompt Template，也稍微研究 Prompt Engineering 試圖問更好的問題，得到更好的答案。

而隨著 Custom Instruction 的開放，讓原本需要在每次問題對話反覆加入的角色扮演 (你現在是一個資深的軟體工程師...) 、回答設定 (請使用繁體中文回答 #zh-tw)，都可以不再需要重複輸入。

儘管 ChatGPT 4 很快速的接著開放付費使用，但卻一直沒有實際使用，替代的方式是透過 Bing (Microsoft Copilot) 來使用 ChatGPT 4。

但太慢的回應速度是硬傷，同時 Bing 是以搜尋網路內容導向，雖然提供結合最新資訊的優點，但也讓回答聚焦在搜尋結果的綜整。

同時隨著大家不斷玩壞 Bing，讓 Bing 限縮回答特定關鍵字，造成的誤判問題或者幾次問答 Bing 就高歌離席，讓使用體驗很差，後期幾乎不再使用 Bing，也就只維持在使用 ChatGPT 3.5 (最近的 Microsoft Copilot 體驗也是如此 😥)。

而在 ChatGPT 推出 GPTs 後，為了更加的「客製化」自己的 ChatGPT 問答體驗，同時也享受使用強者群所設定的 GPTs，開始付費訂閱使用 ChatGPT 4。

目前實際使用 GPTs 的情況仍是有限，因為 40 Messages / 3HR 的用量限制，更多時候是將負責的問題交給 ChatGPT 4 回答，也確實有感回答的品質優於 ChatGPT 3.5。

偶爾 Code Interpreter (生成式 AI 產生 Python Code 執行結果再由生成式 AI 負責處理) 也會派上用場，搜尋的功能就少用，偶爾有多的 Messages 用量，就用來畫圖，藉由 ChatGPT 產生的 Prompt 以及 DALL·E 3 所產生的圖片與 Prompts，如果想要進一步產生圖片則可以將 Prompt 用於 Bing Image Creaator 大量產生。

一開始對於模型的 Input/Ouput Tokens 沒感覺，因為在使用 ChatGPT 的時候都是輸入的問答，但當發現能夠將整個 PDF 或者是龐大的文本內容都交給 LLM 的時候，就感受到模型 Tokens 的重要性。因為使用 LLM 熟練後，日常的使用情境就是讓 AI 正確明白你的問題意圖，並且最好是能夠以最佳的知識範疇來回答問題。

如果能夠將與問題直接相關的文本內容交由 AI 處理，搭配少量的問題 Input，得到的回答品質會大量提升，避免早期使用時的 AI 幻想問題。

所以也有稍微玩了 Anthropic claude 2，但沒有付費的關係，在使用量的限制下，且實際體驗大型文本沒有想像中的大，且等待的回應時間長，就沒有再進一步的使用。

而在訂閱 ChatGPT 4 後，也支援上傳 PDF 的功能，偶而在摘要論文資訊上，有派上用場，但多數時候仍是因為回應速度的關係，而少用。

Azure OpenAI

生成式 AI 登場的 2023 年，對於企業的應用外，除了 ChatGPT 或者是其他整合生成式 AI 的應用，直接將自己的服務介接 OpenAI 的 GPT API 是最為省時省力，導入 生成式 AI 的方式。

而由於微軟與 OpenAI 的合作，在 Cloud 服務豐富且穩健的 Azure 上，使用 OpenAI GPT Series 是一個選擇。

今年嘗試了介接 Azure OpenAI 的 ChatGPT API，比起直接使用 ChatGPT 有更多的彈性，包含 system 與 user prompt 的客製，

• API
• Prompt Engineering
• Fine Tuning
• RAG

Generative AI In Enterprise Application

視覺AI的躍進：DALL·E 和 Midjourney

在視覺AI領域，DALL·E 2和DALL·E 3顯示了生成式AI在圖像創作上的巨大潛力。這些工具能夠基於文字提示生成令人驚嘆的圖像，從而開啟了創意表達的新篇章。Midjourney也以其獨特的圖像生成能力吸引了廣泛的關注，進一步證明了生成式AI在藝術和設計領域的應用潛力。

• Stable Diffusion：開源革命

Stable Diffusion作為一個開源項目，對生成式AI的發展起到了關鍵作用。它提供了一個更易於訪問和實驗的平台，使得更廣泛的社群能夠參與到AI生成藝術和內容的創造過程中。

Bing Image Creator

GitHub Copilot

不連續的使用了兩個月 GitHub Copilot，許多新的功能是實現在 VSCode 上面，但對於工作以 Visual Studio 的情況而言，稍微可惜。

而偶爾 GitHub Copilot 最大的用途反而是在 VSCode 的文本或者資料處理，AI 能懂你的心少打幾行，程式碼的感覺真的是很棒，

但心得是仍是等待 GitHub Copilot 更加完善後再使用，目前仍是以剪貼問題到 ChatGPT 問答的方式為主。

• GitHub Copilot
• GitHub Copilot X

Self-hosted LLM Service

這些是 2023 年還來不及玩的項目，如能夠自助部署簡化版的 LLM 能夠激盪出很多新的應用。

• Llama 2
• mistral 7B
• Ollama
• PIP transformers