今次親身去 re:Invent 2024 睇實時發佈，發佈會有兩個位觸動到我聯想起港式 Meme「人類總是犯同樣的錯」、「我全都要」，見 storage、database、analytics、GenAI 都有新突破，分享一下幾深刻嘅新產品及功能。

AWS Hong Kong re:Invent re:Cap

AWS 香港團隊亦會於12月19日舉辦 AWS re:Invent re:Cap由 AWS 技術專家分享活動精華和介紹適合香港應用的新服務！

立即報名

AWS re:Invent 2024 CEO Keynote

突破一：幾何級數壓低 LLM inferencing 及 training 成本

由 Amazon CEO Andy Jassy 整個發佈過程提到好多喺 Amazon production GenAI use cases 好值得學習，親自發佈新 Amazon Nova foundation models：

  • Nova Micro
  • Nova Lite
  • Nova Pro
  • Nova Premier

根據 benchmark 係可以匹敵 gpt4o-mini、gpt4o、gemini-1.5-pro、gemini-1.5-flash，對應級數嘅 Nova inference 成本減 75% 而且速度快 1 倍！

Core capability multimodal benchmarks and results

Andy Jassy 發佈時 (1:44:30) 提到一個「人類總是犯同樣的錯 - never going to be one tool to rule the world」，舉例有啲人用 10 年時間去拗 NoSQL v.s. RDBMS 結果百花齊放、用 7 年去証明 Tensorflow will be the one AI framework 最後由 Pytorch 跑出，寓意 GenAI 作為其中一件工具，喺一啲特定場景啱用夠，時代証明咗「工具啱用已經係最理想」。

另外 training 方面，AWS AI chip Trainium 升級到第二代 Trainium 2 比起上代快咗 40%，仲透露下一年 Trainium 3 用 3nm 製程而可以，每粒可以再快 40%，一個罕見嘅幾何級增長。

有 Chip 只係第一步，Amazon Bedrock 最新加入 Managed Model Distillation 功能，developers 簡單準備一啲特定場景嘅 prompts，後台自動用「大 LLM」generate synthetic response fine-tune「細 LLM」，於特定場景下可以做到「大 LLM」差唔多嘅效果但快 5 倍以及慳 75% 成本。

AWS CEO Matt Garman：

Generative AI will be a core component of every application

我都相信 Generative AI 加速改變 user behaviour，今年由 infrastructure 到 application development 都可以做 LLM optimization，相信一啲開發成本到運行 LLM 成本問題而行唔通嘅 use cases，展望 2025 可以有突破性發展。

突破二：Database 「我全都要」

AWS CEO Matt Garman 發佈會當中一直埋下伏筆講不同類型 Database 的 trade-off，講一啲 design challenage，再列出 engineers 期望例如 Multi-region、active-active、strong consistency，最後用「Tyranny of OR - Genius of AND」表達「我全都要 AND」去發佈最新 Amazon Aurora DSQL 以及 Amzon DynamoDB global tables 能夠全部做到哂，相信日後 enterprise 要滿足 compliance 會易容好多。

突破三：S3 不再是純粹 Object Storage

最新 Amazon S3 Tables 擁有所有 S3 優點亦可以直接儲 tabular structured data ，用 Apache Icebreg 跑 analysis 快 3 倍以及 10 倍 throughput。

開得呢條新路，我有好強烈預感之後會有更多新 structured data format 去 optimize computation。

突破四：AI x Data x Analytics 結合成為一整個產品

發佈會入面有一張圖我幾鐘意，將整個 AI & Data & Analytics & Control and Goverance 打包做一個整合體驗，推出 Amazon SageMaker Unified Studio，宏願係一個 online IDE 搞掂哂成條路 query -> transformation -> analysis -> training，加速一啲對 data scientist R&D 嘅速度。

我幾鐘意最後完場前一句，短短一句解通咗點解咁多人去 re:Invent。

We invent so you can reinvent

AWS re:Invent 2024 後記

話說呢兩日過咗 Las Vegas AWS re:Invent，黎到先發現原來 re:Invent 與我想像中係幾唔同，感受到好強烈 Learn Hard, Play Hard。 整個日程基本上唔愁早午晚餐，朝早 Learning 傍晚 Party ，而且內容由 level 100(entry) 到 level 400 (expert) 都會有，加上有大量 Demo 可以玩，任何與 IT 相關嘅都唔會悶親。

今日只係黎到第三日，晚晚都有 party 未有時間寫得好詳細，黎緊我會將整個 re:Invent 系列寫多幾篇分享下喺會場見到嘅 GenAI use cases、體驗、反思以及技術心得，順便留個記錄俾自己。