Sakana AI 推出 Text-to-LoRA：用於產生特定任務 LLM 適配器的超網絡

日本人工智慧公司 坂名愛 引入了一種名為 Text-to-LoRA 的新方法，這是一種超網路架構，旨在根據文字任務描述為大型語言模型 (LLM) 產生特定於任務的低秩自適應 (LoRA) 模組。

這種方法的靈感源自於生物系統，尤其是生物體如何利用有限的輸入快速適應環境刺激——例如人類視覺如何適應不同的光照條件。相較之下，現代法學碩士（LLM）雖然能力強、知識面廣，但通常需要耗費大量人力來微調，並需要大量資料集才能適應特定任務。

文字轉LoRA（T2L）透過訓練超網路來解讀描述任務的自然語言提示，然後產生針對該任務優化的相應LoRA適配器，從而解決了這個難題。實驗結果表明，T2L可以有效編碼各種現有的LoRA模組。雖然壓縮會引入一些損失，但最終的適配器仍能達到與直接針對該任務進行調整的適配器相當的性能。

此外，T2L 還展示了其泛化能力，能夠應用於訓練過程中未曾見過的新任務，前提是提供清晰的文本描述。該系統的優勢在於其效率——它通過一個輕量級的生成步驟即可生成 LoRA 適配器，無需針對特定任務進行進一步的微調。

這項發展減少了客製化基礎模型的障礙，使得具有最低限度技術知識或有限計算資源的使用者能夠僅使用自然語言創建專門的模型行為。

Sakana 推動受自然啟發的人工智慧 

Sakana AI 是一家位於東京的人工智慧研究機構，致力於透過受自然系統影響的方法論來探索人工智慧發展。該公司不依賴單一的大型模型，而是專注於將多個小型自主模型組合起來，形成一個協調一致的整體，其概念類似於魚群等生物系統。這項策略強調適應性、資源利用效率和長期可擴展性。

公司最近 介紹 達爾文·哥德爾機，一個能夠自我修改程式碼的人工智慧代理。受進化論的啟發，該系統維護一系列變體代理，從而能夠在廣泛的自我改進架構中進行持續的實驗和改進。