◎林蔚昀
人本來找我,希望我談談關於「AI改作文」。而且,不只希望我抒發對此議題的感想,他們真的希望我拿我的文章給AI改,然後評論AI批改的結果。
這麼好玩的實驗,我當然欣然接受啊!
和許多人可能認為的不同,我雖然是資深作家和翻譯,但我不以「藝術家」自居,也不覺得寫作或翻譯是一項人類專屬的「手工藝」。既然有新科技,那就該好好使用,不然就很像電腦發明了還堅持只能手寫,電梯發明了還堅持一定要爬樓梯,沒必要嘛。
我的職業也經常會使用到AI。之前為了把我的作品推向國外,我用CLAUDE AI PRO把全本翻成英文和波蘭文SAMPLE,給出版社評估。
我目前還不敢用AI把外國文學翻譯成中文,因為不知道市場和台灣讀者接受度如何,也不知道台灣法律對此有沒有什麼規定。萬一讀者群起圍攻,我這一世英名不就毀了,目前還是玩自己的作品就好。
不過世界也在進步,學術圈對AI接受度越來越高,教育圈也開發了改作文的AI,新玩具當然要試試看。
我和人本說,既然要做實驗,只用一個AI不準,我想用我的CLAUDE AI PRO來當康軒AI的對照組。另外,只批改好文章也不準確,我想給他們一篇好文一篇爛文,這樣才能測出AI的能力,看他們是否能判斷文章的好壞。
可是剛開始實驗就碰到一個難題:我沒有爛文耶!
只好退而求其次,找一篇我發表過、有缺點的議論文〈當我們談論抵制俄羅斯女高音,我們在談些什麼?〉(註1)。因為康軒AI只能批1000字,所以我還把1500字的文章刪改成1000字。由於一定要選國中或者國小程度,我只好填國中。
在批改的時候我寫了一段備註,請他「特別注重論述技巧,是否讓人可以看懂,作者除了提出主觀想法,是否有對事實做出客觀分析。請分析本文優點和缺點是什麼,可以如何改進。」
康軒AI想了一下,批改出結果。在0~6的評分標準中,我的「立意取材」拿了6,「組織結構」拿了4,「遣詞造句」拿了5,「錯別字、格式與標點符號」拿了5。關於優點,康軒AI說本文「內容極為深刻」,還說:
你並未簡單地選邊站,而是從「文化與政治的關係」、「國家釋放的國際訊息」、「政府處理程序的爭議」到「社會建立共識的挑戰」等多個層次進行剖析,充分展現了統整、運用材料,並進一步闡述以凸顯主旨的能力。……立意層次極高,遠超國中學生平均水準。
關於文章缺點以及可改進之處,康軒AI說:目前的結構較像是一篇觀點的羅列,若能強化段落間的過渡與邏輯推演……,使之成為一個層層遞進的整體,說服力會更強。」「若能在句型上追求更多變化,例如運用長短句交錯或排比、層遞等修辭,能讓文章讀起來更有節奏感與氣勢。」「全文幾乎沒有錯別字,標點符號的使用也大致正確, ……除了結尾的句子不完整外,沒有影響文意表達,這點值得肯定。」
以上說的我同意,因為我寫文章確實有結構鬆散的老毛病,不夠有說服力,而且在議論時常訴諸以情,而不是用邏輯推演。康軒AI還幫我改寫文章,我看了,確實比較精煉有力、結構完整,看起來就像天下雜誌會刊登的文章,用了很多看起來專業的術語(比如「全球化」、「偽命題」、「超越性」)。不過,雖然精美,看起來會在作文考試得滿分,卻少了一點「我」的風格。我知道風格有缺陷,但那還是「我的」。我寫文章的目的不只是寫出一篇好文章,而是寫出一篇有「我的風格」的文章。即使如此,他對我的建議還是很好,可以參考。
為了進行對照,我把同樣的一篇文章給CLAUDE AI PRO批改,也用同樣的標準(說這是我的文章,叫他假裝我是國中生、也寫了那段備註)。他給出的評分是:「立意取材」5分,「組織結構」4分,「遣詞造句」5分,「錯別字、格式與標點符號」4分。關於優點,他說:
選題具有時事性和思辨深度,從ANNA NETREBKO事件切入,探討「取消文化」的複雜性。有明確的問題意識,從個案延伸到普遍現象。用詞成熟,句式多變,展現良好的語言掌握能力,呈現了NSO、俄烏戰爭支持者、反對者等不同立場。
至於缺點,他則說:「論點雖多但稍嫌發散,未能聚焦於最核心的論證。段落間的邏輯連接不夠緊密 ……。部分句子過長且複雜,影響可讀性。」另外,他也說我「客觀分析不足,大量使用『我們』、『難道』等主觀表述,問句過多,削弱說服力,全文11個問句,給人只提問不回答的感覺。建議將部分問句改為陳述句。」
至於結論,CLAUDE AI PRO的批判和康軒AI一樣:「結論模糊,僅重申問題,未提出明確立場。」總體建議是:
增加客觀論據:補充統計數據、官方文件、專家訪談。明確段落主題句:每段開頭用一句話點明論點。減少問句:保留2~3個關鍵提問即可。加強因果論證:用「因為……所以……」「這導致……」等連接詞提出具體建議:結論不應只是「留給讀者思考」。
CLAUDE AI PRO給我的總分是「23/30→約4.6級分(換算會考標準)」。
我用完的感想是:CLAUDE AI PRO比康軒AI犀利。不過,點出的優缺點大同小異,這也是我寫文章長期以來的問題,是我未來可以改進之處。
不過我很好奇,給康軒AI的文章是刪減過的版本(因為他有限定1000字),為了維持同樣的實驗基準,給CLAUDE AI PRO的也是刪減版。如果他看了完整版(1500字),會有何感想?
論述結構完整多了,客觀分析大幅增加,立意取材5分→6分(因為有了制度面的批判)。解決了「只提問不回答」的問題,時事延伸能力強(二二八的連結非常巧妙),完整版最後明確表態:「即使困難痛苦,我們應該談論政治。」這比刪減版的開放式結尾更有力量。
我問CLAUDE AI PRO為什麼另一個AI會限定1000字呢?是因為會考嗎?他說可能是。他認為寫作不應只限定於會考,雖然會考有字數限定,但長一點的寫作篇幅可以訓練學生的思辨能力 。
另外我們也談到,康軒AI目前只批改作文,提供單方面的回饋,但CLAUDE AI PRO可以和我對話,達到教學相長的目的,因為對話其實就是最好的學習,或許康軒AI可以考慮在未來加入這個功能,讓老師及學生和AI對話,甚至讓AI參與課堂上的討論。當然,要在保障學生隱私的情況下,所以最好是就一個議題進行討論,而非針對個人。另外,政府也應該盡快訂定AI在教育上使用的法規。
本來還想要談談CLAUDE AI PRO和康軒AI評論我的抒情文〈骷髏樓〉(註2)的結果,但是因為本文篇幅限制,就只能簡單交代:CLAUDE AI PRO和康軒AI都覺得這是一篇寫得很不錯的抒情文,不過康軒AI提供了改寫,改寫後就不是我的風格了(這和論述文的問題一樣)。CLAUDE AI PRO和我都覺得,康軒AI以後可以對學生提出改善的建議,但不要去更動學生的寫作風格。因為風格,是寫作者最珍貴的所在啊。
註:
1.完整1500字文版本請掃QR code。
2.〈骷髏樓〉收錄在我的散文集《易鄉人》(新北市:木馬,2016)中,也曾在《人間福報》發表過。




