Re: [請益] 軟體失業是遲早的事吧
看板: Soft_Job
作者: SkankHunt42 (凱子爸)
標題: Re: [請益] 軟體失業是遲早的事吧
時間: Wed Oct 15 11:19:56 2025
推
yamakazi :
人類方也沒提數據啊，人類有SWE
bench可以看分數？
10/15 09:36
→
yamakazi :
人類自己都沒有benchmark
卻可以覺得人類自己做得比ai好
10/15 09:36
→
yamakazi :
才奇怪吧
10/15 09:36
沒有要ㄉ一ㄤ誰的意思
推
zyxx :
推
10/15 12:02
就是這benchmark到底存不存在
推
SuGK :
推最後一句
10/15 12:10
小弟我相信
這一定是有論文的
找了一下
→
oopFoo :
swe是蠻有參考性的。但還是有各種作弊方式，像上面就是某
10/15 13:45
還真的有
→
oopFoo :
個漏洞，被claude，qwen跟其它llms利用來獲取更高分數。
10/15 13:46
推
oopFoo :
但設計者說，分數其實不要互比，要自己比自己，互比參考
10/15 13:48
以下為AI翻譯
並由我這個人腦節錄：
→
oopFoo :
意義不大。因為....(原因太多，我懶的打了)
10/15 13:49
1.
在本研究中，我們使用
GPT-4（OpenAI
於
2024
年
4
月前兩週提供的版本）作為代表
→
DrTech :
你是在反串搞笑嗎，這篇論文又不是
swe-bench
verified
10/15 16:05
性
LLM，針對
LLM
與人類生成的
Python
程式碼，在各項效能指標上進行比較。
→
DrTech :
大廠用swe-bench
verified是因為，這些題目才是真實工作時
10/15 16:29
2.
該研究採用包含
72
項
Python
編碼任務的基準數據集，這些任務涵蓋了來自先前研究
→
DrTech :
會遇到的情況。拿一篇品質更爛的論文，難以說明什麼新發現
10/15 16:29
[7]的各種軟體工程問題。一位具有軟體開發經驗的計算機專業大四學生（人類程式設計
→
DrTech :
。
10/15 16:29
師）為這
72
項編碼任務開發了程式碼，同時使用
GPT-4（即
2024
年
4
月可用版本）
推
yamakazi :
XD
10/15 17:29
生成程式碼樣本，以產生對等的
LLM
輸出。
推
yamakazi :
我體感覺得啦，本科剛畢業新人去做這個benchmark大概30
10/15 21:14
3.
在編碼標準評估中，Pylint
和
Radon
分析顯示，雖然
LLM
生成與人工編寫的程式碼都
→
yamakazi :
分左右
10/15 21:14
存在缺陷，但
LLM
更可能犯下可透過嚴格遵守編碼標準來避免的錯誤。儘管程度較輕，
推
viper9709 :
最後一句XD
10/16 01:07
但研究中的
LLM（以及人類）有時會忽略編碼風格和標準程序中的重要細節，這些細節對
噓
DrTech :
論文就是拿一個沒有參考價值不知名的題目，測一個大四學生
10/16 08:36
於維護可讀性和程式碼品質至關重要。
→
DrTech :
，連研討會都投不上。結果你把這種學生報告當成寶。
10/16 08:36
4.
與人工生成的程式碼相比，LLM
通常會產生具有更高循環複雜度的程式碼。我們的結果表
→
DrTech :
會引用這種爛論文的人也只是出張嘴而已。外行人。
10/16 08:37
明，LLM
傾向過度設計解決方案，這可能導致程式碼更難維護，且在軟體開發後期階段更
→
DrTech :
第一句：沒有要ㄉ一ㄤ誰的意思，結果推文拼命ㄉ一ㄤ。果然
10/16 08:40
容易出現錯誤。
→
DrTech :
你手裡有錘子的你，看到誰都在捶。
10/16 08:40
5.
LLM
生成的程式碼在功能正確性測試中經常表現良好，證明了
LLMs
在自動化執行簡單且
→
DrTech :
拿出正常一點的論文，再來討論啦，外行人又愛ㄉ一ㄤ別人。
10/16 08:41
定義明確的編碼任務上的實用性。相反地，在需要深厚領域專業知識或複雜問題解決能力
→
DrTech :
不知道原PO堅持發引用一篇，連研討會都沒上的低品質論文，
10/16 08:45
的任務中，人類程式設計師往往比
LLMs
表現更出色。
→
DrTech :
是要強調或能證明什麼？還是純粹故意引戰ㄉ一ㄤ人？
10/16 08:45
(編註：人類編寫的程式碼通過率為
54.9%，而
LLM
生成的程式碼通過率達
87.3%)
→
angusyu :
我聽到玻璃碎掉的聲音，不知道怎麼回事
10/16 09:58
要說這篇論文缺點是什麼的話
推
jack0204 :
我有點看不懂在吵什麼?感覺主題歪了
10/16 10:12
就是他只有一個大四學生當作人類基準
推
Romulus :
人類沒辦法copy而且方差太大
測benchmark就沒啥意義這樣
10/16 10:59
所以樣本數非常不足
另外用的模型也是稍舊
推
Romulus :
把可以複製並且表現都差不多的工具和不具備重現性的人類
10/16 11:01
歡迎質疑paper的人花錢花精力自己去做一次benchmark
→
Romulus :
用同一種評估方式就沒啥實用價值
俗稱做身體健康的
10/16 11:02
學術界本來就是這樣
推
Romulus :
本質應該和試證明理科生已墜入情網差不多
10/16 11:05
總之結論大概就是:
就該文獻的場景與數據來看
人類與LLM擅長的不同
優缺點不同
→
Romulus :
一本正經講幹話
但是其實也沒那麼幹話那種感覺（
10/16 11:05
不過當手裡只有錘子時，在某些人看起來，所有東西都像是釘子
推
cc2006 :
原po找一個沒什麼參考價值的論文來說服別人，別人提出反
10/16 12:56
--
→
cc2006 :
對意見也很合理吧
10/16 12:56
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 84.17.34.45 (日本)
推
Romulus :
就研究沒啥問題
只是沒辦法應用而已
10/16 14:24
→
Romulus :
DrTech什麼時候會給你具體的批評了
10/16 14:24
推
yamakazi :
推，我的論點也是差不多這樣，人類方提不出分數，目前唯
10/16 16:58
→
yamakazi :
一的論文看起來又是AI勝，然後人類方一直糾結你分數只有
10/16 16:58
→
yamakazi :
82沒到99不能用笑死
10/16 16:58
推
yamakazi :
就跟圍棋一樣吧，搞不好Kaggle
leetcode周賽已經偷偷有A
10/16 17:01
→
yamakazi :
I在打了，之後再學圍棋辦一個大獎賽，公開挑戰leetcode
10/16 17:01
→
yamakazi :
排名前十的人類，獎金一高自然有人參賽
10/16 17:01
推
yamakazi :
那三百題給本科新人寫一天搞不好都沒辦法完成一題
10/16 17:14
→
yamakazi :
以前沒AI時，難一點的功能或蟲我都要好幾天了，現在變成
10/16 17:16
你有閱讀障礙嗎?
我可沒說這是SWE
bench啊XD
→
yamakazi :
五到十分鐘
10/16 17:16
他推文寫「人類自己都沒有benchmark」我就找一個人機對比的benchmark
paper來舉例囉
推
yamakazi :
而且我後來看那個bench，看起來沒有人類介入，我的經驗
10/16 17:52
→
yamakazi :
是，一邊看他改扣一邊跟他對話，有問題指出來他幾乎可以
10/16 17:52
→
yamakazi :
馬上改好，甚至有時候只要跟他講遇到的問題，他自己會找
10/16 17:52
→
yamakazi :
到原因
10/16 17:52
benchmark的方式又不只一種
推
yamakazi :
那個82分要是有人類介入對話，說不定可以更高
10/16 17:59
重點是你今天到底是要比對人與模型的差異
還是要比對模型與模型的差異
推
abraxas :
「我的論點也是差不多這樣」XDD
10/16 18:44
所以我不知道你拘泥於單一觀點想說明什麼
還是你也只會揮舞槌子而已
推
yamakazi :
樓上你也可以提出你關於使用AI的感想或論點
10/16 19:16
還有人與LLM比較benchmark的論文難寫
估計就是實驗難做&經費問題
推
viper9709 :
推抽禮券都沒人要寫了+1
XD
10/16 21:00
用dataset去讓各模型跑分比較更容易些
推
ripple0129 :
不要激動，在這版po文沒被酸過的都不算老
10/17 03:06
你覺得論文爛
論文作者至少還有實驗精神
→
DrTech :
原PO好愛ㄉ一ㄤ人喔。果然手裡拿著錘子的人，就是愛捶人。
10/17 08:38
反而是某些人只會出一張嘴@@
→
DrTech :
內文與推文,，只看到原PO一堆人身攻擊，不讓別人發表不同
10/17 08:40
※ 編輯: SkankHunt42 (146.70.205.60 日本), 10/15/2025 17:11:45
→
DrTech :
看法。沒看到AI到底能不能贏人類。
10/17 08:40
推
DrTech :
就事論事，我欣賞原PO有自己獨立想法，為自己論點持續討論
10/17 08:44
→
DrTech :
的態度，但一直人身攻擊可以省下來。原來賣顯卡公司收了這
10/17 08:44
→
DrTech :
種，到處人身攻擊的員工喔，笑死。
10/17 08:44
噓
DrTech :
原來買顯卡公司的員工那麼愛嗆人喔，你是不是流氓啊？
10/17 13:34
→
DrTech :
不專業的論文，本來就不用參考。參考就是外行人。外行人也
10/17 13:36
→
DrTech :
不是攻擊啊，是事實描述而已。巨嬰，流氓，這種非事實描述
10/17 13:36
→
DrTech :
的人身攻擊真的省省。
10/17 13:36
→
SkankHunt42 :
所以DrTech你可以回答一下，在你於本文中第一則推文
10/17 13:37
→
SkankHunt42 :
前，我有任何攻擊你的地方嗎？
10/17 13:37
噓
DrTech :
贏一個大四生=有些地方贏人類？全人類都算大四生喔。那麼
10/17 13:39
→
DrTech :
不專業的邏輯，真的是賣顯卡公司該有的水準嗎。
10/17 13:39
→
SkankHunt42 :
所以我一直問你輸贏到底怎麼算阿XD
10/17 13:41
我比較好奇DrTech是在哪高就
一定很內行
→
SkankHunt42 :
那這樣講，生成一個leetcode
medium題目程式碼的速度
10/17 13:42
小弟不才
公司就賣賣顯卡的上市公司而已
→
SkankHunt42 :
人類可以贏LLM嗎？
10/17 13:42
你待的公司一定很屌你職位一定很內行對吧
→
SkankHunt42 :
你如果需要，我很樂意找數據給你
10/17 13:42
我覺得我上面已經說得很清楚了
為什麼這樣的論文難找
→
SkankHunt42 :
那我找到了你會承認LLM有些地方贏人類嗎？還是你要繼
10/17 13:43
就是經費問題
大部分學生連填問券抽獎做論文
參與的人都興致缺缺了
→
SkankHunt42 :
續找其他漏洞？
10/17 13:43
首先你要找多少工程師？這些工程師要代表怎樣的群體？
→
SkankHunt42 :
還有澄清一下，我可沒說你是流氓，我寫的是我相信你
10/17 13:47
要付你多少錢你才願意抽空做題目只為了讓人發論文？
→
SkankHunt42 :
該不是。還是你覺得自己是那種只准自己動手不准別人
10/17 13:47
題目是否具有公平性能準確涵蓋這些工程師的能力範圍又不失偏頗？
→
SkankHunt42 :
還手的人？
10/17 13:48
SWE-bench是gold
standard沒錯
但目前就是沒有找到人類參與比較的數據
→
SkankHunt42 :
只會索求跟無理取鬧的人就是巨嬰，我好像也只是在做
10/17 13:53
(甚至要怎麼比才有代表性都有問題)
→
SkankHunt42 :
事實陳述而已
10/17 13:53
我提這篇論文
是看過這篇論文覺得滿有趣的
至少是一個方法
推
Suleika :
幫推
軟工板就得貢貢人互錘才精彩
10/17 15:36
也可能我爛
我找不到好的論文
推
dream1124 :
推最後一句
10/17 23:50
當我們在討論有沒有benchmark可以比較人類與LLM解決工程問題時
→
red0210 :
原論文的第一作者生涯總引用數破千，論文放
arXiv
也未
11/18 19:56
我確實拿了一篇不怎樣的論文
雖然樣本數只有一
但至少是一個實驗、一個方向
→
red0210 :
必是投不上研討會
11/18 19:56
不過我現在只看到一個巨嬰躺在地上打滾
這不是SWE-bench~
這不是SWE-bench~
哇~~~~~
哇~~~~
ToT
然後轉頭又要別人找論文
奇怪
現在網路打臉人的方式已經不是自己找到更好、更具參考價值的論文或數據
而是一直叫人舉證
好像他是我指導教授還口委一樣
他作為質疑者唯一的工作就是在推文裡出一張嘴
這就是所謂的內行嗎
※ 編輯: SkankHunt42 (154.47.23.99 日本), 10/16/2025 12:32:55
我是對y的推文「是否存在對人類的benchmark」做出回應
考慮到這是在討論LLM與人類性能的比較
所以我認為題目具體為
「是否存在於同時能同時評估LLM與人類解決工程問題的benchmark」
有沒有這樣的benchmark存在？
答案是:
有
而該論文的題目來源是參考自:
Y.
Feng
et
al.
(2023).
”Investigating
Code
Generation
Performance
of
ChatGPT
with
Crowdsourcing
Social
Data,”
in
Proceedings
of
the
IEEE
47th
Annual
Computers,
Software,
and
Applications
Conference
(COMPSAC),
Torino,
Italy,
pp.
876-885.
這是一篇被引用172次的的論文所用的dataset
72筆prompt的題目
dataset在這裡:
老實講前一篇推文吵得那一串我根本沒打算說服哪一方
我原文也講了
人與LLM擅長的不同
在我看來這跟吵腳踏車跟機車哪個好差不多
那現在問題來了
這篇論文爛在哪？總要有個具體論述吧
除了我原文已經提到的人類樣本數只有一以外
我好像找不到其他任何具體的批判
是對實驗方法有具體的批判？
還是對一篇被被引用172次的論文的dataset有具體的批判？
SWE-bench的題目數量有兩千多筆
lite版有300道
不拿full
你拿lite
你要找好幾個工程師去做300道題目
我只能講這如果有這樣的數據那還滿屌的
我也很想看
不要講300題
72道題目請板上各位年薪三百萬的工程師
大家要怎樣的條件才會用心寫完
抽150元點卡或兩百元711禮券好不好
就....
腦袋能不能實際一點？
※ 編輯: SkankHunt42 (146.70.205.140 日本), 10/16/2025 14:03:51
我其實比較納悶
DrTech好歹是有博士學位的人
怎麼可能對這樣的測驗數據到底成本有多高一點概念都沒有
我原本就只是針對到底有沒有這樣的benchmark方法存在
提出存在的事實
結果好像被他誤解成我要參與他們無聊的筆戰說服另一方
奇怪
我原文到底是哪裡有選邊站@@
我是期望本板少數的博士能夠PO出更優質的論文啦
這對DrTech應該不難
對吧
博士
※ 編輯: SkankHunt42 (149.22.87.3 日本), 10/16/2025 17:37:13
所以我真的懷疑你有閱...唉
算了算了
繼續ㄉㄧㄤ下去沒完沒了
整串下來我強調：人類與LLM各有優缺點
不管是我節錄的論文內容
還是我做的總結
都是我原文就有的內容
就事實跟目前的數據
我看到的事實是"有些地方AI贏人類
有些地方人類贏AI"
這個事實有很難接受嗎
你也不是不可能不知道吧
就"AI贏人類"這個問題的
怎樣算贏？是要全盤輾壓算贏嗎？
還是你們單就通過率討論？那時間要不算進去評分的項目裡？
就....
你不覺得這個你這個題目很抽象嗎？
我可以幫你整理一下時間順序：
你批評我搞笑反串→我說你有閱讀障礙→你說我外行→我說你巨嬰
我覺得好像是你開第一槍的耶XD
我最開始的原文可是半個字都沒提到你
在你們吵架的推文串我也只有發表一句無關緊要的幹話
還是你在公司開會的時候
下屬發表意見不合你意你也馬上ㄉㄧㄤ:
你是在反串搞笑嗎
不過這很正常啦
你在公司不可能這樣酸下屬
我在公司也不會這樣嗆同事
我欣賞你業界十幾二十年的堅實經驗、外加學歷漂亮還是上市公司的主管，在本板也樂
於分享跟發表有價值的看法。但我覺得先開嗆的人好像要有接受被嗆的心理準備吧XD
我相信你應該不是那種自己動手還要求別人不能還手的流氓吧？
※ 編輯: SkankHunt42 (155.2.216.14 日本), 10/17/2025 11:52:20