來源：新智元

導讀：Meta的元宇宙探索之路,，仍未停息,。重召被裁員工，發(fā)布超逼真虛幻圖像數(shù)據(jù)集,，全世界組裝AR眼鏡……

圖片來源：由無界 AI生成

Meta的元宇宙探索,，還在繼續(xù)。

最近,，Meta用虛幻引擎開發(fā)了全新的逼真合成數(shù)據(jù)集,，希望拉近合成數(shù)據(jù)與真實世界數(shù)據(jù)的距離。

他們還計劃制作一款全新的AR眼鏡,，僅用于內部開發(fā)和公眾展示,。

據(jù)悉，這款眼鏡的制造流程涉及中國大陸,、中國臺灣和美國的工廠,。原因是鏡片內包含一款軍用材料，無法輕易出口到美國以外的地方,。

另外,，Meta甚至還成立了一個「前員工門戶」，把從前解雇的員工慢慢招了回來,。

真實虛幻圖像數(shù)據(jù)集

Meta推出的真實虛幻圖像（PUG,，Photorealistic Unreal Graphic）數(shù)據(jù)集,，能夠對人工智能視覺系統(tǒng)進行更可控,、更穩(wěn)健的評估和訓練。

這個數(shù)據(jù)集通過虛幻引擎Unreal Engine合成了超過20w個動物圖像,，以及數(shù)十萬張包括各種姿勢，光照和背景的圖像,，來作為訓練,，評估圖像模型和圖像系統(tǒng)的基礎。

PUG因為使用了Unreal Engine合成的圖像,，保證了圖像素材的真實感,，使得它的使用范圍比之前類似的圖像數(shù)據(jù)集要大大擴展。

PUG由4個部分構成：

1. PUG Animal

用于研究分布外泛化和研究基礎模型的表征空間,，包括了：

215,040張預渲染圖像,，涵蓋了70種動物資源，囊括了4種尺寸,，3種紋理,，4種不同的方向。

2. PUG ImageNet

數(shù)據(jù)集提供了一個新穎和高效的基準測試,，用于細粒度評估圖像分類器在多個變化因素上的穩(wěn)定性,，包含了：

151種ImageNet類型（class）,，64種背景，7種尺寸,，10種紋理,，18個視角，18角色方向（Character Orientation）,，7種光照強度,。

3. PUG SPAR（場景、位置,、屬性,、關系）

數(shù)據(jù)集用于評估視覺語言模型，展示了如何使用合成數(shù)據(jù)來解決當前基準測試的局限性,。它包含了：

43,560 張預渲染圖像,，10個背景，32種動物,，4種關系（左/右,，下/上），4種屬性（藍/紅,，草/石）,。

4. PUG AR4T

提供大約 250,000 張圖像，用于微調空間關系和屬性的視覺語言模型,。

Meta使用虛幻引擎來創(chuàng)建逼真的交互環(huán)境,，從中他們可以輕松地對給定規(guī)格的圖像進行采樣。

下圖說明了Meta如何使用虛幻引擎和示例圖像來生成PUG數(shù)據(jù)集,。

合成圖像數(shù)據(jù)集為設計和評估深度神經(jīng)網(wǎng)絡提供了非常多的優(yōu)勢,。

合成數(shù)據(jù)集能根據(jù)需要渲染盡可能多的數(shù)據(jù)樣本，還可以精確控制每個場景并產(chǎn)生細粒度的標注數(shù)據(jù)標簽,，精確控制訓練和測試之間的分布變化,，以隔離感興趣的變量以進行合理的實驗。

但是現(xiàn)有的合成數(shù)據(jù)集最大的問題就是不夠真實,，這使得數(shù)據(jù)集的使用范圍嚴重受限,。

而如果用真實的圖像數(shù)據(jù)集,，又會受到隱私和版權方面的限制。

而通過虛幻引擎來合成真實的圖像數(shù)據(jù)集,，就能非常好解決這些問題,。

Meta稱，與現(xiàn)有測試基準相比,，生成涵蓋一系列領域的數(shù)據(jù)的能力可以使視覺語言模型的評估和訓練更加可靠,。

除了數(shù)據(jù)集之外，研究人員還可以使用 PUG 環(huán)境創(chuàng)建自己的數(shù)據(jù),，精確指定現(xiàn)實世界數(shù)據(jù)集難以控制的光照和視角等因素,。

如何創(chuàng)建自己PUG數(shù)據(jù)集

而且，Meta還詳細介紹了如何利用虛幻引擎來建立自己獨有的PUG數(shù)據(jù)集,。

指導手冊：https://github.com/facebookresearch/PUG/tree/main/torchmultiverse

首先是下載Epic Games來獲取虛幻引擎5,。?然后創(chuàng)建一個新的Pixel流媒體項目。

如果之前完全沒有了解過虛幻引擎,，可以下載官方的這個Demo來進行一個簡單的入門,。

https://www.unrealengine.com/marketplace/en-US/product/pixel-streaming-demo

然后閱讀官方對于虛幻5引擎的入門介紹，了解Blueprintsd的基本機制,。

https://docs.unrealengine.com/5.0/en-US/introduction-to-blueprints-visual-scripting-in-unreal-engine/

下載Demo后，打開位于Content/Blueprints/CharacterConfig文件夾中的DTCharSelect表文件,，如下圖所示,。

該表列出了可以通過虛幻環(huán)境加載的所有資源。如果您想添加新字符,，只需在表中創(chuàng)建一個新條目即可,。

明年或推出AR眼鏡：軍用材料，在美國組裝

另外,，Meta還計劃在2024年推出第一代AR眼鏡,，產(chǎn)量大約在1000臺左右,。

這1000臺AR眼鏡將僅用于內部測試以及公眾展示，不會向公眾發(fā)布,。

盡管數(shù)量不多,，但Meta為了生產(chǎn)這個AR眼鏡可謂是費盡周折。

這款眼鏡被定位為一款價格昂貴的空間計算設備,。

而且由于鏡片涉及到被限制出口的材料,，所以這款眼鏡的手持控制器和無線計算核心會在中國大陸和中國臺灣生產(chǎn)，再運到美國,，和鏡片一起組裝成成品,。

原因是Meta準備在這個內部代號為「Orion」的AR眼鏡中使用一種名為碳化硅（SiC）的化合物作為鏡片材料。但這種化合物被政府限制出口到其他國家,。

相比過去的玻璃材料,，碳化硅可以投射更寬的圖像到鏡片中，視野更寬闊,。但它的價格也更貴,。

Orion AR眼鏡視場角約為70°對角線，略大于Magic Leap 2（66°）,，遠大于 HoloLens 2（52°）,。

Meta為了一個不會對外發(fā)布的產(chǎn)品投入了如此巨大的成本，可能會引起投資者對Meta的Reality Labs部門的支出擔憂,。

其中,，Reality Labs部門主要開發(fā)增強現(xiàn)實（AR）和虛擬現(xiàn)實(VR)產(chǎn)品。

然而,，直到現(xiàn)在,，虛擬現(xiàn)實的市場仍然很小，增強現(xiàn)實的技術還在發(fā)展中,，落地場景較為受限,。

Meta向這兩個領域投入了大量資金，希望確立Meta在市場中的領先地位,。

在這兩個領域中,，Meta不得不和資金實力都十分雄厚的對手：蘋果的Vision Pro頭顯競爭,。

鑒于收入增長放緩和投資者壓力增加，Meta已經(jīng)在整個公司范圍內削減成本,，但是Meta在Reality Labs部門的總投資仍在增加,。

最近18個月，該部門今年的虧損達到了210億美元,。

Meta決定僅將第一代AR眼鏡作為內部產(chǎn)品發(fā)售,，這本身就是一項削減成本的舉措。

此外,，在選擇中國的工廠也是削減成本的一環(huán),。

在美國招聘組裝工人，時薪在16.75美元到28.27美元不等,。遠遠高于在中國大陸和中國臺灣的生產(chǎn)成本,。

同樣，其他制造硬件的美國科技公司,，如蘋果,，大部分產(chǎn)品也都是在中國制造的。

盡管如此,，因為不得不在美生產(chǎn)鏡片,、組裝AR眼鏡，第一代AR眼鏡的造價成本還是相當高昂,。

重招被裁員工

最近幾周,，Meta慢慢開始加快招聘步伐，尤其是工程和技術崗位,。

自去年11月以 來,，通過一個專門「前員工門戶」，被Meta解雇的員工都可以重新申請正在招聘的崗位,。

現(xiàn)在正在招聘的數(shù)百個職位，主要是軟件,、硬件和AR/VR的崗位,，還有一些基礎設施和數(shù)據(jù)中心中的主要技術崗。

一位知情人士表示,，運營崗似乎沒有放開招聘,，而且招聘的崗位都是有具體產(chǎn)出要求的崗位,，因為Meta整體上已經(jīng)縮減了經(jīng)理級別的崗位。

Meta招聘主要是針對有豐富工作經(jīng)驗的員工,，減少了應屆畢業(yè)生和實習生的聘用,。

被裁的工程師級別越高、業(yè)績評價越好,，被重新聘用的概率會更高,。

許多人被重新雇用的員工會被安排到新的崗位上去，職位和薪水都會比以前更低,。

一名被Meta重新聘用的職員說,，他接受了大約10%的降薪。但鑒于Meta的股價最近一直在上漲,，他預計一年內會達到之前的薪酬水平,。

嘗到了降本增效甜頭的小扎，似乎依然堅定地走在通向元宇宙的路上,。

參考資料：

https://pug.metademolab.com/index.html

https://www.theinformation.com/articles/behind-metas-made-in-usa-ar-glasses-a-military-grade-material