#metalkit

[xponentialdesign]

Did you watch my tutorial on branching particle emissions? Just add a model and material node with @GSG3D #metalkit hdri for lighting shadows + reflections !!!  [  ] DOWNLOAD ULTRA HD VIDEO FILE 01 DOWNLOAD ULTRA HD VIDEO FILE 02  DOWNLOAD ULTRA HD VIDEO FILE 03  DOWNLOAD ULTRA HD VIDEO FILE 04 DOWNLOAD ULTRA HD VIDEO FILE 05

[yoshiminu]

MTLRenderCommandEncoder でカメラアプリ

以前 MetalKitでカメラアプリを作ってみた という投稿をしました。

前回は http://qiita.com/shu223/items/3301a1e64757c0bd73ef に倣って MTLComputeCommandEncoder を使ってみましたが、今回は MTLRenderCommandEncoder を使って作り直してみたのでそのメモです。

全体のソースは こちら

まず、 MTLComputeCommandEncoder と MTLRenderCommandEncoder が何なのかというとそれぞれ以下のようになります。

MTLComputeCommandEncoder

画像処理やデータ並列演算処理用のコマンドエンコーダー

MTLRenderCommandEncoder

グラフィックスのレンダリング処理用のコマンドエンコーダー

ただのカメラアプリなら画像処理などもしないし MTLRenderCommandEncoder で十分ということになります。

では MTLRenderCommandEncoder でどう実装が変わるかというと大きくは以下の3点です。

Metalシェーダがコンピュートシェーダーからバーテックスシェーダーとフラグメントシェーダーに変わる

MTLComputePipelineState から MTLRenderPipelineState に変更

MTLCommand​Encoder の生成方法が変更

具体的に変更内容を見ていきますと

1.Metalシェーダ

このように描画する頂点情報をフラグメントシェーダーが受け取って処理する形になりました。

typedef struct { float4 renderedCoordinate [[position]]; float2 textureCoordinate; } TextureMappingVertex; vertex TextureMappingVertex mapTexture(unsigned int vertex_id [[ vertex_id ]]) { float4x4 renderedCoordinates = float4x4(float4( -1.0, -1.0, 0.0, 1.0 ), float4( 1.0, -1.0, 0.0, 1.0 ), float4( -1.0, 1.0, 0.0, 1.0 ), float4( 1.0, 1.0, 0.0, 1.0 )); float4x2 textureCoordinates = float4x2(float2( 0.0, 1.0 ), float2( 1.0, 1.0 ), float2( 0.0, 0.0 ), float2( 1.0, 0.0 )); TextureMappingVertex outVertex; outVertex.renderedCoordinate = renderedCoordinates[vertex_id]; outVertex.textureCoordinate = textureCoordinates[vertex_id]; return outVertex; } fragment half4 displayTexture(TextureMappingVertex mappingVertex [[ stage_in ]], texture2d<float, access::sample> texture [[ texture(0) ]]) { constexpr sampler s(address::clamp_to_edge, filter::linear); return half4(texture.sample(s, mappingVertex.textureCoordinate)); }

参考： Shaders.metal

2.PipelineStateの生成

パイプラインステートの生成が以下の用に変わりました。

- guard let function = library?.makeFunction(name: "kernel_passthrough") else { + guard + let vertex = library?.makeFunction(name: "mapTexture"), + let fragment = library?.makeFunction(name: "displayTexture") + else { fatalError() } - pipeline = try! device?.makeComputePipelineState(function: function) + let descriptor = MTLRenderPipelineDescriptor() + descriptor.colorAttachments[0].pixelFormat = colorPixelFormat + descriptor.sampleCount = sampleCount + descriptor.vertexFunction = vertex + descriptor.fragmentFunction = fragment + pipeline = try! device?.makeRenderPipelineState(descriptor: descriptor)

MTLCommand​Encoderの生成

currentRenderPassDescriptor を指定して MTLRenderCommandEncoder を生成するようになりました。 画面全体（四角形）に描画したいので、 drawPrimitives の type は triangleStrip 、 vertexCount は 4 となります。

- let encoder: MTLComputeCommandEncoder = commandBuffer.makeComputeCommandEncoder() - encoder.setComputePipelineState(pipeline!) - encoder.setTexture(texture, at: 0) - encoder.setTexture(drawable.texture, at: 1) - let threads = MTLSize(width: 16, height: 16, depth: 1) - let threadgroups = MTLSize(width: texture.width / threads.width, - height: texture.height / threads.height, - depth: 1) - encoder.dispatchThreadgroups(threadgroups, threadsPerThreadgroup: threads) + let encoder = commandBuffer.makeRenderCommandEncoder(descriptor: currentRenderPassDescriptor!) + encoder.setRenderPipelineState(pipeline!) + encoder.setFragmentTexture(texture, at: 0) + encoder.drawPrimitives(type: .triangleStrip, vertexStart: 0, vertexCount: 4, instanceCount: 1) encoder.endEncoding()

実装の変更点は以上です。

ちなみに、前回の投稿でCPUが右肩上がりだと書いていましたが、 MTLRenderCommandEncoder 版でも計測してみたところ以下のようになりました。 

今回は30分間計測を続けてみたところ（前回は10分間）、最初のうちはMTLComputeCommandEncoder 同様CPU使用率は上昇するのですが、一定のところで頭打ちになるようです。

MTLComputeCommandEncoder

の計測結果（30分間）と比べるとこんな感じですこんな感じです。

どちらの場合も無駄にスレッドが増えているというようなことも無いようですが、こういうものなのでしょうか？

ちなみに、このCPUはInstrumentsのActivity Monitorの% CPUの値を取っています。

[yoshiminu]

MetalKitでカメラアプリを作ってみた

MetalKitを使ってカメラアプリを作ってみたので簡単にまとめます。

コード

https://github.com/yoshimin/MetalCamera

実装方法

http://qiita.com/shu223/items/2e493645e2d9a1e35a0d

http://qiita.com/shu223/items/3301a1e64757c0bd73ef

https://developer.apple.com/library/content/samplecode/MetalShaderShowcase/Listings/MetalShaderShowcase_AAPLRenderer_mm.html

この辺りを参考に作りました。

手順は以下の通り。（実装はコードを見てください）

MTKView を持つ Single View Application を作成

AVCaptureSession を使って CMSampleBuffer を取得

CMSampleBuffer を CVImageBuffer に変換

CVImageBuffer から MTLTexture を生成して MTKView 上に描画する

撮影ボタンが押されたら currentDrawable#texture から UIImage を生成してカメラロールに保存する

ハマったところ

上記の参考URLに習えばカメラ映像をMTKViewに描画するところは簡単にできました。

ハマったのはスナップショットを取るところ。

この写真が

こうなったり

こうなったりしました

MTLtexture から CGContext を作る際の CGBitmapInfo をいろいろ間違えました。

MTKView の colorPixelFormat を見ると、bgra8Unorm となっていたので、premultipliedFirst と byteOrder32Little を指定しなければならなかったみたい。

CPU負荷

計測方法

以下の条件でAVCaptureStillImageOutputでを使ったカメラアプリと、今回作成したMetalKitを使ったカメラアプリのCPUを比較する。

端末：iPhone6

OS：10.1.1

計測内容：10秒ごとのスナップショットを1分間行う

AVCaptureStillImageOutput版

MetalKit版

スナップショットを撮る際のCPU使用率の上がり幅はMetalの方が低いですが、AVCaptureStillImageOutputを使ったアプリの方はスナップショットを撮る瞬間以外はほぼ0%なのに比べてMetalを使ったアプリの方はベースのCPU使用率が高いですね。

Metalを使ってエフェクトをかけたいとか出ない限り無駄にCPU喰ってしまいますね。

ただ、気になるのがMetalを使ったアプリの方はCPUが右肩上がりに増えています。実装の仕方が悪いのか...？

試しにスナップショットを一切行わず、ただ10分間AVCaptureSessionから得られた映像を画面に描画しただけの場合のCPUも取ってみました。

きれいな右肩上がりですね。。なんでだ？

TODO

右肩上がりのCPU使用率をなんとかしたい。

エフェクトなんかもかけられるようにしたいですね。

[machinebest-blog]

Industrial Kits For Accurate Production

Today the ‘machine era’ is on a full scale with the guidelines clearly announcing its presence as compulsory. To easily accommodate the working environments, bow arm metal kits are generally the best consensus agreed upon. They are highly applicable on certifying the best possible result under any circumstances without any issues that arise in human labor. Their attention to detail in terms of processing the product turns it into an identical one that will surely reduce any complaints from its destined customer. Their installation is significant to an industry that wishes to improve its standard on all levels.